售后服务方案

4 4 1 售后服务方案描述及相关承诺 1 总述 1 1 项目名称 XXXXX 网络设备项目 1 2 项目背景描述 随着互联网应用的快速增长 以及下一代互联网的加速推进 短信 网游 语音以及视频宽带业务的日益火爆 电子商务的再度兴起 IDC 市场迅速升温 IDC 业务收入迅速增长 IDC 业务的客户群也迅速增大 为了抢占潜在客户资源 大力推广 IDC 业务 这样就需要建设一个侧重中 高端客户 兼顾低端客户需求 的 IDC 机房系统 1 3 服务期限及范围 为 XXX 核心网络设备 含 2 台防火墙 2 台交换机 2 台路由器 其检修和维护 我公司将按质按量完成 XXX 核心网络设备维护修理维护服务 1 4 实施目标 为 XXX 核心网络设备提供优质的维护修理服务 并对 2 台防火墙 2 台交换机 2 台路由器统提供卓越的技术支持与运行维护服务 保证 2 台防火墙 2 台交换机 2 台 路由器运行稳定 1 我方通过严格的修理维护服务 保证相关本次所涉及的相关软硬件的高效稳定 运行 2 我方具备应急处理能力并制定了完善的应急预案 减少计划内和计划外的停机 时间 最终能够保障电力业务核心系统每周 7 天 24 小时不间断稳定运行 3 我方定期对现有软硬件平台系统运转状况进行巡检 跟踪和分析 科学地预测 和掌握软硬件平台系统的性能状态 提出科学合理的扩容和升级建议 1 4 我方在维护中熟悉各主机上承载应用系统 结合 IT 系统和业务应用的具体实 际情况 查漏补缺 提出整改建议 配合应用厂商不断优化系统整体性能 提高系 统运行整体效率 1 5 术语定义 1 业主方 xxxxx团有限公司 2 故障级别定义如下 P1 级故障 重大故障 系统瘫痪 无法运行 业务丢失 P2 级故障 系统部分设备故障 影响和限制了部分业务运营 P3 级故障 一般性技术故障 发现系统和设备的技术问题 但系统和业务仍 可正常运行 P4 级故障 在系统功能配置 运维管理方面需要信息或支援 对用户的业务 几乎无影响 2 2 总体实施方案 2 1 服务流程 xxx 有限公司将根据 XXX 核心网络设备 含 2 台防火墙 2 台交换机 2 台路由 器 服务内容制定了相关的服务流程 以下流程适用于本项目的含防火墙 交换机 路由器流程 2 1 1 高级故障诊断及检修流程 1 针对系统 设备发生的一级 二级故障进行响应 分别在规定时间内进行维修 恢复服务 其中紧急重大故障要求 15 分钟内到达现场处理 2 我方提供服务相当于原厂技术服务水平 并提供电话或现场技术咨询和技术支持 服务 服务流程图 高 级 故 障 诊 断 及 检 修 服 务 流 程 服 务 台 支 持 人 员 1 线 1 5 线 现 场 支 持 人 员 2 3 线 其 它 服 务 支 持 设 备 发 生 故 障 服 务 台 响 应 事 件 关 闭 解 决 和 恢 复 按 故 障 级 别 时 间 处 理 故 障 请 求 已 解 决 知 识 管 理 呼 叫 服 务 台 处 理 故 障 方 案 是 否 重 大 故 障 N 故 障 现 场 响 应 Y 远 程 调 查 与 诊 断 现 场 调 查 与 诊 断 是 否 现 场 处 理 是 否 更 改 设 备 更 换 设 备 或 部 件 Y 结 束 用 户 回 访 Y 3 服务流程说明 序号 步骤名称 责任人 说明 1 服务台响应 服务台 服务台人员接受来自用户上报的故障以及各类服务请 求 在验证用户基本信息后 服务台人员在服务管理平台上 登记一条故障信息并进行跟踪和处理 并创建故障事件单 服务台人员判断故障是否重大事件 如重大事件将立 刻通知现场支持人员到现场 如不是重大故障 将根据故障 级别及故障类型 安排工程师进行故障处理 如果是一条重复事件 则新建该事件记录后 更新原 有事件为 主事件 并建立重复事件与原有事件的关联关系 如果是一条复发事件 则创建一个新的事件单 复制 原始事件单的内容 并说明这是复发的事件 2 故障现场相应 现场支持人员 根据服务台所描述的基本故障情况 现场支持人员将 在 15 分钟内到达故障现场 为用户处理故障 3 远程调查与诊断 服务台 支持人 员 服务台人员根据事件分类表确认事件的分类 根据事 件的影响度和紧急度 为事件分配优先级 分析故障原因 在知识库中查询是否有解决方案 制 定初步的故障处理方案 如故障是由于设备硬件引起或远程无法处理时 将通 知现场维护人员 到现场处理处理故障 进行调查诊断 尝试解决 必要时联系第三方供应商 协助处理 4 现场调查诊断 现场支持人员 现场支持人员在现场判断故障情况 根据故障的具体 情况 制定解决方案 判断故障是否需要更换部件 如需更换备件 我方将 联系仓管调出设备配件 并负责设备的安装和卸载 5 更换设备或部件 现场支持人员 更换完设备后再对故障进行检测 如故障未被处理 将继续对故障进行分析 彻底解决故障问题 4 序号 步骤名称 责任人 说明 6 解决与恢复 服务台 现场支 持人员 按照制定好的解决方案对故障进行处理 判断实施解决方案是否可行 并制定变更方法 实施成功后 详细记录解决方案或变通方法 7 事件关闭 服务台 支持人 员 将故障处理情况提交至知识管理 关闭事件 并对故障记录进行归档 再制定用户回访 计划 8 用户回访 服务台 支持人 员 向用户确认故障是否已得到解决 确认用户是否报告其他问题 用户反馈故障处理情况 并对本次服务进行评价 5 2 1 2 设备调优流程 1 针对长期出现资源瓶颈的设备进行分析 提出解决方案或优化方案 2 对系统进行定期评估 给出评估优化方案 服务流程 6 服务流程说明 序号 步骤名称 责任人 说明 1 设备性能检测 服务器 存储支持工程师 利用有效的工具对设备进行检测 对设备进行健康检查 标记存在资源瓶 颈的设备 2 统计资源瓶 颈的设备数 量 服务器 存储支持 工程师 根据标记的资源设备进行设备统计 对资源瓶颈的设备进行故障原因分析 判断资源瓶颈的问题是由何种原因所引起 分派问题到各个专业工程师设计解决方 案 3 硬件问题分析 服务器 存储支持工程师 分析设备硬件上的资源瓶颈问题 列出 引起此故障的原因 4 系统问题分析 操作系统支持工程师 分析操作系统上的资源瓶颈问题 列出 引起此故障的原因 5 平台问题分析 应用平台支持工程师 分析应用平台上的资源瓶颈问题 列出 引起此故障的原因 6 数据库问题分析 数据库支持工程师 分析数据库上的资源瓶颈问题 列出引 起此故障的原因 7 设计服务器 存储解决方 案 服务器 存储支持 工程师 对列出服务器 存储硬件问题逐条给出 处理意见与优化方案 8 设计系统解决方案 操作系统支持工程师 对列出操作系统问题逐条给出处理意见 与优化方案 9 设计平台解决方案 应用平台支持工程师 对列出应用平台问题逐条给出处理意见 与优化方案 10 设计数据库解决方案 数据库支持工程师 对列出数据库问题逐条给出处理意见与 优化方案 7 序号 步骤名称 责任人 说明 11 整合方案 我方项目负责人 整合各技术支持工程师给出的解决方案 对解决方案的内容进行审核 确保处理 意见的安全和有效 制定实施计划 并将方案提交给业务部 门 12 业务部门审批 设备负责人 业务部门负责人对整合的方案进行审批 按实施计划通知每个人设备负责人 13 优化实施 各技术支持工程师 工程师按照最终的实施计划和方案对设 备进行调优工作 2 1 3 备件保修和更换流程 1 当设备出现故障时 我方应及时进行检查 维修或更换故障部件 2 如果硬件设备故障 保证在 2 小时内提供不低于故障设备规格型号档次的备用设 备替代使用 直至故障设备修复为止 以最大限度保证业务系统不间断地正常运 行 3 若需要更换部件 其更换的部件必须是原厂的部件 与原有部件具备同等的质量 和性能 8 服务流程图 9 服务流程说明 序号 步骤名称 责任人 说明 1 故障设备检查 现场支持人员 现场检查 判断故障引起的原因和故障 位置 判断故障是否能现场处理 例如通过配 置等方法解决故障 即现场处理 2 现场维修 现场支持人员 对故障进行处理 通过技术手段等解决 故障问题 3 提供备件 现场支持人员 故障由于设备的硬件引起 难以现场立 刻处理 我方提供同等设备型号和功能的配件给 用户使用 4 现场安装与卸载 设备维修人员 现场卸载故障的设备 安装我方提供的备件设备 5 故障设备维修 设备维修人员 判断设备是否已经过保 并制定维修计 划 设备未过保 通知设备的提供商对故障 设备进行修复 设备已过保 我方提供或采购相应的备 件和部件 对设备进行维修 6 设备提供厂商维修 设备提供厂商 设备提供厂商对故障设备进行修复 7 提供所需的备件或 部件进行维修 设备维修人员 我方安排专业对技术人员更换或维修故 障设备 将拆卸的故障部件进行封存 交还给设 备提供商 8 故障设备复查 现场支持人员 设备维修成功后 我方现场支持人员到 现场对修复好的设备进行复位 检查设备的运行情况 如设备还存在故 障问题 我方将继续对故障进行处理与解决 10 2 1 4 特保服务流程 1 按照公司要求 对于特殊时期必须保障设备运行的 我方根据要求驻场值守和服务 完成特殊时期保障任务 2 需预计每年安排约有 2 个月的特保时间 服务流程图 服务流程说明 序号 步骤名称 责任人 说明 1 制定特殊时期值班计划 现场支持人员 现场值班人员制定值班服务计划 值班计划包含人员的联系方式与相关设备系 统的负责人的联系方式 2 业务部门审 批 设备负责人 业务部审批值班服务计划 如服务计划未能满足用户的需求 将退回现 场值班的人员重新设定值班计划 3 值班 现场支持人员 按计划是时间地点到现场进行值班工作 记录值班所需的相关表格 遇上重大事件及时通知设备负责人员 4 提交设备巡 检报告 设备维修人员 汇报设备出现的安全隐患 提交当天的值班记录和相关资料 11 2 1 5 系统补丁通知及推荐流程 1 预防式补丁服务 我方在已知服务器 存储软 硬件缺陷可能导致潜在问题的情况 下 将通过配置管理或巡检等方式对用户服务器进行增补软件分析并提出版本升级 建议 并由用户进行相关业务 客户影响分析后确认进行 2 响应式补丁服务 当设备出现故障后 我方对故障进行分析并确认是软件缺陷所导 致的故障 我方将提供针对该软件缺陷的软件补丁程序 并由用户进行相关业务 客户影响分析后确认进行 服务流程图 服务流程说明 12 序号 步骤名称 责任人 说明 1 制定补丁通知及 推荐计划 现场支持人员 制定补丁通知及推荐计划 判断是否有由于补丁问题造成的故障 如没有由于补丁造成的故障 将实行与预防式补 丁服务 如由于补丁发生故障 将实施响应式补 丁服务 2 预防式补丁服务 服务台支持人 员 预防方式的补丁服务以预防 排查隐患 为主 对现有设备的安全 性能隐患制定补丁更 新计划 3 响应式补丁服务 现场支持人员 对用户所发现的故障进行处理 并且向 用户提供可处理此故障的补丁程序 4 设备故障数据统 计与分析 服务台支持人 员 在预防式补丁服务中 对以往出现故障 的设备进行统计 总结普遍的故障现象 5 配置管理与巡检 常发故障设备 现场支持人员 在预防式补丁服务中 通过配置管理与 巡检的方式 检查系统运行情况 定位常发故障 设备的位置 查明故障发生的原因 制定相关补 丁的更新计划 6 增补软件分析 各技术支持工 程师 结合故障数据统计结果与巡检所发现的 故障情况 对增补软件进行评估与分析 得出适 合增补的软件列表 7 制定版本升级建 议 各技术支持工 程师 根据分析结果制定版本升级建议与实施 计划 8 业务部门审批 设备负责人 业务部门对实施计划的内容进行审核 如发现补丁版本升级不符合要求 将返回重新制 定补丁升级计划 9 处理和分析故障 现场支持人员 在响应式补丁服务中 对故障进行的处 理 在发现可以通过更新补丁来消除隐患时 我 方将制定补丁更新计划 寻找相关的软件补丁 13 序号 步骤名称 责任人 说明 10 提供软件补丁程 序 各技术支持工 程师 对寻找相关的软件补丁进行测试 通过 测试后 我方将测试报告与软件补丁程序提交给 用户 11 补丁更新实施 现场支持人员 经过审批通过后 我方安装实施计划的 方案与内容 对相关设备进行补丁更新工作 2 1 6 季度巡检流程 1 每季度提供一次健康巡检 对设备硬件 系统运行状况进行检查 排除隐含错误或 安全隐患 并提交健康巡检报告 2 巡检的具体时间由双方协商确定 服务流程 14 服务流程说明 序号 步骤名称 责任人 说明 1 制定季度健康巡检 计划 现场支持人员 根据要求制定监控巡检计划与方案 内 容包括巡检方式 操作步骤等 2 业务部门审批 现场支持人员 业务部审批巡检计划 如服务巡检计划未能满足用户的需求 将退回重新设定巡检计划 3 提供健康巡检报告 现场支持人员 实施设备的健康巡检 记录巡检中发现的设备问题 提交健康巡检报告 汇报设备存在的安 全隐患 4 排除隐含错误 与安全隐患 设备维修人员 对报告中存在安全隐患进行处理 问题处理后将对系统进行再次检测 检 查问题处理情况 15 2 1 7 培训服务流程 1 我方定期进行运行维护技术培训 并定期与业主方技术人员进行技术交流 服务流程 服务流程说明 序号 步骤名称 责任人 说明 1 咨询业务部门 需求 咨询受理人员 询问用户的培训需要 了解用户对培训 的要求 判断用户是否对新或难度高的技术开展 技术交流 收集业务部门提出的培训要求 按培训 要求的内容 等级进行分类 组织相关人员开展 培训准备工作 2 制定培训计划 与培训内容 咨询受理人员 根据培训内容 培训的深度制定培训计 划 并提交业务部门进行审批工作 3 业务部门审批 设备负责人 业务部门对培训内容进行审核工作 对 培训内容存在异议或不满意的地方 将返回修改 培训计划或培训方案 4 安排培训议程 与材料 各技术支持工程 师 相关技术人员对培训方案的内容准备培 训资料 并安排培训所需场地与准备相关的设备 或软件 16 2 1 8 系统规划 非建设项目 流程 1 根据硬件 应用软件环境完成数据库的初步规划 安装配置工作 服务流程 服务流程说明 序号 步骤名称 责任人 说明 1 硬件 应用环境分 析 现场支持人员 对运行环境进行硬件 软件的运行分析 检查运行环境是否符运行要求 记录硬件 应用环境的基础参数 2 制定实施方案 技术支持工程师 根据运行环境评估与硬件 应用环境的 基础参数 制定实施方案和初步规划 提交业务部门对方案进行审批 3 业务部门审批 设备负责人 业务部门审批实施方案 如实施方案和规划未能满足用户的需求 将退回修改实施方案 4 实施安装配置 技术支持工程师 根据实施方案到现场进行安装 配置工 作 17 2 1 9 备份恢复测试流程 1 根据业务重要性及数据安全等级要求 定期对备份数据进行恢复测试 保障备份数 据完整 有效 可用 服务流程 服务流程说明 序号 步骤名称 责任人 说明 1 数据时效性检查 技术支持工程师 技术支持工程师检查备份数据 病句业 务重要性及安全级别 判断数据的有效期 如 数据已过保存期 我方将对系统业务数据进行 备份 2 备份系统业务数据 现场支持人员 对系统的数据进行全备份 以保证数据 的完整 3 数据恢复测试 技术支持工程师 对备份的数据进行恢复测试 并对相关 功能进行操作 检查数据的准确性 如备份数据存在异常 我方将到现场排 除故障原因 分析系统故障还是备份失误导致 如不是备份失误 我方将通知相关业务部门进 行故障处理 18 序号 步骤名称 责任人 说明 4 备份版本控制 技术支持工程师 备份数据测试成功后 我方对备份数据 尽可能保存最近 5 个版本的存档 对备份数据进行版本控制 按系统 安 全级别 重要性 备份时间对备份数据进行存 档 2 1 10 专家现场技术支持流程 1 包括数据库紧急救援服务 2 如出现故障 导致数据库不能正常工作 服务方须尽快安排资深工程师到现场先回 复应用 并保证持续跟进直到问题完全解决 3 如果不能解决问题 服务方需自行请专家或其他高级技术人员对系统情况进行分析 直至解决问题 4 服务方在接到现场系统维护请求后 1 小时内响应 对宕机或紧急恢复等严重问题 要求立即响应并在 15 分钟内到达现场 19 服务流程 服务流程说明 序号 步骤名称 责任人 说明 1 现场情况调查 技术支持工程师 进行紧急救援服务 安排资深工程师到 现场进行调查响应 尽快提出故障处理方案 2 故障应急处理 现场支持人员 我方根据故障的级别 安全性对故障采 取应急的处理情况 由于设备硬件造成的故障 我方立即启 动热备件 及时恢复系统的正常运行 由于软件或设置造成的故障 我方对设 置进行初始化操作 保证系统的正常运行 20 序号 步骤名称 责任人 说明 3 启动热备件 技术支持工程师 根据提前准备好的设备热备件 我方对 设备进行更换和切换操作 恢复设备的运行 4 故障设备修复 设备维修人员 在现场对故障设备进行一般的修复处理 如不能处理 我方将故障设备提取回维修中心 进行维修 5 更换备件 现场支持人员 故障设备修复成功后 我方把完成修复 的设备安装回原位置 并把正式服务切换回正 式环境 6 恢复初始化设置 技术支持工程师 对数据库的运行环境进行初始化配置操 作 恢复系统的运行环境 7 日志文件检查 技术支持工程师 检查数据库的日志 找出数据库中存在 的故障问题 8 软件配置修复 技术支持工程师 根据存在的故障问题对数据库的配置进 行修改和故障处理 9 修复检查 现场支持人员 故障修复后对故障进行检查 排查存在 的安全隐患 21 2 1 11 技术支持服务流程 1 提供电话或现场技术咨询和技术支持服务 服务流程 服务流程说明 序号 步骤名称 责任人 说明 1 服务台响应咨询 技术支持工程师 服务台响应用户的咨询请求 对用户做 出快速的请求响应 了解用户的需要 提供有效的技术支持 与咨询服务 2 现场技术支持 现场支持人员 我方派出工程师到现场对用户的疑问进 行解答 为用户现场处理用户的故障问题 3 用户回访 技术支持工程师 现场技术支持完成后 我方电话回访用 户对服务的满意度 并咨询是否需要更还现场 支持服务或变更服务 4 电话技术支持 设备维修人员 如用户需要电话直接支持 我方将采用 电话的方式立即响应用户的请求 并尽可能完 成用户的需求和远程处理用户的故障 2 2 服务管理 22 2 2 1 实施规范管理 我 方 按 照 业 主 方 的 管 理 制 度 修 理 维 护 规 范 操 作 指 导 等 相 关 规 则 制 度 开 展 修 理 维 护 服 务 为 保 障 修 理 维 护 服 务 规 范 化 的 顺 利 执 行 同 时 修 理 维 护 服 务 各 个 环 节 清 晰 可 追 述 我 方 任 何 操 作 必 须 严 格 按 照 业 主 方 相 关 流 程 进 行 操 作 尽 量 减 少 对 业 主 方 正 常 业 务 的 干 扰 每 步 操 作 须 有 明 确 的 成 果 反 馈 记 录 禁 止 任 何 不 按 流 程 处 理 的 任 何 操 作 一 经 发 现 将 严 肃 处 理 2 2 2 人员工作规范 我 方 对 运 维 人 员 进 行 明 确 分 工 及 职 责 定 义 避 免 运 维 人 员 无 序 混 乱 工 作 职 责 分 工 需 符 合 运 行 单 位 运 维 工 作 要 求 2 2 3 项目风险与责任 我 方 谨 慎 和 用 心 履 行 合 同 责 任 并 对 其 员 工 的 过 失 承 担 责 任 由 于 我 方 实 施 人 员 服 务 不 及 时 没 有 按 照 合 同 约 定 时 间 规 定 或 服 务 操 作 不 当 造 成 大 量 在 线 数 据 遭 受 不 可 恢 复 性 损 失 我 方 应 负 责 恢 复 数 据 并 承 担 所 有 费 用 由 于 我 方 原 因 服 务 不 到 位 我 方 应 向 业 主 方 作 出 书 面 解 释 并 提 出 整 改 措 施 造 成 损 失 的 我 方 承 担 全 部 责 任 2 2 4 人员稳定性 鉴 于 信 息 系 统 及 设 备 重 要 性 以 及 安 全 保 密 性 我 方 保 证 服 务 期 内 修 理 维 护 团 队 人 员 稳 定 避 免 人 员 流 动 对 业 主 方 业 务 系 统 及 设 备 造 成 安 全 隐 患 特 殊 情 况 下 人 员 变 动 需 经 业 主 方 同 意 后 方 可 变 动 禁 止 未 经 业 主 方 同 意 人 员 直 接 变 动 2 2 5 人员质量控制 我 方 所 派 出 的 服 务 人 员 应 能 熟 练 胜 任 相 关 维 护 工 作 业 主 方 拥 有 向 所 提 供 的 实 施 人 员 进 行 面 试 的 权 力 如 我 方 人 员 业 务 能 力 如 不 符 要 求 业 主 方 有 权 要 求 我 方 更 换 人 员 服 务 人 员 资 质 要 求 如 下 a 大学专科或以上学历 有 3 年以上类似产品维护经验 23 b 具有相应产品认证证书 2 2 6 项目进度控制 我 方 技 术 服 务 团 队 每 周 向 业 主 方 项 目 管 理 部 门 提 交 维 护 工 作 周 报 并 抄 送 我 方 项 目 管 理 部 门 为 了 更 好 的 让 业 主 方 了 解 项 目 的 进 度 和 目 前 的 情 况 我 方 将 向 业 主 方 进 行 以 下 工 作 每 月 提 交 工 作 月 报 维 护 工 作 月 报 的 内 容 必 须 包 括 以 下 内 容 主 要 的 已 完 成 工 作 内 容 未 完 成 工 作 内 容 故 障 处 理 报 告 维 护 建 议 及 工 作 计 划 安 排 技 术 服 务 团 队 每 月 度 对 相 关 工 作 进 行 总 结 提 炼 提 交 运 行 维 护 工 作 月 报 技 术 服 务 团 队 每 季 度 对 相 关 工 作 进 行 总 结 提 炼 提 交 运 行 维 护 工 作 季 报 技 术 服 务 团 队 每 年 对 全 年 工 作 进 行 总 结 并 对 下 一 年 度 工 作 进 行 规 划 提 交 运 行 维 护 工 作 年 报 协 助 系 统 管 理 员 完 成 系 统 年 度 维 护 总 结 除 上 述 文 档 整 理 工 作 外 我 方 承 担 业 主 方 相 关 维 护 文 档 的 修 编 配 合 工 作 2 2 7 项目安全控制 提 供 现 场 服 务 时 我 方 将 确 保 其 现 场 人 员 遵 守 业 主 方 有 关 安 全 规 定 前 提 是 我 方 收 到 业 主 方 提 供 的 有 关 安 全 规 定 我 方 有 为 业 主 方 保 密 的 义 务 未 经 业 主 方 许 可 我 方 服 务 人 员 不 得 对 业 主 方 的 业 务 经 营 数 据 进 行 增 删 修 改 复 制 传 送 记 录 我 方 不 得 向 任 何 第 三 方 泄 露 业 主 方 业 务 数 据 内 容 或 在 公 开 场 合 引 用 业 主 方 数 据 2 2 8 质量控制 为 保 障 服 务 质 量 及 服 务 适 应 性 在 服 务 期 内 我 方 需 根 据 服 务 内 容 发 生 的 变 化 进 行 适 应 性 的 改 进 并 在 修 理 维 护 过 程 中 根 据 业 主 方 的 要 求 进 行 服 务 改 进 2 2 9 项目质量保证 服 务 质 量 要 达 到 可 衡 量 必 须 制 定 严 格 的 服 务 SLA 我 方 在 服 务 期 开 始 时 须 与 业 主 方 协 商 制 定 切 实 可 行 的 服 务 SLA 并 严 格 遵 守 SLA 进 行 修 理 维 护 服 务 其 服 务 标 准 如 下 一 紧 急 情 况 24 当 服 务 器 宕 机 数 据 库 无 法 读 写 等 一 级 紧 急 事 件 时 我 方 在 1 小 时 内 响 应 2 小 时 内 协 助 解 决 该 情 况 并 在 因 外 部 原 因 无 法 立 即 解 决 时 例 如 服 务 器 所 在 机 房 受 到 黑 客 攻 击 服 务 器 硬 盘 读 写 失 败 等 事 件 向 客 户 报 告 情 况 并 提 供 具 体 解 决 的 时 间 并 提 供 一 套 完 善 的 应 急 解 决 方 案 帮 助 客 户 及 时 解 决 突 发 事 件 最 大 程 度 的 挽 救 因 服 务 无 法 使 用 导 致 的 损 失 二 重 要 情 况 系 统 服 务 上 线 过 程 后 有 时 会 出 现 在 验 收 过 程 中 没 有 察 觉 的 bug 这 个 时 候 我 方 积 极 协 助 客 户 解 决 该 bug 具 体 的 响 应 时 间 根 据 bug 造 成 的 影 响 程 度 而 定 根 据 SLA 服 务 标 准 bug 的 等 级 亦 可 进 行 进 一 步 的 划 分 并 制 定 相 应 的 解 决 方 案 这 里 不 予 以 赘 述 三 标 准 情 况 在 系 统 部 署 阶 段 因 工 作 人 员 协 作 环 节 的 不 一 致 性 有 可 能 出 故 障 问 题 和 兼 容 性 问 题 以 及 由 于 临 时 需 求 的 变 更 和 新 增 都 会 对 系 统 服 务 产 生 新 的 维 护 需 求 我 方 按 照 需 求 的 难 易 性 和 工 作 量 制 定 相 应 的 响 应 标 准 保 证 客 户 满 意 度 四 次 要 情 况 包 括 服 务 的 小 调 整 如 数 据 库 中 间 件 的 配 置 更 替 等 通 常 在 24 小 时 内 响 应 双 方 商 议 的 时 间 内 进 行 解 决 即 可 我 方 以 SLA 服 务 体 系 为 出 发 点 为 IT 服 务 提 供 完 善 标 准 科 学 的 解 决 方 案 尽 可 能 不 影 响 客 户 满 意 度 2 2 10 制定全年的支持服务计划 我 方 客 户 经 理 应 主 动 地 和 业 主 方 共 同 协 商 制 定 全 年 的 支 持 服 务 计 划 服 务 计 划 包 括 以 下 主 要 内 容 a 业务 IT 系统概况 业务系统对服务的需求 b 服务合同的工作内容 设备清单和响应服务级别 c 我方的工作团队和职责 d 支持服务的流程 e 运维服务活动的计划 包括 增值服务实施 服务总结报告 回顾会议 巡检 技术交流等 f 服务计划双方的确认 25 2 2 11 项目总结会议 我 方 客 户 经 理 至 少 每 季 度 会 安 排 与 业 主 方 一 起 召 开 系 统 运 行 和 服 务 情 况 定 期 总 结 回 顾 会 议 内 容 包 括 但 不 限 于 a 总结前一段时间服务实施的情况 b 回顾升级问题 重要问题的处理过程 c 听取运行单位对服务的反馈意见和服务需求 d 同业主方运维经理们讨论服务改进措施 e 讨论 修订服务计划 2 3 维护内容 我 方 将 根 据 xxx 有 限 公 司 服 务 器 存 储 设 备 虚 拟 化 服 务 器 A 认 证 系 统 服 务 内 容 简 要 的 介 绍 常 见 故 障 所 采 用 的 维 护 解 决 办 法 在 实 际 的 应 用 中 我 方 会 根 据 实 际 情 况 进 行 相 应 的 修 改 与 优 化 2 3 1 服务器故障诊断 计 算 机 故 障 类 型 以 及 故 障 的 诊 断 手 段 有 很 多 对 于 服 务 器 IBM 服 务 器 为 例 故 障 采 取 以 下 2 种 诊 断 方 式 2 3 1 1 硬 件 故 障 诊 断 诊 断 并 排 除 由 硬 件 引 起 的 故 障 先 从 外 观 上 检 查 硬 件 情 况 检 查 设 备 故 障 灯 是 否 有 亮 各 种 设 备 上 都 有 故 障 指 示 灯 通 常 为 橙 色 并 有 标 记 对 于 高 端 服 务 器 应 检 查 UEPO 开 关 上 的 系 统 故 障 指 示 灯 是 否 亮 检 查 部 件 故 障 灯 如 I O drawer PCI 卡 硬 盘 等 所 有 安 装 的 部 件 如 CPU book 所 对 应 的 绿 色 LED 应 长 亮 任 何 故 障 指 示 灯 橙 色 都 应 不 亮 设 备 发 生 故 障 时 通 常 伴 有 出 错 代 码 必 须 把 所 有 故 障 代 码 记 录 下 来 除 此 以 外 还 应 注 意 有 否 其 他 异 常 情 况 如 硬 盘 风 扇 异 常 的 声 音 电 缆 破 损 系 统 出 风 是 否 顺 畅 气 流 是 否 因 为 异 物 遮 挡 而 影 响 散 热 效 果 等 检 查 服 务 器 网 卡 状 态 IP 地 址 是 否 正 常 网 卡 的 设 置 应 与 交 换 机 端 口 的 设 置 匹 配 检 查 网 卡 通 信 是 否 正 常 如 是 否 丢 包 速 度 是 否 正 常 等 并 且 检 查 路 由 表 是 否 正 常 etc hosts 文 件 或 DNS 设 置 是 否 正 常 等 26 2 3 1 2 软 件 故 障 诊 断 诊 断 并 排 除 由 软 件 操 作 系 统 和 应 用 软 件 等 引 起 的 故 障 可 以 先 查 看 系 统 日 志 相 关 软 件 报 错 的 记 录 同 时 登 录 软 件 检 查 当 前 应 用 使 用 状 态 软 件 应 用 进 程 等 进 行 多 方 面 的 诊 断 2 3 2 检测服务器 存储设备运行情况 对 于 一 个 系 统 而 言 资 源 总 是 有 一 定 限 度 的 而 任 务 总 是 要 消 耗 系 统 资 源 的 关 键 是 要 找 出 哪 些 资 源 不 能 满 足 应 用 程 序 运 行 的 需 求 这 里 存 在 一 个 性 能 瓶 颈 的 问 题 不 同 的 应 用 程 序 可 能 会 有 不 同 的 资 源 要 求 可 能 会 产 生 不 同 的 瓶 颈 系 统 资 源 中 的 CPU 内 存 磁 盘 或 是 网 络 都 有 可 能 成 为 瓶 颈 系 统 性 能 调 优 需 要 找 出 这 些 资 源 成 为 瓶 颈 的 原 因 是 资 源 的 不 足 是 系 统 设 置 不 合 理 还 是 应 用 程 序 的 问 题 查 找 性 能 瓶 颈 的 顺 序 非 常 重 要 正 确 的 顺 序 是 CPU 内 存 I O 网 络 如 下 图 所 示 2 3 2 1 查 看 CPU 瓶 颈 CPU 瓶颈 否 是 采取对策 内存瓶颈 否是 采取对策 I O 瓶颈 否 采取对策 是 采取对策 网络瓶颈 是 否 继续测试 采取对策 27 通 过 查 看 当 前 服 务 器 CPU 使 用 情 况 判 断 CPU 的 使 用 情 况 一 般 情 况 下 CPU 使 用 率 不 应 该 长 期 超 过 80 如 出 现 CPU 使 用 率 长 期 处 于 甚 至 超 过 80 的 情 况 则 初 步 可 判 断 CPU 资 源 不 足 出 现 瓶 颈 2 3 2 2 检 测 内 存 问 题 部 分 厂 商 服 务 器 在 内 存 使 用 上 模 式 默 认 最 大 化 使 用 因 此 内 存 的 使 用 率 不 能 作 为 是 否 存 在 内 存 瓶 颈 的 依 据 如 果 达 到 内 存 瓶 颈 此 时 检 查 系 统 内 存 交 换 区 的 使 用 会 发 现 使 用 率 较 高 由 于 有 大 量 的 内 存 页 面 写 入 内 存 交 换 区 这 会 导 致 wa I O 等 待 值 上 升 但 此 时 并 非 I O 瓶 颈 引 起 当 内 存 交 换 区 使 用 率 超 过 70 时 需 要 增 加 交 换 区 的 大 小 但 增 加 内 存 交 换 区 的 大 小 并 不 会 提 高 系 统 的 性 能 相 反 内 存 交 换 区 使 用 越 多 系 统 性 能 下 降 越 多 当 内 存 不 足 时 正 确 的 方 法 是 增 加 物 理 内 存 的 数 量 或 优 化 应 用 程 序 2 3 2 3 查 看 系 统 的 I O 情 况 磁 盘 的 数 据 流 量 很 大 程 度 上 与 应 用 程 序 的 I O 方 式 相 关 某 些 应 用 程 序 的 I O SIZE 可 能 非 常 低 而 且 产 生 大 量 的 随 机 读 写 操 作 从 而 使 硬 盘 的 读 写 效 率 大 大 降 低 导 致 CPU 的 I O 等 待 增 加 有 时 I O 问 题 是 I O 带 宽 不 足 引 起 的 当 所 有 连 接 在 一 块 I O 卡 上 的 硬 盘 的 流 量 总 和 达 到 I O 卡 带 宽 的 70 以 上 时 应 考 虑 增 加 更 多 的 I O 卡 数 据 的 分 布 也 是 很 重 要 的 因 素 通 常 把 数 据 分 布 到 更 多 的 硬 盘 上 更 有 利 于 提 高 I O 性 能 2 3 2 4 查 看 网 络 的 情 况 对 于 网 络 问 题 可 以 通 过 检 查 服 务 器 端 口 情 况 网 线 速 率 端 口 模 式 甚 至 通 过 服 务 器 与 服 务 器 服 务 器 与 测 试 设 备 之 间 进 行 链 路 测 试 传 输 速 率 测 试 检 测 服 务 器 网 络 上 的 问 题 必 要 时 需 要 网 络 工 程 师 检 查 交 换 机 层 面 的 健 康 情 况 加 以 分 析 判 断 如 果 都 没 有 发 现 系 统 有 资 源 上 的 瓶 颈 则 很 可 能 是 应 用 程 序 的 问 题 需 要 应 用 程 序 开 发 商 进 行 进 一 步 的 分 析 28 2 3 3 服务器备件检修 服务器备件保修主要以更换设备为主 并对造成备件故障的原因作出分析 最后 通过分析的故障结果 对所有故障进行排查 不能单单只是更换备件这么简单 服务 器备件一旦发生故障不一定是其本身问题 极大情况下是外部环境所造成 因此 服 务器备件检修需要考虑其使用环境 从根本上解决故障问题 防止其它备件的损坏 2 3 3 1 服 务 器 备 件 硬 件 故 障 维 修 对于一般的设备硬件的故障 我方采用以下方式采取维修处理 序号 故障类型 维修方式 操作方式 1 内存条损坏 直接更换 现场更换 2 主板元器件损坏 直接更换 现场更换 3 阵列损坏 先进行数据恢复 再更 换硬盘 数据恢复需离 开现场 备件现场更换 4 电源损坏 直接更换 现场更换 5 指示灯损坏 先检测健康状态 再更 换指示灯 现场更换 6 CPU风扇损坏 直接更换 现场更换 7 数据线损坏 直接更换 现场更换 8 CPU损坏 直接更换 现场更换 9 光驱损坏 直接更换 现场更换 10 电源线损坏 直接更换 现场更换 11 相关数据接口损坏 直接更换主板 现场更换 2 3 3 2 服 务 器 软 件 故 障 维 修 对于服务器的软件方面故障 我方采用以下方式采取维修处理 序号 故障类型 维修方式 操作方式 1 系统崩溃 重装操作系统 现场操作 2 中木马病毒 安装杀毒软件杀毒 远程操作 3 驱动不匹配 安装正确的驱动 远程操作 4 软件不兼容 安装兼容软件 远程操作 2 3 3 3 服 务 器 备 件 修 复 与 后 续 保 养 如以下因素导致备件的故障 我方在处理完备件的维修后 再对备件周边的环境 29 进行保养处理工作 具体可参考以下几个方面 服务器备件受潮短路 备件受潮湿因素导致的故障 我方对服务器周边的环境进行除湿处理 主要以空 调除湿或吸湿海绵为主 服务器备件受过热短路 备件受过热短路因素导致的故障 我方对服务器周边的环境进行降温处理 主要 以空调降温或更换服务器散热风扇 服务器备件积尘导致短路 备件积尘短路因素导致的故障 我方对服务器周边的环境进行除尘处理 主要以 吸尘机或毛刷工具为主 服务器备件是否电源电压不稳定造成短路 备件电源电压不稳短路因素导致的故障 我方对服务器周边的环境进行电压检测 看是否有漏电的情况 并更换电源 2 3 4 特保服务 我方按照公司要求 对于特殊时期必须保障设备运行 并根据业主方要求驻场值 守和服务 完成特殊时期保障任务 并且每年安排约有 2 个月的特保时间 2 3 4 1 特 保 服 务 常 规 服 务 内 容 我方值班人员要认真检查设备的运行情况 包括电源 服务器指示灯及一切 隐患 确保服务器设备的一切安全 做好安全监控工作 预防各种事故和事件的发生 检查软件的日志文件是否完整 检查设备的电压及温度 值班人员做好值班记录 并记载重要事情 有重大问题及时向上级设备管理人员报告 2 3 4 2 特 保 服 务 工 作 责 任 我方值班人员值班期间 不能脱岗 认真值班 全天 24 小时确保有人在值班 监控设备的运行 做好交接班等有关工作 30 值班人员要做好安全防范工作 遇设备周围环境的变化 应及时做出相应处 理 保证值班人员人员及相关技术工程师的电话畅通 坚守值班岗位 不擅离职守 时刻提高警惕 做好值班期间的工作 值班严格按照操作手册执行 不违反值班制度和操作章程 值班人员在特殊假日放假值班期间为设备运行及安全工作的第一责任人 2 3 4 3 特 保 服 务 保 证 值班人员提高自觉性与主动性 确保设备安全 稳定运行 在值班期间坚守工作岗位 不得无故让他人替岗 严禁饮酒 值班期间保证电话畅通 遇到重大事情 必须报告上级领导并做好临时处理 措施 积极处置 认真做好值班记录 对设备异常及安全防火情况等 必须认真检查 值班员工在值班时间内 坚守岗位 不迟到 早退和缺岗 2 3 5 系统补丁通知及推荐 我方将对以下补丁采取相关的补丁更新通知与补丁更新操作的服务 并对需更新 的补丁进行测试工作 以下系统补丁服务的相关内容 2 3 5 1 补 丁 收 集 与 整 理 我方对以下补丁通过不同的途径进行补丁资源的收集 补丁的出处要求是官方的 补丁 如补丁不是官方提供 将对非官方补丁进行测试 序号 故障类型 收集方式 收集途径 1 服务器硬件BIOS补丁 服务器厂商提供 由官方通知 2 存储设备补丁 服务器厂商提供 由官方通知 3 Windows操作系统补丁 微软官方网站 微软最新公告 4 Linux操作系统 官网或论坛 论坛公告 5 Aix操作系统补丁 IBM 官方网站 IBM 官方网站公告 6 Unix操作系统补丁 官网或论坛 论坛公告 7 Oracle软件补丁 官网或论坛 论坛公告 8 Weblogic软件补丁 官方网站 官网公告 9 Tomcat软件补丁 官网或论坛 现场更换 31 10 其他软件补丁 官网或论坛 现场更换 11 2 3 5 2 补 丁 更 新 测 试 补丁更新之前 有必要对其进行完整的测试 确保其适合于当前运转的设备或系统 否则有可能带来不必要的麻烦 但是对补丁进行测试是一项繁琐的工作 我方使用测试 技巧和脚本 快速有效地测试补丁 为针对如此多的产品以及不同版本的补丁 我方使用一套自动化补丁测试过程 建立一套完整的系统环境 模拟设备或系统的运行状态 确保补丁更新测试的可行性 2 3 5 3 补 丁 更 新 操 作 在部署补丁之前 我方确保已进行补丁测试 以确保它们不会破坏系统现有的功能 在补丁测试前对系统或相关资源进行备份处理 确保补丁更新万无一失 并且我方有 专业的专家支持 在补丁更新出现故障时 保证能快速有效进行系统恢复 2 3 6 月度巡检 为了更好地落实现巡检工作 我方制定了月度巡检工作 并对月度检查做出书面 报告 进一步保障了设备正常运行和预防了设备发生故障事故的风险 同时 通过月 度巡检能尽早的发现安全隐患 具体措施如下 2 3 6 1 月 度 巡 检 检 查 月度巡检检查主要包括设备周边环境 周边设备 通讯及网络设备 服务器设备 的检查 其检查内容如下 设备周边环境检查 检查设备周边的温度是否正常 痕迹是否存在异常 有否异响 温度是否正常 清洁是否符合要求 是否存在异味等 设备周边设备检查 检查 UPS 电源是否正常 空调是否正常 电池组是否存在异常 消防是否符合标 准和要求等 通讯及网络设备检查 防火墙及流量控制方面 网络通讯状态是否正常 网络流量是否过多等 而网络 32 口检查主要包括数据指示灯有否异常 网络通讯状态是否正常 端口及网线状态是否 正常等 服务器设备的检查 服务器硬件故障灯是否正常 如发生故障将记录详细的故障现象与解决方法 补 丁是否已经更新 防病毒软件的病毒库是否已经升级 文件系统是否出现错误 日志 文件的设置及运行是否正常 磁盘卷组是否存在失效状态 2 3 6 2 巡 检 数 据 整 理 经过季度巡检后 我方将把巡检的记录进行同一的整理 把巡检中发现的故障或 异常情况进行统计与分析 形成季度巡检记录 并将总体的巡检记录提交给设备管理 员或业务部门 2 3 6 3 提 供 健 康 巡 检 报 告 通过对季度巡检发现的故障数据进行分析 结合目前业主方已用的资源与工具 提供完整的健康巡检报告与可行的故障解决方案 解决方案内容需要业主方进行审核 并对存在的问题我方能提供专业技术支持解答 2 3 7 培训服务 为了保证设备能在运行中良好工作和人员的运维水平 提供有针对性专业技能培 训 使其能够熟练掌握存储设备的维护工作 并能及时有效的解决常见的大部分故障 经培训后能熟练掌握硬件维护工作 并能及时排除大部分的故障 工程技术人员经培训后 除能熟练管理硬件 排除硬件故障外 还应具备能阅读 硬件清单 分析硬件故障等工作 2 3 7 1 制 定 培 训 服 务 事 项 制 定 培 训 服 务 包 括 以 下 事 项 培 训 的 课 程 安 排 建 议 包 括 人 数 时 间 课 程 入 学 要 求 等 培 训 所 需 要 的 教 材 课 件 讲 师 资 料 培 训 场 地 由 xxx 有 限 公 司 和 xxx 有 限 公 司 共 同 商 议 再 定 选 择 培 训 方 式 集 中 培 训 或 现 场 培 训 33 2 3 7 2 培 训 事 项 准 备 工 作 我 方 将 提 供 教 材 教 师 场 地 由 xxx 有 限 公 司 参 加 的 培 训 如 教 材 较 多 将 选 择 投 影 设 备 或 电 子 资 料 为 主 培 训 场 地 将 会 按 照 用 户 的 实 际 情 况 准 备 一 般 集 中 在 xxx 有 限 公 司 技 术 人 员 所 在 场 地 或 授 权 培 训 中 心 中 进 行 2 3 7 3 开 展 培 训 课 程 我 方 将 利 用 可 使 用 资 源 为 其 维 护 技 术 人 员 提 供 专 业 的 培 训 课 程 其 培 训 课 程 内 容 主 要 以 下 几 个 方 面 IBM 存储知识培训 IBM 存 储 知 识 培 训 培 训 周 期 为 1 天 培 训 对 象 面 向 存 储 产 品 操 作 维 护 技 术 支 持 人 员 培 训 人 数 控 制 在 10 人 学 员 具 体 要 求 了 解 计 算 机 硬 件 基 础 知 识 熟 练 使 用 Linux 操 作 系 统 具 备 网 络 通 信 基 础 知 识 如 完 成 培 训 课 程 可 达 到 了 解 IBM 存 储 产 品 的 基 础 知 识 了 解 存 储 的 几 种 架 构 以 及 相 关 协 议 的 目 的 IBM 一 体 机 交 换 机 知 识 培 训 交 换 机 知 识 培 训 主 要 以 交 换 机 产 品 与 工 作 原 理 介 绍 交 换 机 产 品 日 常 维 护 技 术 介 绍 为 主 培 训 周 期 为 1 天 培 训 对 象 面 向 存 储 产 品 操 作 维 护 技 术 支 持 人 员 培 训 人 数 控 制 在 10 人 学 员 具 体 要 求 了 解 计 算 机 硬 件 基 础 知 识 熟 练 使 用 Windows 操 作 系 统 具 备 网 络 通 信 基 础 知 识 如 完 成 培 训 课 程 可 达 到 了 解 交 换 机 产 品 的 基 础 知 识 了 解 交 换 机 产 品 线 概 况 及 产 品 功 能 掌 握 交 换 机 产 品 日 常 维 护 技 术 的 目 的 数据库知识培训 Oracle 数 据 库 知 识 培 训 培 训 周 期 为 2 3 天 培 训 对 象 面 向 Oracle 数 据 库 操 作 维 护 技 术 支 持 人 员 培 训 人 数 控 制 在 10 人 学 员 具 体 要 求 了 解 计 算 机 硬 件 基 础 知 识 熟 练 使 用 Windows 操 作 系 统 Linux 操 作 系 统 具 备 网 络 通 信 基 础 知 识 如 完 成 培 训 课 程 可 达 到 了 解 Oracle 数 据 库 产 品 的 基 础 知 识 掌 握 Oracle 数 据 库 产 品 日 常 维 护 的 目 的 虚拟化知识培训 HC3 虚 拟 化 知 识 培 训 34 培 训 周 期 为 2 3 天 培 训 对 象 面 向 虚 拟 机 操 作 维 护 技 术 支 持 人 员 培 训 人 数 控 制 在 10 人 学 员 具 体 要 求 了 解 计 算 机 硬 件 基 础 知 识 熟 练 使 用 Windows 操 作 系 统 Linux 操 作 系 统 具 备 网 络 通 信 基 础 知 识 如 完 成 培 训 课 程 可 达 到 了 解 虚 拟 化 产 品 的 基 础 知 识 掌 握 H3C 虚 拟 化 产 品 日 常 维 护 的 目 的 2 3 8 数据库故障诊断及检修 以 Oracle 数据库物理结构故障为例 首先要判断问题的起因 如果是硬件故障则 首先要解决硬件问题 在无硬件问题的前提下按照下面的处理方发来进一步处理 2 3 8 1 数 据 库 故 障 检 查 数据库出现故障 基本上是由于文件损坏所导致 可以通过安装以下分析方法检 查文件损坏的情况 检查控制文件损坏情况 检查损坏的单个控制文件 检测所有的控制文件 检测重做日志文件损坏情况 确定损坏的重做日志的位置及其状态 2 3 8 2 数 据 库 文 件 损 坏 检 修 数据库文件损坏后 可通过基本的配置将其修复 可以通过以下方法检修以下位 置的错误 具体方法如下 序 号 检 查 方 法 检 测 步 骤 1 打 开 数 据 库 并 且 用 适 当 的 方 法 进 行 数 据 库 全 备 份 进 行 数 据 库 全 备 份 35 序 号 检 查 方 法 检 测 步 骤 2 部 分 数 据 文 件 损 坏 若 损 坏 的 数 据 文 件 属 于 非 system 表 空 间 则 数 据 库 仍 然 可 以 处 于 打 开 状 态 可 以 进 行 操 作 只 是 损 坏 的 数 据 文 件 不 能 访 问 这 时 在 数 据 库 打 开 状 态 下 可 以 单 独 对 损 坏 的 数 据 文 件 进 行 恢 复 若 是 system 表 空 间 的 数 据 文 件 损 坏 则 数 据 库 系 统 会 异 常 终 止 这 时 数 据 库 只 能 以 Mount 方 式 打 开 然 后 再 对 数 据 文 件 进 行 恢 复 可 以 通 过 查 看 数 据 库 日 志 文 件 来 判 断 当 前 损 坏 的 数 据 文 件 到 底 是 否 属 于 system 表 空 间 3 非 system 表 空 间 的 数 据 文 件 损 坏 1 确 定 损 坏 的 文 件 名 字 2 将 损 坏 的 数 据 文 件 处 于 offline 状 态 3 从 相 应 的 备 份 结 果 集 中 恢 复 关 于 这 个 数 据 文 件 的 最 近 的 备 份 对 于 没 有 采 用 带 库 备 份 的 点 可 以 直 接 从 磁 带 上 恢 复 对 于 用 带 库 备 份 的