硬件运维项目系统运维方案

软件系统运维方案软件系统运维方案2016 年年 08 月月目目 录录1XX 系统的服务内容系统的服务内容.31.1服务目标 .31.2信息资产统计服务 .31.3网络、安全系统运维服务 .41.4主机、存储系统运维服务 .61.5数据库系统运维服务 .91.6中间件运维服务 .102运维服务流程运维服务流程.113服务管理制度规范服务管理制度规范.133.1服务时间 .133.2行为规范 .133.3现场服务支持规范 .143.4问题记录规范 .144应急服务响应措施应急服务响应措施.164.1应急基本流程 .164.2预防措施 .164.3突发事件应急策略 .171 XX 系统的服务内容系统的服务内容1.1 服务目标服务目标XX可为提供的运行维护服务包括，信息系统相关的主机设备、操作系统、数据库和存储设备的运行维护服务，保证用户现有的信息系统的正常运行，降低整体管理成本，提高网络信息系统的整体服务水平。同时根据日常维护的数据和记录，提供用户信息系统的整体建设规划和建议，更好的为用户的信息化发展提供有力的保障。用户信息系统的组成主要可分为两类：硬件设备和软件系统。硬件设备包括网络设备、安全设备、主机设备、存储设备等；软件设备可分为操作系统软件、典型应用软件（如：数据库软件、中间件软件等） 、业务应用软件等。XX通过运行维护服务的有效管理来提升用户信息系统的服务效率，协调各业务应用系统的内部运作，改善网络信息系统部门与业务部门的沟通，提高服务质量。结合用户现有的环境、组织结构、IT 资源和管理流程的特点，从流程、人员和技术三方面来规划用户的网络信息系统的结构。将用户的运行目标、业务需求与 IT 服务的相协调一致。XX 提供的信息系统服务的目标是，对用户现有的信息系统基础资源进行监控和管理，及时掌握网络信息系统资源现状和配置信息，反映信息系统资源的可用性情况和健康状况，创建一个可知可控的 IT 环境，从而保证用户信息系统的各类业务应用系统的可靠、高效、持续、安全运行。服务项目范围覆盖的信息系统资源以下方面的关键状态及参数指标：运行状态、故障情况配置信息可用性情况及健康状况性能指标1.2 信息资产统计服务信息资产统计服务此项服务为基本服务，包含在运行维护服务中，帮助我们对用户现有的信息资产情况进行了解，更好的提供系统的运行维护服务。服务内容包括：硬件设备型号、数量、版本等信息统计记录软件产品型号、版本和补丁等信息统计记录网络结构、网络路由、网络 IP 地址统计记录综合布线系统结构图的绘制其它附属设备的统计记录硬件设备清单如下表统计：1.3 网络、安全系统运维服务网络、安全系统运维服务从网络的连通性、网络的性能、网络的监控管理三个方面实现对网络系统的运维管理。网络、安全系统基本服务内容：序号序号服务模块服务模块内容描述内容描述提供方提供方1现场备件安装配合用户进行，按备件到达现场时间工程师到达现场XX2现场软件升级首先分析软件升级的必要性和风险，配合用户进行软件升级XX3现场故障诊断按服务级别：724 小时 58 小时XX4电话远程技术支持724 小时XX5问题管理系统对遇到的问题进行汇总和发布XX网络核心交换机巡视典型作业计划书网络核心交换机巡视典型作业计划书系统管理单位： 维保单位： 设备名： 设备型号：管理 IP：检查内容检查内容参考标准参考标准检查结果检查结果检查结论检查结论巡视方法描述巡视方法描述巡检周期巡检周期电源运行状态正常 异常风扇运行状态正常 异常硬件运行状态模块运行状态正常 异常VLAN 状态正常 异常配置 状态正常 异常系统运行状态检查OSPF 状态正常 异常日志检查日志 状态正常 异常其他正常 异常正常 异常检查内容正常 异常(1) 用户现场技术人员值守用户现场技术人员值守XX可根据用户的需求提供长期的用户现场技术人员值守服务，保证网络的实时连通和可用，保障接入交换机、汇聚交换机和核心交换机的正常运转。现场值守的技术人员每天记录网络交换机的端口是否可以正常使用，网络的转发和路由是否正常进行，交换机的性能检测，进行整体网络性能评估，针对网络的利用率进行优化并提出网络扩容和优化的建议。现场值守人员还进行安全设备的日常运行状态的监控，对各种安全设备的日志检查，对重点事件进行记录，对安全事件的产生原因进行判断和解决，及时发现问题，防患于未然。同时能够对设备的运行数据进行记录，形成报表进行统计分析，便于进行网络系统的分析和故障的提前预知。具体记录的数据包括：配置数据性能数据故障数据(2) 现场巡检服务现场巡检服务现场巡检服务是XX对客户的设备及网络进行全面检查的服务项目，通过该服务可使客户获得设备运行的第一手资料，最大可能地发现存在的隐患，保障设备稳定运行。同时，XX将有针对性地提出预警及解决建议，使客户能够提早预防，最大限度降低运营风险。巡检包括的内容如下：编号编号巡检内容巡检内容硬件运行状态检查项目硬件运行状态检查项目单板状态检查电源模块状态检查风扇状态检查整机指示灯状态检查机框防尘网检查机房温度、湿度检查1设备地线检查2软件运行情况检查项目软件运行情况检查项目设备运行情况检查网络报文分析设备对接运行状况检查路由运行情况检查网络整体运行情况调查网络整体运行情况调查3网络运行问题调查网络变更情况调查网络历史故障调查(3) 网络运行分析与管理服务网络运行分析与管理服务网络运行分析与管理服务是指XX工程师通过对网络运行状况、网络问题进行周期性检查、分析后，为客户提出指导性建议的一种综合性高级服务，其内容包括： 服务内容服务内容服务优点服务优点向客户提供网络专家电话号码。保证重大问题第一连线至网络专家。网络专家组每周与客户进行不少于 2 小时的电话技术交流以最小成本保证及时解答客户关心的技术问题，并就某一领域技术问题展开深层次沟通。每月向客户提交 CASE 汇总分析报告，并可扩展到每年 17 次（月度、季度、年度）使客户了解网络历史故障情况以及故障预防建议，最大程度减少网络故障隐患，更高效的进行网络管理。(4) 重要时刻专人值守服务重要时刻专人值守服务XX深刻知道保证重要时刻设备稳定运行对客户成功尤为关键，因此，XX 可对客户提供重要时刻的专人现场值守支持，包括政府客户的重大会议期间、金融客户的年终结算日、运营商客户的生产网重大割接或其它任何客户认为可能对其业务运营产生重大影响的时刻。如需专人值守，客户需至少提前 3 周与授权服务商客户服务经理联系。对每位合约客户，授权服务商均需按事先合同约定提供专人值守服务。客户如需超出合同约定范围的更多值守支持，需额外支付相应人力和差旅费用。1.4 主机、存储系统运维服务主机、存储系统运维服务XX 提供的主机、存储系统的运维服务包括：主机、存储设备的日常监控，设备的运行状态监控，故障处理，操作系统维护，补丁升级等内容。主机存储系统基本服务内容：序号序号服务模块服务模块内容描述内容描述提供方提供方1现场备件安装配合用户进行。按备件到达现场时间工程师到达现场设备厂商、xxxxxxxx 公司2补丁服务消除软件漏洞给系统带来的安全隐患，并对安装补丁所引起的系统连锁反应进行合理的平衡。xxxxxxxx 公司3升级服务对系统进行软件或硬件的升级，以改进、完善现有系统或消除现有系统的漏洞。xxxxxxxx 公司4现场故障诊断按服务级别：724 小时 58 小时xxxxxxxx 公司5电话远程技术支持724 小时xxxxxxxx 公司6问题管理系统对遇到的问题进行汇总和发布xxxxxxxx 公司7系统优化对客户系统的括主机、存储设备、操作系统、提供优化服务。XX现场值守人员可进行监控管理的内容包括：CPU 性能管理；内存使用情况管理；硬盘利用情况管理；系统进程管理；主机性能管理；实时监控主机电源、风扇的使用情况及主机机箱内部温度；监控主机硬盘运行状态；监控主机网卡、阵列卡等硬件状态；监控主机 HA 运行状况；主机系统文件系统管理；监控存储交换机设备状态、端口状态、传输速度；监控备份服务进程、备份情况（起止时间、是否成功、出错告警） ；监控记录磁盘阵列、磁带库等存储硬件故障提示和告警，并及时解决故障问题；对存储的性能（如高速缓存、光纤通道等）进行监控。小型机系统巡检典型作业计划书（小型机系统巡检典型作业计划书（HPHP 服务器部分）服务器部分）系统管理单位： XX 供电公司设备名： 设备型号设备序列号管理 IP：检查内容检查内容参考标准参考标准检查结果检查结果状态是否正常状态是否正常巡检方法描述巡检方法描述巡检周期巡检周期电源指示灯正常 异常面板指示灯正常 异常内置磁带机正常 异常CPU 状态正常 异常内存状态正常 异常磁盘状态正常 异常网卡状态正常 异常硬件运行状态HBA 卡运行状态正常 异常系统日志正常 异常Mail正常 异常文件系统，包括磁盘卷剩余空间正常 异常硬件检测正常 异常交换分区正常 异常固件版本正常 异常补丁包版本正常 异常系统镜像正常 异常存储磁盘正常 异常存储驱动正常 异常系统检查进程状态正常 异常CPU 利用率正常 异常内存利用率正常 异常系统性能检查磁盘 I/O 性能正常 异常数据库安装目录正常 异常数据库运行状态数据库进程状态正常 异常集群进程状态正常 异常集群检查集群日志正常 异常存储设备故障灯状态正常 异常SAN 交换机端口状态正常 异常存储交换机环境状态正常 异常存储检查系统故障报告正常 异常1.5 数据库系统运维服务数据库系统运维服务XX提供的数据库运行维护服务是包括主动数据库性能管理，数据库的主动性能管理对系统运维非常重要。通过主动式性能管理可了解数据库的日常运行状态，识别数据库的性能问题发生在什么地方，有针对性地进行性能优化。同时，密切注意数据库系统的变化，主动地预防可能发生的问题。XX提供的数据库运行维护服务还包括快速发现、诊断和解决性能问题，在出现问题时，及时找出性能瓶颈，解决数据库性能问题，维护高效的应用系统。XX的数据库运行维护服务，主要工作是使用技术手段来达到管理的目标，以系统最终的运行维护为目标，提高用户的工作效率。具体数据库运行维护监控的基本服务内容包括：序号序号服务模块服务模块内容描述内容描述提供方提供方1Oracle 数据库7*24 电话支持服务每周 7 天，每天 24 小时支持中心电话，电子邮件答询，以满足业务发展的需要。Oracle 产品技术专家直接同客户对话，帮助解决客户提出的疑难问题。根据问题的严重程度，将优先解决客户认为是关键而紧急的任务。对客户提出的一般性问题进行技术咨询、指导。定期的客户管理报告, 避免问题再度发生。xxxxxxxx公司2Oracle 数据库产品现场服务响应数据库宕机数据坏块影响业务不能进行的产品问题软件产品的更新及维护。xxxxxxxx公司3Oracle 数据库产品系统健康检查对系统的配置及运作框架提出建议，以帮助您得到一个更坚强可靠的运作环境降低系统潜在的风险，包括数据丢失、安全漏洞、系统崩溃、性能降低及资源紧张检查并分析系统日志及跟踪文件，发现并排除数据库系统错误隐患检查数据库系统是否需要应用最新的补丁集xxxxxxxx公司序号序号服务模块服务模块内容描述内容描述提供方提供方检查数据库空间的使用情况协助进行数据库空间的规划管理检查数据库备份的完整性监控数据库性能确认系统的资源需求明确您系统的能力及不足优化 Oracle Server 的表现通过改善系统环境的稳定性来降低潜在的系统宕机时间4Oracle 数据库产品性能调优分析用户的应用类型和用户行为评价并修改 ORACLE 数据库的参数设置评价并调整 ORACLE 数据库的数据分布评价应用对硬件和系统的使用情况，并提出建议利用先进的性能调整工具实施数据库的性能调整培训用户有关性能调整的概念提供用户完整的性能调整报告和解决方法xxxxxxxx公司1.6 中间件运维服务中间件运维服务中间件管理是指对 BEA Weblogic、MQ 等中间件的日常维护管理和监控工作，提高对中间件平台事件的分析解决能力，确保中间件平台持续稳定运行。中间件监控指标包括配置信息管理、故障监控、性能监控。执行线程：监控 WebLogic 配置执行线程的空闲数量。JVM 内存：JVM 内存曲线正常，能够及时的进行内存空间回收。JDBC 连接池：连接池的初始容量和最大容量应该设置为相等，并且至少等于执行线程的数量，以避免在运行过程中创建数据库连接所带来的性能消耗。检查 WEBLOG 日志文件是否有异常报错如果有 WEBLOG 集群配置，需要检查集群的配置是否正常。2 运维服务流程运维服务流程XX建议用户采用的服务方式为两种：一种为技术人员现场值守，另一种是定期巡检结合故障现场服务。技术人员现场值守运行维护服务的基本操作流程如下图所示：IT资源情况汇总故障记录技术人员用户现场值守，日常状态监控提交给用户信息系统运行维护报告和系统运行分析报告记录到维护数据库备件更换故障现场解决主动式信息系统性能侦测故障现场解决系统运维日志定期巡检结合故障现场运行维护服务的基本操作流程如下图所示：技术专家7*24小时服务响应IT资源情况汇总用户故障报修备件更换技术人员现场故障解决硬件设备故障软件故障故障记录用户现场巡检MICROSOFT CORPORATION用户签署故障解决单提交给用户信息系统运行维护报告和系统运行分析报告巡检记录及系统可用性分析记录到运行维护数据库用户3 服务服务管理制度规范管理制度规范3.1 服务时间服务时间(1) 接收服务请求和咨询：在 5*8 小时工作时间内设置由专人职守的热线电话，接听内部的服务请求，并记录服务台事件处理结果。(2) 在非工作时间设置有专人 7*24 小时接听的移动电话热线，用于解决内部的技术问题以及接听 7*24 小时机房监控人员的机房突发情况汇报。(3) 服务响应时间：故障级别故障级别响应时间响应时间故障解决时间故障解决时间I I 级：级：属于紧急问题；其具体现象为：系统崩溃导致业务停止、数据丢失。30 分钟，2 小时内提交故障处理方案12 小时以内IIII 级：级：属于严重问题；其具体现象为：出现部分部件失效、系统性能下降但能正常运行，不影响正常业务运作。30 分钟，2 小时内提交故障处理方案24 小时以内IIIIII 级：级：属于较严重问题；其具体现象为：出现系统报错或警告，但业务系统能继续运行且性能不受影响。30 分钟，2 小时内提交故障处理方案48 小时以内IVIV 级：级：属于普通问题；其具体现象为：系统技术功能、安装或配置咨询，或其他显然不影响业务的预约服务。30 分钟，2 小时内提交故障处理方案5 天内技术支持人员在解决故障时，会最大限度保护好数据，做好故障恢复的文档，力争恢复到故障点前的业务状态。对于“系统瘫痪，业务系统不能运转”的故障级别，如果不能于 12 小时内解决故障，XX将在 16 小时内提出应急方案，确保业务系统的运行。故障解决后 24 小时内，提交故障处理报告。说明故障种类、故障原因、故障解决中使用的方法及故障损失等情况。3.2 行为规范行为规范(1) 遵守用户的各项规章制度，严格按照用户相应的规章制度办事。(2) 与用户运行维护体系其他部门和环节协同工作，密切配合，共同开展技术支持工作。(3) 出现疑难技术、业务问题和重大紧急情况时，及时向负责人报告。(4) 现场技术支持时要精神饱满，穿着得体，谈吐文明，举止庄重。接听电话时要文明礼貌，语言清晰明了，语气和善。(5) 遵守保密原则。对被支持单位的网络、主机、系统软件、应用软件等的密码、核心参数、业务数据等负有保密责任，不得随意复制和传播。3.3 现场服务支持规范现场服务支持规范运维服务人员要做到耐心、细心、热心的服务。工作要做到事事有记录、事事有反馈、重大问题及时汇报。严格遵守工作作息时间，严格按照服务工作流程操作。(1) 现场支持工程师应着装整洁、言行礼貌大方，技术专业，操作熟练、严谨、规范；现场支持时必须遵守用户单位的相关规章制度。(2) 现场支持工程师在进行现场支持工作时必须在保证数据和系统安全的前提下开展工作。 (3) 现场支持时出现暂时无法解决的故障或其他新的故障时，应告知用户并及时上报负责人，寻找其他解决途径。(4) 故障解决后，现场支持工程师要详细记录问题的发生时间、地点、提出人和问题描述，并形成书面文档，必要时应向用户介绍故障出现的原因及预防方法和解决技巧。3.4 问题记录规范问题记录规范根据使用人员提出问题的类别，将问题分为咨询类问题和系统缺陷类问题二类：咨询类问题是指通过服务热线或现场解疑等方式能够当场解决用户提出的问题，具有问题解答直接、快速和实时的特点，该问题到现场支持人员处即可中止，对于该类问题的记录可使用咨询类问题记录模版进行记录。系统缺陷类问题是指使用人员提出的问题涉及到系统相应环节的确认修改，需要经过逐级提交、诊断、确认、处理和回复等环节，处理解决需要XX项目组的分析确认，问题有解决方案后，将解决方案反馈给用户。具体提交流程如下：(1) 问题提交。应用信息系统的用户发现属于系统缺陷类的问题时，填写系统缺陷类问题提交单，提交服务支持中心。(2) 问题分析。服务中心接到用户提交的问题单，要组织相应人员对问题单中描述的问题进行分析研判，确定问题的类型(技术问题、业务问题或者操作问题)。属于技术问题，提交服务中心技术人员对存在的问题提出具体的处理意见和建议；属于业务问题，提交服务中心业务人员进行处理；属于操作问题，可安排相关人员对问题提出人进行解释，并将系统缺陷类问题提交单转为系统咨询类问题提交单。(3) 问题确认、解决。服务中心的技术人员和业务人员收到系统缺陷类问题提交单后，对提交的问题进行归类汇总和分析、确认。可以解决的，明确问题解决的具体处理建议和措施，经主管领导签字同意后，交实施人员进行解决方案的实施。服务人员确认是否解决，并将解决方法附在系统缺陷类问题提交单上反馈给问题提出人员。(4) 问题上报。服务人员收到经业务或技术人员确认的系统缺陷类问题提交单后，上报服务中心。(5) 问题回复。服务中心根据提交问题的进行分析，制定解决方案并进行实施的解决，同时做好变更记录。将解决方案汇总后及时向问题提交单位或问题交办单位作出回复，并将分析过程和问题产生原因一并提交。4 应急服务响应措施应急服务响应措施XX已经针对本项目制定了详尽的设计、应急处理预案，整个流程严谨而有序。但是，在服务维护过程中，意外情况将难以完全避免。下面，我们将对项目实施的突发风险进行详细分析，并且针对各类突发事件，设计了相应的预防与解决措施，同时提供了完整的应急处理流程。4.1 应急基本流程应急基本流程出现突发情况报项目经理项目经理协调、处理结束问题报告单采取措施避免类似事件发生处理记录情况通报单维护服务应急处理流程4.2 预防措施预防措施针对上门服务过程中可能遇到的各种各样的风险，XX总结多年维护服务经验，针对一些可能出现的情况，制定了一系列预防处理措施，举例如下：类型类型事件事件预防措施预防措施处理处理无法启动软件可执行文件上门人员提前准备好各类需维护软件安装程序将应用软件数据文件备份后，重新安装应用软件软件打开过程中或运行中异常错误关闭上门人员准备好安装程序，操作系统优化和修补软件，查杀病毒软件判断出错原因，备份数据，采取相关修复措施操作系统使用者本机操作系统异常或系统资源占用严重准备好系统检查程序及修补程序，以及查杀病告知使用者错误原因可能类型，提出解决方案，类型类型事件事件预防措施预防措施处理处理毒软件经使用者认可后采取相应措施B/S 结构系统，IE 浏览器异常或无法下载控件准备流氓软件清理程序、修复浏览器软件、查杀病毒软件检查 IE 浏览器选项设置，分析原因进行修复网络或服务器B/S 结构系统网络流量异常或服务器登录异常判断服务器是否异常，否则准备杀毒软件检查网络流量，流量异常小则报修网络服务商，流量异常大则查杀病毒4.3 突发事件应急策略突发事件应急策略系统运维应急方案是对中断或严重影响业务的故障，如宕机、数据丢失、业务中断等，进行快速响应和处理，在最短时间内恢复业务系统，将损失降到最低。在系统维护过程中，突发事件的出现将是很难完全避免的，针对这种情况，XX设计了完善的突发事件应急策略。系统巡检人员要定期规范检查各硬件设备的运转情况和应用软件运行情况，同时做好日常的数据增量备份和定期全备份。对发现的问题在报各级负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。对发现的问题在报负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。XX不但拥有经验丰富的技术支持工程师，而且根据长期以来的客户服务工作经验，建立了常用知识库，其中包括多种常见技术故障和突发事件的应急策略。当获悉出现突发事件时，技术支持人员可以立即从知识库中获取相应的应急策略，并综合用户方的具体情况，给出相关解决方案，然后在第一时间以电话、邮件支持或现场服务的方式帮助用户解决问题，尽最大努力减小突发事件对用户日常应用的影响。紧急情况紧急情况预防措施预防措施应急策略应急策略硬件损坏项目单位操作用电脑硬件损坏在磁盘数据未丢失情况下，保证数据安全性，建议项目单位替换相关硬件。操作失误加强培训力度，掌握培训效果，检验操作人员操作水准，提示注意事项。操作失误未造成即成结果或数据未丢失情况下，保障数据安全，反之，协调相关部门，进行补救。对操作人员强调注意事项配置丢失培训时强调使用前配置方法和步骤，并特别提示需在使用前按要求操作派出上门维护、培训人员重新配置，并耐心讲解。数据丢失培训时强调使用过程中注意定期备份重要数据，日常维护过程中，上门服务人员实时备份数据并告知用户协调有关部门，进行补救，无法补救，提交报告说明原因。突发事件应急策略服务流程图如下：技术故障客户服务中心专职服务人员项目单位电话、传真、 邮件等方式客户服务中心技术人员诊断报告判断故障类型配置问题线路问题操作问题软件问题设备问题联系相关线路提供商提供正确的操作建议采取相关维护措施核实配置内容，提供恢复手段转入设备保修流程派出技术人员现场诊断故障核实技术故障现象问题解决否其他问题提供相应的应急策略向项目单位提供有关故障的解决的详细说明是派出资深技术人员或书面报告项目单位否远程或现场协助故障解决方法报告