临时系统紧急预案

合肥通银联卡清算中心临时系统应急预案（初稿）中银通商务支付有限公司合肥城市通卡股份有限公司上海华腾软件系统有限公司1背景合肥通银联卡系统经过近4个月的建设，系统已经初步具备对外发卡条件。由于系统建设是处于边设计边建设的状况，同时系统的正式硬件系统采购刚刚启动，到货周期需要较长时间，所以目前整个系统是基于一套临时硬件环境进行系统部署。2编写目的本预案是为了在临时系统出现故障或者影响系统运行的情况下，能够按照事先编写的预案处理方法进行故障处理，已达到及时排除故障和恢复系统运行。3预案范围本预案范围只是针对临时系统的运行进行编写，不能作为今后正式系统的预案内容。临时系统的预案范围包括了系统软件故障、应用软件故障、数据库故障和硬件故障的一般处理。4风险点预估根据临时系统的硬件环境（应用和数据库服务分别部署在两台PC服务器、Web客服系统、POSP系统、银联前置系统分别部署在3台PC机），系统可能出现故障或者影响系统正常运行的风险点有如下4.1软件类：软件包括系统级故障和应用系统故障。系统级故障包括操作系统和数据库系统；应用系统故障包括清算系统、POSP系统、Web客服系统。操作系统影响系统运行的故障点可能包括系统运行速度大幅降低、CPU和内存占用率过高、IO操作过于频繁、系统平均负载率过大等。数据库出现影响系统运行的故障点可能会有数据库突然当机、数据表中的数据异常增加、数据表数据突然丢失等。应用系统出现影响系统运行的故障主要为联机交易，主要体现在充值售卡、售后服务不能进行；应用系统进程丢失、应用进程日志突然增大、数据库连接失败、加密机连接失败等。4.2硬件类：硬件故障包括主机故障、网络设备故障和加密机故障。5.应急处理流程6应急预案操作流程对于第4部分描述的临时系统可能出现的系统故障点，下面就操作处理流程进行说明。硬件类（待讨论）：故障类型查找故障原因处理方法备注操作主机故障确认硬件故障模块更换故障模块加密机确认加密机故障人工切换加密机主加密机地址：10.0.1.63备加密机地址：10.0.1.64登入POSP后，执行下列命令：Cd /htsys/etc;Vi htsys.hsm.sh修改加密机IP地址后，保存退出。重新启动加密机进程（见软件部分）网络设备确认网络设备故障模块更换故障模块事先备好重要模块或设备软件类（待讨论）系统级故障点故障现象查找故障原因处理方法操作备注操作系统系统处理速度下降检查系统运行健康情况，是否有进程占有系统资源，是否内存和CPU占用率较高Uptime命令检查系统运行健康状况；Top命令检查进程使用情况如果出现某些进程占用资源较多，可对其进行停止、杀除等操作。系统命令：Kill -9 进程id停止应用进程命令参考应用系统操作部分。如出现系统资源不能施放等极端情况，可重启系统。命令：Init 6数据库以外当机检查oracle数据库是否还在运行状态、oracle实例是否健在Lnsrctl命令检查oracle实例是否运行，sqlplus命令检查oracle是否还能建立连接停止，所以应用进程。然后试着关闭数据库,关闭成功后重新启动数据库。关闭数据命令：Shutdown immediate；启动数据库命令：Startup如数据库出现重大故障，请系统集成商或oracle工程师协助解决。数据异常增加检查异常增加数据表删除异常数据Delete 相关表数据或增加相应的表空间数据意外丢失检查数据丢失情况从备份数据文件恢复丢失的数据Imp导入备份数据文件应用系统级应用系统应急预案处理主要分三个部分，分别是POSP系统、清算系统和Web客服系统。当应用系统出现故障时，按已下列表描述进行操作。POSP系统上图是POSP进程图，系统正常运行时POSP进程都在上述表内。如果POSP系统出现异常，可先检查POSP进程是否正常。下表是进程说明和启动及停止进程命令。进程名功能说明出现状况启动命令停止命令PCommCon和web短连接通信进程通信无响应或者系统错误在/htsys/sbin/目录下运行runcommcon在/htsys/sbin/目录下运行stopcommconPBridge外部报文专程内部报文出现外部报文转换到内部错报文出错时在/htsys/sbin/目录下运行runbdg在/htsys/sbin/目录下运行stopbdgPSwith金融类交易调度处理金融类交易调度出错时在/htsys/sbin/目录下运行runswt在/htsys/sbin/目录下运行stopswtPManage管理类交易调度处理管理类交易调度出错时在/htsys/sbin/目录下运行runmng在/htsys/sbin/目录下运行stopmngPPackSnd内部报文转换到外部报文内部报文转换到外部报文出错时在/htsys/sbin/目录下运行runps在/htsys/sbin/目录下运行stoppsPToCtl超时控制功能超时控制出现错误时在/htsys/sbin/目录下运行runto在/htsys/sbin/目录下运行stoptoHsmSvr处理加解密相关业务加密机相关处理出错时在/htsys/sbin/目录下运行runhsm在/htsys/sbin/目录下运行stophsm说明:（1）：查看所有进程启动情况命令在/htsys/sbin/目录下运行seeposp（2）: 停止POSP前置系统所有进程命令:在/htsys/sbin/目录下运行 stopposp（3）：重启POSP前置系统所有进程命令:在/htsys/sbin/目录下运行 runposp清算系统上图是清算系统各个交易子系统正常运行时的状态示图，系统正常运行时上述进程都在该示图内。下表列出了各个子系统模块的功能及出现故障时的启动和停止命令。进程名功能说明出现状况启动命令停止命令PCommCard清算系统与后台联机交易服务通信进程清算系统与后台服务通信的进程出现问题时在/htsys/sbin/目录下运行runcommcup在/htsys/sbin/目录下运行stopcommcupHsmSvr处理加解密相关业务加密机相关处理出错时在/htsys/sbin/目录下运行runhsm在/htsys/sbin/目录下运行stophsmSsnctl生成流水进程生成流水号出错时在/htsys/sbin/目录下运行sh ssnctl_start.sh在/htsys/sbin/目录下运行sh ssnctl_stop.shOnLineProc联机交易调度处理进程联机交易调度处理出现问题时在/htsys/sbin/目录下运sh onlinesrv_start.sh在/htsys/sbin/目录下运sh onlinesrv_stop.shAcTxnSvc 联机交易检查处理进程联机交易检查出现问题时在/htsys/sbin/目录下运行 runactxnsvc在/htsys/sbin/目录下运行stopactxnsvcTcpComm上传下载通信进程上传下载文件通信进程出现问题时在/htsys/sbin/目录下运行runtranscom在/htsys/sbin/目录运行stoptranscom报登记进程包登记出错时在/htsys/sbin/目录下运行run在/htsys/sbin/目录下运行stop银联消费文件转入内部消费文件进程银联消费文件转入内部消费文件出错时在/htsys/sbin/目录运行run在/htsys/sbin/目录下运行stop脱机消费文件调度处理脱机消费文件调度出错时在/htsys/sbin/目录下运行 run在/htsys/sbin/目录下运行stop脱机消费文件解析处理脱机消费文件解析出错时在/htsys/sbin/目录运行 run在/htsys/sbin/目录下运行stopSvTxnSvc充值或联机售卡确认进程充值或售卡确认出错时在/htsys/sbin/目录下运行runsvtxnsvc在/htsys/sbin/目录下运行stopsvtxnsvcFhTxnSvc消费确认处理进程消费值确认出错时在/htsys/sbin/目录下运行 runfhtxnsvc在/htsys/sbin/目录下运行stopfhtxnsvcSvAdjSvc充值调帐进程充值调帐出错时在/htsys/sbin/目录下运行runsvadjsvc在/htsys/sbin/目录下运行stopsvadjsvcFhAdjSvc消费调帐进程消费调帐出错时在/htsys/sbin/目录下运行 runfhadjsvc在/htsys/sbin/目录下运行stopfhadjsvcFhAdjSvc消费调帐进程消费调帐出错时在/htsys/sbin/目录下运行 runfhadjsvc在/htsys/sbin/目录下运行stopfhadjsvcConSvc批处理控制进程批处理控制程序出错时在/htsys/sbin/目录下运行sh consvc_start.sh在/htsys/sbin/目录下运行sh consvc_stop.shDownDataSvc下载数据处理控制程序下载数据处理控制程序出错时在/htsys/sbin/目录运行sh downdatasvc_start.sh在/htsys/sbin/目录运行sh downdatasvc_stop.shDownCommandSrv下载指定商户的数据进程下载指定商户的数据出错时在/htsys/sbin/目录运行sh downcommandsrv_start.sh在/htsys/sbin/目录运行sh downcommandsrv_stop.shGetSettDateSvc获得当天结算时间进程获得当天结算时间出错时在/htsys/sbin/目录运行rungetsettdate在/htsys/sbin/目录运行stopgetsettdateRtchgRstSvc退换卡、退资交易申请进程退换卡、退资交易申请出错时在/htsys/sbin/目录运行runrtchgrst在/htsys/sbin/目录运行stoprtchgrstRtchgGRsSvc退换卡、退资结果集获取进程退换卡、退资结果集获取出错时在/htsys/sbin/目录运行runrtchggrs在/htsys/sbin/目录运行stoprtchggrsRtchgEndSvc退卡、退资完成进程退卡、退资完成出错时在/htsys/sbin/目录运行runrtchgend在/htsys/sbin/目录运行stoprtchgendRtchcEndSvc换卡完成进程实现换卡完成出错时在/htsys/sbin/目录运行runrtchcend在/htsys/sbin/目录运行stoprtchcend银联差错处理入库进程银联差错入库处理出错时在/htsys/sbin/目录运行 run在/htsys/sbin/目录运行 stoprun银行充值统计流水文件入库处理进程银行充值统计流水文件入库处理出错时在/htsys/sbin/目录运行run在/htsys/sbin/目录运行stop说明:（1）：查看所有进程启动情况命令在/htsys/sbin/目录下运行seecchs（2）: 停止清算系统所有进程命令:在/htsys/sbin/目录下运行 stopcchs（3）：重启清算系统所有进程命令:在/htsys/sbin/目录下运行 runcchsWeb客服系统Web客服系统是直接面对客户的的联机系统，当出现客服系统不能联机交易是，在排除POSP和清算系统故障后，随后即能确定Web系统故障。Web出现故障后请按照如下步骤进行处理1hfpboclocalhost #su - tomcat2.进入tomcat安装目录tomcatlocalhost bin$ pwd/home/tomcat/apache-tomcat-6.0.32/bintomcatlocalhost bin$3.断开tomcattomcatlocalhost bin$ ./shutdown.sh4.运行tomcattomcatlocalhost bin$ ./startup.sh5.查看Tomcat进程是否已经启动tomcatlocalhost bin$ ps -ef|grep tomcat7注意事项1. 当系统出现故障时，处理原则要以迅速、安全，故障不扩大化为前提。2. 能够重新启动进程的故障点，以重新启动进程为优先；尽量避免重启主机。3. 处理系统及故障时，利用操作系统命令检查系统性能。4. 处理数据库故障时，不要直接关闭主机系统，能先关闭数据库的应先进行关闭数据库操作。5. 发生较大的硬件故障时，应及时联系硬件供应商。12 / 12文档可自由编辑打印