城域网应急预案

鄂尔多斯电信鄂尔多斯电信20092009年城域网年城域网应急预案应急预案2009年年8月月目录目录一、总则一、总则.31、编制目的.32、编制依据.33、分类分级.34、适用范围.35、工作原则.4二、组织体系二、组织体系.51、领导机构与职责.52、工作机构与职责.53、技术支撑队伍与职责.54、厂商售后服务队伍与职责.6三、运行机制三、运行机制.61、预警机制.62、应急处置.123、应急处置后评估.294、信息发布.30四、应急保障四、应急保障.301、人力保障.302、备件保障.33五、监督管理五、监督管理.331、预案演练.332、宣传和培训.33六、附则六、附则.341、预案管理.34七、附件七、附件.341、事件分级标准.342、应急管理工作流程.36 一、总则一、总则1、编制目的、编制目的 为了保障数据网络的正常运行，在出现突发性故障或系统瘫痪时，能有效及时的组织相关维护人员，采取紧急措施，在最短的时间内恢复网络的正常通信，将意外事故的损失减少到最低程度，保障网络提供服务的可持续性，确保在服务品质协议（SLA） 定义的时限内恢复所承诺的服务。2、编制依据、编制依据依据运维200627 号-关于组织开展网络安全评估和完善应急保障预案工作的通知(1) ，根据内蒙电信网络发展现状制定本预案。3、分类分级、分类分级本预案按照网络层次分级，鄂尔多斯电信数据 IP 网分为：城域网核心层、业务控制层、汇聚接入层。4、适用范围、适用范围本预案适用于鄂尔多斯电信 IP 城域网。5、工作原则、工作原则本预案工作原则：优先恢复业务原则；城域网核心优先于业务控制层，业务控制层优先于汇聚接入层原则；按照业务重要等级优先恢复原则；按照用户服务等级优先恢复原则。（1）业务恢复原则）业务恢复原则故障发生时，不同等级业务、业务网络按照不同的优先顺序进行恢复的原则。（2）应急预案体系）应急预案体系城域网数据网整体应急预案城域网核心 业务控制层 汇聚接入层 电路中断设备故障路由异常 电路中断设备故障路由异常电路中断设备故障路由异常二、组织体系二、组织体系1、领导机构与职责、领导机构与职责领导机构：网运部主任：燕龙区公司数据专业主管：狄光职责：1、组织应急预案的定期更新；2、协调处理预案实施、演练等工作。2、工作机构与职责、工作机构与职责工作机构：维护中心数据专业维护人员：王斯日古楞、郝如意、王剑职责：1、负责应急预案定期更新工作的具体实施；2、具体进行预案实施、演练等工作。3、技术支撑队伍与职责、技术支撑队伍与职责技术支撑队伍：区公司网运部、鄂尔多斯网运部职责：1、负责应急预案中涉及城域网设备的预案实施；2、解决鄂尔多斯分公司申请支撑的技术问题。4、厂商售后服务队伍与职责、厂商售后服务队伍与职责厂家售后服务队伍：华为公司技术支撑队伍中兴公司技术支撑队伍职责：1、配合应急预案定期更新工作的具体实施；2、配合具体进行预案实施、演练等工作。三、运行机制三、运行机制1、预警机制、预警机制（1）网络分析评估）网络分析评估鄂尔多斯针对网络安全进行分析的工作机制和相关管理制度如下：规定由网络监控人员通过数据网管7*24小时对全省数据网（城域网BAS设备到省出口间的各级电路流量、设备性能）进行监控；每周/月对全市总出入流量、盟市出入流量、155M电路出入流量、2.5G电路出入流量进行分析,针对带宽能力进行分析、平均流速和峰值流速进行分析，确定是否设备资源使用情况，带宽利用率、是否需要扩容、流量异常增长下降原因等。监测人员每班进行三次据链路连通性测试并将测试结果保存以及随时观察网管告警情况结果。数据链路连通性测试数据链路连通性测试A、连通性及时延、丢包测试ping t 测试（目前我省访问 网站的 IP 地址：220.181.6.18，用于检测鄂尔多斯 NE80E 与省干设备链路状况）ping 219.150.32.132 t 天津 DNS 测试 1（用于检测鄂尔多斯 NE80E 与省干设备链路状况，以及测试天津 DNS 是否可达，我省主用 DNS 是天津 DNS） ping 219.146.0.130 t 山东 DNS(测试山东 DNS 是否可达, 我省备用 DNS 是山东 DNS)路由测试路由测试A、tracert 网站：B、tracert 天津 DNS:网管监控情况网管监控情况鄂尔多斯 IP 城域网后期可以利用的监控终端有 N2000 网管做实时监控网络情况，N2000 网管可以监控到 IP 网的城域网核心层、业务控制层以及汇聚接入层所有华为设备，并可通过 N2000 网管直接管理这些设备；通过 Netcool 告警平台可以实时监控省骨干层所有设备的运行情况，通过 IP 三期网管系统可以实时监控鄂尔多斯出城域网流量、鄂尔多斯互联中继流量、以及城域网各汇聚设备的流量的出入平均和峰值流量。A A、正常情况下流量分布情况：、正常情况下流量分布情况：鄂尔多斯中心局 NE80E 至呼市 M320 2.5G POS 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至通辽 Cisco 12416 2.5G POS 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至呼市 M320 2.5G POS 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至通辽 Cisco 12416 2.5G POS 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至鄂尔多斯火车站 NE80E 2.5G POS 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至中心局 NE40E GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至火车站 NE40E GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至准旗 NE40E GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至达旗局 NE40 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至中心局 NE40E GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至火车站 NE40E GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至准旗 NE40E GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至达旗局 NE40-8 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至中心局 ME60-16 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至火车站 ME60-16 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至准旗 ME60-8 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至达旗 ME60-8 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至伊旗 MA5200G-4 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至棋盘井 MA5200G-2 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至中心局 ME60-16 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至火车站 ME60-16 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至准旗 ME60-8 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至达旗 ME60-8 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至伊旗 MA5200G-4 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至棋盘井 MA5200G-2 GE 链路正常情况下流量图：鄂尔多斯中心局 NE80E 至中心局 E1000 GE 链路正常情况下流量图：鄂尔多斯火车站 NE80E 至中心局 E1000 GE 链路正常情况下流量图：B B、鄂尔多斯出城域网、鄂尔多斯出城域网 2.5G2.5G 电路中断时流量图：电路中断时流量图：以下为相应的 A 设备 D 设备之间的流量图。当中心机房 NE80E 至呼市 M320 出现中断时，中心机房 NE80E 至通辽Cisco 12416 流量图：2、应急处置、应急处置（1）应急管理调动处理流程应急管理调动处理流程数据网络主要包括 IP 网络、基础网络以及相关的后台支撑系统，在以上网络或系统发生紧急网络故障时，网络维护部负责牵头启动应急调动预案进行故障处理的调度，现场维护部分按照相应的紧急故障处理预案处理故障。应急调动流程如下图：处理流程图如下：设备整台故障设备整台故障板卡故障板卡故障电路中断电路中断路由问题路由问题其他原因其他原因（2）应急响应）应急响应 鄂尔多斯电信 IP 城域网网络结构如下： 城域网出口电路中断城域网出口电路中断1、中心机房 NE80E 至呼市 M320 2.5G POS 电路故障 立即上报内蒙古区公司网管中心及运维部，如果 2.5G POS 链路中断后，所有出城域网流量都会通过火车站 NE80E 至通辽 Cisco 12416 的 2.5G POS 链路转发所以此时需密切注意火车站 NE80E 至通辽 Cisco 12416 的 2.5G POS链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是 NE80E 路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题。 2、火车站 NE80E 至通辽 Cisco 12416 2.5G POS 电路故障 立即上报内蒙古区公司网管中心及运维部，如果 2.5G POS 链路中断后，所有出城域网流量都会通过中心机房 NE80E 至呼市 M320 的 2.5G POS 链路转发所以此时需密切注意中心机房 NE80E 至呼市 M320 的 2.5G POS 链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是 NE80E 路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题。 城域网内部中继电路中断城域网内部中继电路中断1、当 SR 或者 BRAS 设备与城域网核心路由器 NE80E 间链路单条链路出现中断时，由于城域网内部运行动态路由协议 OSPF，此时业务会瞬断几秒，待城域网路由收敛完成后，所有业务均从另外一条正常链路上转发数据；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.检查互联端口 link 灯是否处于常亮状态，若处于 down 状态，此时应该第一时间重新布放尾纤恢复链路，再进行测试；c.若更换尾纤后，物理端口 link 灯仍不处于常亮状态，则应更换相应的光模块，以免光模口烧坏或者其它情况造成光口不能正常转发数据；2、 当其中一台 SR 设备的两条上行链路均出现问题时，若短时间内不能恢复链路，应将该台 SR 设备上的所有业务暂时割接至另一台正常的 BRAS 设备上，再进行故障排除；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.在大汇聚交换机上，将三层业务 vlan 透传至正常运行的 BRAS 设备上；c.在 BRAS 设备上，配置三层业务的网关，同时发布该业务路由段；3、 当其中一台 BRAS 设备的两条上行链路均出现问题时；此时，应进行以下操作：a.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b.若是单板故障引起，及时将备件单板换上，把原上行 2 路光纤更换到备板上，配置数据恢复上行c.若是整机故障，第一时间将大汇聚交换机 8905 跳纤到 ODF，通过局间光缆连接至另一局点的 BRAS 上，将 PPPOE 业务或者 Wlan 业务全部强制倒换至另一台正常的 BRAS 进行认证；为快速切换业务要提前布放 8905 至 ODF 和BRAS 至 ODF 的光纤。 （此条适用于大汇聚通过裸光纤上行至 BRAS）d若是整机故障，第一时间将另一局点正常运行的 BRAS 通过光纤连至传输7500/3500，协调传输人员将 8905 上行业务通道做到此正常的 BRAS 上，将PPPOE 业务或者 Wlan 业务全部强制倒换至这台正常的 BRAS 进行认证；为快速切换业务要提前布放 BRAS 至传输设备的光纤。 （此条适用于大汇聚通过传输上行至 BRAS）e.在正常的 BRAS 设备上，查看用户上线数量，确保业务已经正常；Display access-user domain dslam_pppoeDisplay access-user domain lan_pppoeDisplay access-user domain wlan_web4、当大汇聚交换机 8905 至 BRAS 设备互联链路出现中断时；此时，应进行以下操作：a. 立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b. 查看传输网管，如果是传输电路中断引起，则协调传输专业尽快处理；c. 若是光模块烧坏或者其它情况造成光模块不能正常转发数据，则更换光模块，则进行测试；d. 若是尾纤出现问题，则应将提前布放的备用尾纤直接接入传输设备的端口，再进行测试；e. 若是 8905 或 ME60 单板故障，立即调用备件，并调整相关数据到备板上5、当大汇聚交换机与两台 BRAS 或者两台 SR 设备互联链路出现中断时；此时，应进行以下操作：a. 立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；b. 第一时间联系传输人员及数据维护人员进行链路恢复；鄂尔多斯城域网设备故障鄂尔多斯城域网设备故障1、 NE40E/NE80E 出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上；b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。2、ME60 出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上，b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。3、8905 出现异常a.按照上面链路故障的方法先将业务恢复至正常的设备上，b.立即上报内蒙古区公司网管中心及运维部，应积极区公司的指挥调度，做好现场维护工作；c.硬件障碍：1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。4、DDOS 攻击情况DDOS 攻击概念： DoS 的攻击方式有很多种，最基本的 DoS 攻击就是利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响应。DDoS 攻击手段是在传统的 DoS 攻击基础之上产生的一类攻击方式。其原理如下图一所示。单一的 DoS 攻击一般是采用一对一方式的，当攻击目标 CPU 速度低、内存小或者网络带宽小等等各项性能指标不高它的效果是明显的。随着计算机与网络技术的发展，计算机的处理能力迅速增长，内存大大增加，同时也出现了千兆级别的网络，这使得DoS 攻击的困难程度加大了-目标对恶意攻击包的消化能力加强了不少，于是分布式的拒绝服务攻击手段（DDoS）就应运而生了。DDoS利用了更多的傀儡机来发起 DOS 攻击，以比从前更大的规模来攻击受害者。DDOS 攻击现象：出现 DDOS 网络攻击时，被攻击端网络及主机会出现一下的现象：1、被攻击主机上有大量等待的 TCP 连接 2、网络中充斥着大量的无用的数据包，源地址为假 3、制造高流量无用数据，造成网络拥塞，使受害主机无法正常和外界通讯 4、利用受害主机提供的服务或传输协议上的缺陷，反复高速的发出特定的服务请求，使受害主机无法及时处理所有正常请求 5、严重时会造成系统死机，网络严重拥塞SYN-Flood 是目前最流行的 DDoS 攻击手段，利用了 TCP/IP 协议的固有漏洞。据现网监测上的统计，目前网络中存在大量的 DDOS 攻击，在 ChinaNet 网络中，平均每天监测到的攻击有 500 个左右。所有的攻击中，TCP SYN 攻击占全部 DDOS 攻击的 90%左右，而其中攻击流量较大的类型是 TCP SYN、ICMP、TCP RST。面向连接的 TCP 三次握手是 Syn Flood 存在的基础。TCP/IP 建立连接需要经过三次握手，而攻击者在发送了第一次 Syn 后，不再发送第二次 Syn 信息，导致被攻击者一直等待发送方的 Syn 信息直到超时，而攻击方通过发送大量的 Syn 信息，导致被攻击方 cpu 资源耗尽而无法提供正常服务。DDOS 检测措施：在省骨干网和城域网汇聚层以上网络，可以利用北方 IP 三期数据网管 http:/219.150.32.197:2003/nms/login.jsp 以及北方 DDOS 攻检测工具 Arbor Networks Peakflow https:/219.150.59.250/ 进行日常监控、当然还可以通过在设备上查看 Access-List 匹配方式来检测网络攻击。在城域网汇聚层以下的网络中，由于 IP 三期数据网管不能检测到该层面的电路流量情况，因此，可以使用北方 DDOS 攻检测工具 Arbor Networks Peakflow https:/219.150.59.250/和Access-List 的检测等方法，还可以采用一些二层网络的检测及使用协议分析技术进行攻击检测。 利用北方 IP 三期数据网管进行日常监控各盟市以及区维护中心网络监控以及维护人员可登录该系统，然后查看网络所监控范围内的电路波动图，如发现流量异常突然增加，则可初步考虑是否受到了 DDOS 攻击，然后查找被攻击主机以及攻击源，即时上报并实施封堵或者清洗工作。下面是包头一用户遭受来至通辽方向省外 DDOS 攻击时，包头 IP 城域网上行呼和以及通辽出口 2.5G 电路流量检测情况。分析流量图可以发现在区呼和出口方向流量正常的情况下，去通辽出口方向入流量突然增加，可以初步判断是包头 IP 城域网内 IP 地址遭到了来自通辽方向省外 DDOS 攻击。InPCore 包头 R3-呼和浩特 R1 2.5G流量观察基准端:A 端 启动即时流量监控A 端|NM-BT-AE-A-3.163:Pos3/0/0(219.148.165.210) B 端|NM-HH-HCZ-A-1.163 :so-7/0/0.0(219.148.165.209)InPCore 包头 ML.A1-通辽 A1 2.5G流量观察基准端:A 端 启动即时流量监控A 端|NM-BT-ML-A-1.163:Pos1/0/0(219.148.166.94) B 端|NM-TL-HP-A-1.163:POS9/0/0(219.148.166.93)InPCore 包头 R3-呼和浩特 R1 2.5G流量观察基准端:A 端 启动即时流量监控 利用北方 DDOS 攻检测工具 Arbor Networks Peakflow 进行检测各盟市以及区维护中心网络监控以及维护人员可登录该系统，查看Alerts 菜单下的 Summary 子菜单，在 All Alerts 列表中可以监控到已经匹配了 Networks 设置的过滤特征值的 DDOS 攻击，其中包括攻击源在北方九省以及被攻击地址在北方九省的所有匹配特征 DDOS 攻击。下面是 10 月 8 日内蒙电信一用户遭受 IP NULL 类型 DDOS 攻击时检测到的结果，我们可以很快速的发现被攻击的 IP 地址为222.74.34.106，以及攻击源、PPS 检测情况、攻击流量 BPS 情况、攻击开始时间、结束时间、攻击类型等相关信息，这样我们就可以快速的部署针对性的流量封堵以及申请集团 NOC 进行流量清洗。 通过 Access-List 匹配方式进行检测由于 Arbor Networks Peakflow 是基于特征值来进行 DDOS 攻击检测的，所有可能有些攻击不能被检测出来，所以我们可以在拥塞发生的端口上绑定 ACL，利用 ACL 匹配来进行检测。 利用抓包工具进行协议分析来进行检测定位由于攻击可能会发生在省网或者某个城域网内部，这时我们无法借助北方系统进行检测，这样通过 PING、TRACERT 等日常工具以及分析设备当时端口流量，将故障定位在小范围内，然后通过使用协议分析工具进行检测定位具体被攻击者或者攻击源。如下图所示，可以看到，在局域网中存在一个 IP 地址向随机的目的IP 地址发送 ICMP 的 ECHO 信息，因此可以判断该 IP 地址的主机正在攻击别的主机，需要检查该主机并阻断攻击源。 DDOS 防范措施：目前集团公司已经组织各省建立了互联网网络安全事件防范与处理虚拟团队，旨在加强电信公司内部及与外部安全组织间的信息沟通，加强对异常流量的监测和分析，积极防范 DDOS 攻击。并于 9 月 30 日前在京沪穗的出入口部署完成三套总共 6G 容量的异常流量清洗设备，为关键站点（党政军、重要新闻媒体网站和基础域名服务器）提供网络攻击流量清洗手段。内蒙电信已在网络边缘部署策略进行虚假源地址流量和常见病毒流量的过滤，以充分遏止采用虚假源地址和蠕虫病毒的攻击行为，并完善了网络安全事件上报流程以及应急处置预案。DDOS 攻击应急处理流程：当中国电信网内北京区域的重要网站遭受 DDOS 攻击时，如果攻击源在内蒙电信网内，则区维护中心应全力配合集团 NOC 判断攻击特征和溯源，进行流量清洗或者流量限速的方式对攻击流量进行处理。当内蒙电信网内的重要网站和域名服务器遭受 DDOS 攻击时，受攻击所在盟市公司维护部以及区维护中心应尽快确定被攻击地址、判定攻击特征，确定攻击来源，同时应向集团北京 NOC 申请调用京沪穗出入口的流量清洗设备对攻击流量进行清洗。如无法对攻击进行有效处理时，在用户同意时可使用“黑洞路由”或流量限速方式对攻击流量进行处理。当内蒙电信网内普通站点遭受 DDOS 攻击，造成省网、城域网、IDC 拥塞时，可使用“黑洞路由”或流量限速方式对攻击流量进行处理。内蒙电信区维护中心负责提供 7x24 小时的 DDoS 攻击应急响应和技术支撑。当 DDOS 攻击造成大量用户投诉时，各盟市公司应在处理攻击的同时，做好用户解释工作，和政府相关部门保持密切联系，防止事态的恶化。应急处理流程图如下： （3）网络复原后的处理）网络复原后的处理故障恢复后首先查看故障点是否完全恢复、确认网络性能正常；其次进行业务测试；在确认业务已恢复后进入观察期并完成故障分析及报告。网络正常状态的判别标准（全区 NE80E 路由条目 18347）根据网络故障发生的层面可通过测试网络连通性测试、网络路由测试来确定网络性能是否恢复正常，下面是正常情况下从鄂尔多斯中心局NE40E 到北京以及天津的网络性能及路由。鄂尔多斯中心局 NE40E 到北京：（2009 年 8 月 4 日测试 baidu 网站为例）鄂尔多斯中心局 NE40E 到天津：1、临时抢通的业务电路复原流程如果是通过传输层倒波后恢复的业务，那么在传输故障恢复后，在将电路倒回前需要做以下工作：用仪表确认故障电路性能已经完全恢复 确定电路倒回时可能造成的影响并制定相应处理流程根据业务状况网络层面确定操作时间、人员并通知相关部门做好倒波前的准备工作,包括端口的确认、尾纤的测试、纤缆的布放等按照倒波流程配合传输专业完成割接在传输确认倒波完成后检测 IP 网络连通性、网络路由、网络性能。2、如果是通过路由调整恢复的业务，那么在将路由复原前需要做以下工作：如果是由于网络病毒或异常流量导致的路由调整，那么确认病毒被查杀或隔离后在进行复原、或是异常流量被抑制或过滤后在进行复员。3、如果是一个方向传输故障后通过路由调整将流量引到其他方向恢复的业务，那么需确认故障方向传输恢复后在将流量调整回来。4、如果是双节点设备其中一台设备故障，那么在将业务从另一台倒回来前需确认故障设备性能没有问题在将故障设备接入网络前先将流量全部调整到那台正常设备上将故障设备接入网络并确认端口设备没有问题可以正常转发数据包将路由调整复原并观察网络流量、网络路由、网络性能是否恢复。 3、应急处置后评估、应急处置后评估分析故障处理是否启用了相应的预案、为什么没有启用或为什么没有相应的应急预案；分析起用应急预案的效果，是否在规定时间内成功启动了相应的应急预案，重点分析没有成功起用的原因，或者成功了但那些方面还需要改进；分析故障是否在现有应急预案的考虑范围，能否对类似故障制定出相应的应急预案；总结应急预案中不完善的地方并针对故障完善相应应急预案。4、信息发布、信息发布在启动应急预案前按照流程进行对各相关层面部门发送传真的同时通过电子邮件、OSS 进行预案的发布。信息内容应包括：应急预案启动的原因、时间、地点、具体实施人员；针对的网络层面；详细的应急预案；可能影响的范围等。在启动应急预案完成后向相关部门、人员发送本次应急的实施过程及分析。四、应急保障四、应急保障1、人力保障、人力保障下面是北方网管中心、省网监中心、各地市网监中心、各设备厂家相应的负责人及通信方式。根据不同的流程联系不同层面的人员进行故障处理。1、北方网管中心数据网管中心电话序号北方网管联系电话1殷宇晶022-58810231 153201802802杨斌022-58810234 153201808183系统代维022-588102594值班电话02258810291，58810292, 588102952、内蒙电信省网管中心电话序号内蒙网管联系电话1狄光0471-3337856 133271022172王斯0471-3386959 153355801593郝如意0471-3380000 153355801564值班电话0471-3380000，0471-33800013、内蒙古电信 IP 网各地市电信分公司 24 小时值班热线电话：序号单位24 小时机房维护值班电话1区维护中心0471-3380000、0471-33800012呼和浩特047133865923通辽047563890004包头047269800005赤峰047658800006鄂尔多斯047739800017呼盟047039900148巴盟047879900039乌海0473699000210乌盟0474488000111锡盟0479699551112阿盟0483399000013兴安盟048239800004、内蒙古电信 IP 网各地市电信分公司数据专业联系人电话：序号单位姓名联系电话王学峰153355812281呼和浩特市玛西巴雅尔153355812292呼伦贝尔市崔永军133148020003包头市姚程亮133271750624乌海市李刚133847386855乌兰察布市史凉冰133271486686通辽市王辉153329900207赤峰市朴树艳153356661698鄂尔多斯市王剑153356750259巴彦淖尔市许龙1332708212210锡林郭勒盟苑广富1533569002811兴安盟刘丰1533562890812阿拉善盟何伟131348381885、各厂家内蒙古电信 IP 网值班通讯录：厂家接口人24 小时咨询电话李杰13904712632金志远13674831060钱小波13754097700王会13848173916华为800 咨询800-8302118中兴赵强15849186818李嵬15810630650任志坚 13701083674爱立信杨震 13911908840系统集成王新乐15326091399（城域网）2、备件保障、备件保障鄂尔多斯电信分公司目前有一块 ME60 的 BSU 备件，当 4 台 ME60 中有业务板出现故障时，可以紧急调用；另外中心局、火车站、准旗 8905 都多配置了一块光口板，当某局点 8905 出现单板故障，可以临时就近从这几个点拔板子恢复业务。建议再为 MA5200G、NE40、NE40E 准备备件，其中 NE40E 的备件也可用于NE80E。五、监督管理五、监督管理 1、预案演练、预案演练由于预案涉及到的应急处置（设备以及线路操作）在网络正常情况下，操作比较危险，故预案演练内容主要以预警机制、人力保障、备件保障、熟练性学习上。2、宣传和培训、宣传和培训第一、由于鄂尔多斯网络监控组是故障管控的第一责任人，也是预案启动的关键部门，所以根据预案内容对网络监控组的培训以及与设备维护组的配合上是相当关键的； 第二、由于设备控制层及核心层设备是由区公司维护的，所以加强与区公司网运部及网管中心的配合也是我们宣传和培训的主要工作内容。六、附则六、附则1、预案管理、预案管理主要涉及内容有如下两点：（1）预案更新完善条件，当网络拓扑、路由策略、人员保障、备件保障等发生改变时预案需相应进行调整；当在进行预案培训、演练、启动后发现有不正确后不完善的内容时，需进行及时调整；（2）预案内容扩散范围，出于安全性考虑预案内容属于公司网络技术机密，故规定预案内容扩散范围只限预案本身涉及人员。七、附件七、附件1、事件分级标准、事件分级标准重大故障：互联网业务中电话拨号业务阻断影响超过 1 万户*小时，专线业务阻断超过 500 端口*小时；ATM/FR 网、IP 网设备等发生大范围故障，影响业务超过 30 分钟；一级故障：核心环或汇聚环环网倒换超过 120 分钟仍没有有效措施进行恢复的情况；任何 155M 级别的在用电路出现阻断或以上级别出现瞬断（业务受阻）的情况；发生 100M 以上带宽型数据电路中断；二级故障：发生 10-100M 带宽型数据电路中断；同时发生 3 个及以上数据用户电路故障；发生非重点客户的单个接入设备（DSLAM、RSA、ONU、SMII 等）业务中断； 三级故障：宽带接入设备或语音接入设备单一用户板故障；发生单个普通用户数据业务中断；发生普通客户专线电路中断。四级故障：单个 ADSL 用户电路中断。2、应急管理工作流程、应急管理工作流程