华为PTN ETH业务故障处理

HUAWEI TECHNOLOGIES CO., LTD.,Page,*,单击此处编辑母版标题样式,Huawei Confidential,英文标题,:32-35pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext,LT Medium,外部使用字体,: Arial,中文标题,:,30-32pt,颜色,: R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,) :18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext,LT Regular,外部使用字体,: Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文目录标题,:35-40pt,颜色,: R153 G0 B0,内部使用字体,:,FrutigerNext,LT Medium,外部使用字体,: Arial,中文目录标题,:,35-40pt,颜色,: R153 G0 B0,字体,:,黑体,英文目录正文,:28-30pt,子目录,(2-5,级,) :20-30pt,颜色,:,黑色,内部使用字体,:,FrutigerNext,LT Regular,外部使用字体,: Arial,中文目录正文,:28-30pt,子目录,(2-5,级,):20-30pt,颜色,:,黑色,字体,:,细黑体,Thank you,PTN LMT,PTN ETH,业务故障处理,2024/9/13,目录,原因篇,故障定位流程篇,典型案例分析篇,总结篇,附录,Page,2,原因篇,ETH,业务不通,/,中断原因主要包括以下几种，我们的定位工作也就主要围绕这几个方面展开：,配置错误,硬件故障,/,设备异常,链路问题,/,报文丢失,对接设备异常,/,配合问题,软件缺陷,Page,3,原因篇,业务配置错误,配置错误可能原因：,1:,对接端口的工作模式配置不一致。,2:,对接端口,Tag,属性配置不一致。,3:,网络侧,PW/Tunnel,参数配置错误。,4:,业务被误删除，网管与设备上配置不一致。,5:,对,ELan,业务来说，水平分割组，静态,Mac,地址表的配置也比较关键。,以下故障场景优先排查配置错误：,(1),创建后业务不通；,(2),修改配置后业务中断；,(3),新增业务后其他业务受到影响；,Page,4,原因篇,硬件故障,/,设备异常,硬件连接错误：,原因可能是单板未插紧、物理板和逻辑板不匹配、光纤,/,网线损坏或连接错误等等；,硬件故障：,原因可能是单板元器件,/,芯片损坏、单板元器件寿命到期等等，关键器件会有相应告警上报,详细说明如下：,Page,5,原因篇,硬件故障,/,设备异常,(,续,),以下故障场景优先排查硬件、设备异常：,(1),业务不通或出现丢包时，查询告警存在硬件设备级别告警；,(2),业务更改物理线路后，业务出现误码或不通；,Page,6,原因篇,链路问题,/,报文丢失,接入侧链路故障：,原因可能是接入设备的物理链路中断或质量有问题，导致报文被修改或无法传入,PTN,设备，对于,RJ45,接口,可以查询是否存在,ETH_LOS,，,ETH_LINK_DOWN,告警来进行排查，对于光口可以查,ETH_LOS, ETH_LINK_DOWN, IN_PWR_ABN,告警来进行排查,；,PW/Tunnel,故障：,原因可能是,PW/Tunnel down,、 业务流经的物理链路中断等等；,报文拥塞：,原因可能是带宽配置过小、同优先级的报文流量过大导致丢包,或网络上流经此端口的流量超过端口实际的物理流量的范围而丢包等等；,存在物理或逻辑上环路故障（仅针对,Elan,）：,原因可能是网络组网就存在物理环路，或水平分组配置不合理引起逻辑链路上的环路或报文被环回的情况等等,;,Page,7,原因篇,对接设备异常,/,配合问题,对接设备异常：,原因可能是对接设备将报文修改了，我们接到错误报文就直接丢弃，或者对接设备异常导致无法发送数据到对端等；,配合问题：,原因可能是业务流经的设备过多、网络流量拥塞、带宽分配过小、中间网络设备调度算法有缺陷等等导致网络时延，抖动过大，从而影响业务的传输性能。,以下故障场景优先排查对端设备异常：,（,1,）我们设备上没有异常告警且配置正确，查询端口性计数无收情况。,（,2,）业务传输不稳定，会出现中断后又恢复的情况。,（,3,）业务原来是正常，我们设备配置没有更改过，出现的业务不通问题。,Page,8,原因篇,软件缺陷,软件缺陷主要有以下几种情况：,(1),配置丢失；,(2),单板或网元异常复位；,(3),软件不同模块的配置参数不一致；,(4),软件内部处理流程错误；,(5),告警误报；,需要研发人员提供相关命令才能确定。,Page,9,故障定位流程篇,通用方法介绍,通用流程介绍,（,1,）硬件故障定位流程,（,2,）,Tunnel/pw,故障定位流程,（,3,）接入侧故障定位流程,(4) ELAN,业务层面定位流程,（,5,）其它故障定位流程,Page,10,故障定位流程篇,通用方法,先分离外部故障，再定位内部故障；,先定位宿端和源端，然后定位中间站点；,先定位,NNI,侧，然后定位,UNI,侧；,如果较多业务故障，注意归纳分析这些故障现象有无共同的规律，例如，这些业务是否都是流经特定的网元,/,单板,/,端口？故障业务是否由某些特定的,Tunnel,承载？故障业务是否都是同一种类型？,Page,11,故障定位流程篇,通用流程,Page,12,通用流程,硬件故障,处理流程,Page,13,通用流程,TNL/PW,异常处理流程,Page,14,通用流程,uni,侧故障处理流程,Page,15,通用流程,ELAN,业务层面故障处理流程,Page,16,通用流程,其它故障处理流程,Page,17,典型案例分析篇,ELine,业务典型案例分析,:,现象描述,关键过程分析,怀疑点排除,问题根因,经验总结,/,预防措施,ELan,业务典型案例分析：,现象描述,关键过程分析,怀疑点排除,问题根因,经验总结,/,预防措施,本章节要求读者了解,PTN,产品架构和业务模型，熟悉基本的业务配置。,Page,18,ELine,业务典型案例分析篇,现象描述,某运营商网络通过在,PTN,设备上配置专线业务用以传其时钟数据，也就是将,RNC,的时钟数据传输到,NodeB,但有些站点会出现业务中断后又自动恢复的问题,.,组网如下图：,E,厂商路由器,A,厂商,ME,网络,Page,19,ELine,业务典型案例分析篇,关键过程分析,根据现象某些站点业务间歇性的中断又恢复，可能存在以下几种情况,:,1,：问题站点的,PTN,网元可能存在异常，比如：业务所在单板存在间歇 性的复位。,2,：传输物理链路不稳定。,3,：中间网络存在异常。,4,：,PTN,设备与,RNC,或,NodeB,之间配合存在问题。,Page,20,ELine,业务典型案例分析篇,怀疑点排除,第一步,：,获取了问题站点的网元上的所有当前及历史告警,业务配置，端口配置,errlog,信息，及操作记录，没有发现网元及业务单板存在异常的情况。,因此，网元或业务单板存在异常的怀疑点被排除。,第二步,：,由于获取,RNC,，,NodeB,及中间网络上的相关告警信息，客户需要一定的时间才能提供，因此，从客户提供的问题站点的信息分析，这些问题站点都有一个共同点，与,NodeB,相连的,PTN,设备都是,912,设备，且都是用网线相连接。检查了一个问题站点网线的物理连接，没有问题。,因此，可能存在传输链路的疑点基本上也可以被排除。,Page,21,ELine,业务典型案例分析篇,怀疑点排除（续）,第三步,：,从客户提供的部分信息可以看出，问题站点的,NodeB,上有,SynLos,告警开始和结束记录，与业务中断和业务恢复的时间比较，基本上吻合，而,SynLos,告警是,NodeB,的时钟跟踪不上才会上报的。那么，究竟是业务中断引起,eNodeB,的时钟跟踪不上而上报,SynLos,告警，还是时钟跟踪不上后，而引起业务中断呢？,由于排除前者非常困难，因为还涉及到中间网络的分析。,那相比前者，确认后者是否,NodeB,时钟跟踪不上就会中止发送数据,及,NodeB,时钟跟踪有那些性能要求的问题就更容易些。,与客户确认结论：,NodeB,如果一段时间时钟跟踪不上，,NodeB,端口就会停止向外发送数据，且,NodeB,对网络性能要求是,1%,clockpacket,的,jitter,小于等于,20,微秒,.,Page,22,ELine,业务典型案例分析篇,怀疑点排除（续）,第四步,：,根据确认的结论，我们尝试了以下测试方案,用测试仪从,PTN912 18,端口打报文,在,PTN3900,网元的,uni,端口作环回，将业务环回到,PTN912 18,端口,测试以太专线业务传输的数据包,PacketDelay,PacketJitter,的指标。再将,PTN912,设备换成,PTN1900,设备，经过相同的物理路径测试相应地指标，测试结论如下,单位,(,微秒,):,Page,23,ELine,业务典型案例分析篇,问题根因,由第四步的测试数据，,基本可以确定是网络上数据传输的时延抖动不能很好地满足,NodeB,对网络性能的要求,。当网络上性能变差时，业务就会中断。而,PTN912,相比,PTN1900,来说是相对低端的产品，在硬件转发能力上比,PTN1900,要弱，且内部转发原理也不一样，,PTN912,是通过软转发来实现的。因此，在,PTN912,所在的某些站点会出现业务间歇性中断概率较大。,Page,24,ELine,业务典型案例分析篇,经验总结,1:,导致,ELine,业务中断原因比较多，但没有异常的告警或事件记录的情况下业务中断的情况比较少见，在此种情况下，一定要对与之对接设备的异常情况进行监测，这些异常情况能帮助我们更快速准确地定位出问题的根本原因。,2:,用以太业务传时钟数据应用比较少，使用前需要先评估我们设备所在的整个网络性能是否能很好地满足应用需求。,Page,25,典型案例分析篇,ELine,业务典型案例分析,:,现象描述,关键过程分析,怀疑点排除,问题根因,经验总结,/,预防措施,ELan,业务典型案例分析：,现象描述,关键过程分析,怀疑点排除,问题根因,经验总结,/,预防措施,本章节要求读者了解,PTN,产品架构和业务模型，熟悉基本的业务配置。,Page,26,ELan,业务典型案例分析篇,现象描述,某运营商网络通过在,PTN,设备上配置专网与另外一个设备供应商的,DSLAM,对接，在实际业务割接时，通过,DSLAM,上网，业务不通。出现问题的网络的逻辑组网如下图：,Page,27,ELan,业务典型案例分析篇,关键过程分析,业务不通，可能存在以下几种情况,:,1:PTN,设备与,DSLAM,之间配合存在问题,.,2:PTN,设备上业务配置有问题。,3:DSLAM,设备异常。,Page,28,ELan,业务典型案例分析篇,怀疑点排除,第一步,：,对,PTN,设备上专网配置进行了检查，基本业务配置没有问题，只是网元,PTN60012,上的网络侧配置有水平分割,组,而另外两个网元上没有配置水平,分割,组。,因此，基本配置应该不存在问题。,第二步,：,通过查询网元上的,mac,地址学习信息，发现,广播流量会从,DSLAM-PTN60012-PTN60014-PTN60013-PTN60012,最后回到,DSLAM,的上行口， 即,PPPOE,业务客户端的请求连接报文被专网环回，从而导致,DSLAM,的,MAC,地址表错误被刷新,。,因此，问题的基本原因是在对专网的应用的设计上。,Page,29,ELan,业务典型案例分析篇,解决方案,解决方案：,在,PTN60013,或,PTN60014,上配置水平分割组阻断其专网中的两个网络侧间报文的转发功能即可,.,Page,30,ELan,业务典型案例分析篇,经验总结,导致,Elan,业务不通的原因比较多，但在遇到问题后，分析透彻现网组网，清晰业务构架和转发机制是至关重要的。,Page,31,总结篇,本文档只是对,ELine/Elan,业务故障的可能的原因进行说明，针对两类业务形态，仅各选择了一个典型案例进行分析，前面提到的其它的影响,ELine/Elan,业务原因案例就不一一例举，,附录篇,中, ,文档有详细总结，请参考；,本文描述的案例都是比较典型的，定位过程仅供参考，不必完全按照以上描述的步骤进行定位，可以根据经验灵活选择；,如果现场无法定位清楚或业务已被恢复，请采集完整故障信息返回研发分析，所需信息如下,:,Page,32,总结篇,(,续,),(1) T2000,当前告警和历史告警；,(2) T2000,异常事件记录；,(3) T2000,操作记录；,(4),故障信息采集工具,Datacollector,的采集信息；,(5),研发提供的,Navigator,命令输出信息；,(6),提供组网图，标注业务流经的网元,/,单板,/,端口；,(7),描述业务中断的时间、中断前的操作、中断后的处理措施以及业务恢复时间；,(8),提供网元时钟跟踪关系；,(9),如果和别的设备对接，需要返回对端设备的历史告警记录；,Page,33,附录,:,说明：以下文档涉及到流程图，请以,150%,或,200%,的文档比例查阅比较合适,.,Page,34,