华为CES业务不通或误码问题定位指导

HUAWEI TECHNOLOGIES CO.,LTD.,Page,*,单击此处编辑母版标题样式,Huawei Confidential,英文标题,:32-35pt,颜色,:R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,:Arial,中文标题,:30-32pt,颜色,:R153 G0 B0,字体,:,黑体,英文正文,:20-22pt,子目录,(2-5,级,):18pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,:Arial,中文正文,:18-20pt,子目录,(2-5,级,):18pt,颜色,:,黑色,字体,:,细黑体,配色参考方案：,建议同一页面内不超过四种颜色，以下是,13,组配色方案，同一页面内只选择一组使用。（仅供参考）,客户或者合作伙伴的标志放在右上角,.,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,英文目录标题,:35-40pt,颜色,:R153 G0 B0,内部使用字体,:,FrutigerNext LT Medium,外部使用字体,:Arial,中文目录标题,:35-40pt,颜色,:R153 G0 B0,字体,:,黑体,英文目录正文,:28-30pt,子目录,(2-5,级,):20-30pt,颜色,:,黑色,内部使用字体,:,FrutigerNext LT Regular,外部使用字体,:Arial,中文目录正文,:28-30pt,子目录,(2-5,级,):20-30pt,颜色,:,黑色,字体,:,细黑体,Thank you,2024/10/9,CES,业务不通或误码问题定位指导,目录,定位示意图,常见告警说明,CES,业务性能说明,配置参数要求,典型案例,信息采集,定位示意图,Page,3,一看告警，二查计数，三检配置，四做倒换，五测,PRBS,；,常见告警说明,Page,4,告警名称,常见原因及解决方法,T_ALOS/R_LOS,链路中断,UP_E1_AIS,MS_AIS,AU_AIS,TU_AIS_VC12,V5_VCAIS,对端设备给,PTN,发送了,AIS,，需要检查对端设备告警。,DOWN_E1_AIS,PTN,下插的,AIS,告警，对于,CES,业务通常有,2,个原因：,下溢导致。可能是丢包、时钟不一致引起。,CES,业务另一端,UNI,有物理告警,LFA/LMFA,帧格式不一致，修改成一致,HP_UNEQ/HP_SLM,C2,字节不一致。,PTN,收发的,C2,字节应为,(0 x2)TUG.,LP_UNEQ_VC12,V5,字节,Signal Label,不一致。,PTN,收发的,V5,字节应为,(0 x2),异步模式。,LP_RDI_VC12,ALM_E1RAI,VC12/E1,通道收到远端告警，检查对端设备端口告警。,常见告警说明,(,续）,Page,5,告警名称,常见原因及解决方法,CES_LOSPKT_EXC,网络侧丢包，伴随有,ces_jtrudr.,网络抖动导致报文乱序。伴随有,ces_jtrovr.,CES_MISORDERPKT_EXC,一般会有,ces_jtrovr,。原因,:,1.,多收了报文。例如：,1+1,保护配置不一致。,2.,网络抖动导致报文乱序。,CES_STRAYPKT_EXC,使能,RTP,头后,SSRC,域不对。,CES_,MAL,PKT_EXC,LEN,域不对,，两端装帧时间或时隙数不一致,使能,RTP,头后，,PT,域不对。,CES_JTRUDR_EXC,通常伴随着,DOWN_E1_AIS,告警。,一般是丢包引起。,网络侧抖动过大，尝试调大,Jitter Buffer,。,CES_JTROVR_EXC,参见,CES_MISORDERPKT_EXC,网络侧抖动过大，尝试调大,Jitter Buffer,。,备注,:,建议直接查看性能。这些告警都是性能越过高门限后上报告警，降到低门限后结束告警。,有告警时，需要结合其他性能来判断故障原因。,常见告警说明,(,续）,Page,6,告警名称,常见原因及解决方法,CESPW_REMOTE_LOSPKT,远端检查到丢包。表示本段,-,远端方向有丢包。,查看对端性能，按丢包问题处理。,CESPW_OPPOSITE_RAI,远端,UNI,侧端口接收到了,RAI,告警。,CESPW_OPPOSITE_ACFAULT,远端,UNI,侧端口接收到了物理告警：,LOS/LFA/LMFA/UP_E1_AIS,备注：,这,3,个告警必须,CES,业务两端都使能告警透传才会产生。,这里的远端指的是端到端配置的,CES,业务的另一端。,CES,业务性能说明,Page,7,CES,线段是,CES,业务封装成包的点到对端的解封装的点。这,段路径上,业务都是包。,ces_xxxpkt,在端点检测。,PW,段是,NNI,侧单板统计业务性能点。,pw_xxx,性能在端点检测。,在解封装之后有一个,Jitter Buffer,，它的作用是吸收网络侧抖动。,ces_jtrudr/ces_jtrovr,在端点检测。,Tunnel,性能对于定位单个业务不通问题帮助不大。使能,PW,性能监控的时候，不允许使能,Tunnel,性能。反之亦然。,PRBS,段是做,NNI,方向的,PRBS,的测试点。它基本上已经靠近端口，能够测出中间节点的丢包，改包问题。,当然也支持,UNI,方向,的测试，可以测试线路侧的故障。,CES,业务性能说明,(,续）,Page,8,如果发现丢包速率,=,发包数率,=1/,装帧时间，那么说明业务完全中断。缺省情况下是,1000/s.,必须两端性能结合起来判断，因为本端的性能只代表远端,-,本端这个方向的计数。,如果发现,A-Z,有丢包，那么可以逐段创建,CES,业务来检测是哪段链路故障。可以使用二分法，,但必须从,A,开始。例如：,A-M,A-K,A-D,A-B,。这个方法还适用于,PRBS,测试。,图中步骤包含先恢复业务目的，同时给定位更多的信息，提高研发定位的效率。,配置参数要求,参数,要求,帧格式,(Frame Format),本地业务,如果不选择时隙，那么帧格式必须是,unframe,的。,如果要选择时隙，也就是配置,fractional e1,业务，必须选择成,frame,的帧格式。,(R2,新特性,),远端业务（分两种：,STAOP-E1,和,CESoPSN),SATOP-E1,，帧格式必须是,unframe,可以承载任意帧格式的业务,CESoPSN,帧格式必须是,double-frame/crc4-multiframe,需要保持和对接设备帧格式一致。,如果要在一个端口配置多条,CES,业务，也就是,Fractional E1,业务，必须选择,CESoPSN,这种传送方式。,时隙数,业务的总时隙数大于等于,2,装帧时间,(Load Time),要求两端一致（端到端配置时网管自动完成）,抖动缓存,(Jitter Buffer),使用缺省值,8000us,即可。修改时，建议至少修改成装帧时间的,2,倍。,Page,10,典型案例,物理接口参数不匹配导致业务持续误码；,带宽不足导致,CES,业务断断续续；,中间,SDH,网络保护错误导致,CES,业务报文乱序中断；,时钟不同步导致,CES,业务长时间测试误码；,网络抖动过大导致,CES,业务误码；,改包导致基站业务中断；,中间网络丢包导致业务中断,Page,11,故障案例,物理接口参数不匹配,【,问题现象,】,：,客户配置了两站,CES,业务，,NNI,侧穿越第三方以太网络，无线设备检测到较高的误码率。,PTN 1900,RBS,FE,E1,PTN 3900,PTN 3900,BSC,Metro Ethernet,GE,GE,GE,PSN,AC,AC,GE,cSTM-1,OSN 3500,E1,1+1 MSP,1:1 APS,Work tunnel,Protection tunnel,Page,12,故障案例,物理接口参数不匹配,【,怀疑点,】,：,业务没有中断但误码率居高不下，通常有两种情况：,(1)CES,业务部分丢包；,(2),物理链路不稳定；,【,分析过程,】,：,(1),检查,PTN3900,网元，无任何告警。,(2),检查,PTN1900,网元，发现,CES,业务的,CES_LOSPKTS,计数不断增长，这说明,NNI,接口物理链路异常导致持续丢包,;,检查,NNI,接口（,FE,端口）有,MAC_FCS_EXC,告警不停抖动。,(4),检查,FE,端口的配置参数，工作模式为,100Mfull,，而第三方网络的,FE,接口为自协商模式（根据组网规划应该也配置为,100Mfull,），两个模式不匹配；,(5),通知第三方网络运营商修改工作模式后，告警和误码消失；,【,定位小结,】,：,在实际组网应用中，经常会有,PTN,设备和第三方设备对接的场景，双方物理端口的配置参数务必匹配；,Page,13,故障案例,带宽不足,【,问题现象,】,：,客户配置了两站的远程,CES,业务，,NNI,侧为,POS,端口，刚开始,CES,业务通，但后来所有,CES,业务断断续续。,【,怀疑点,】,：,新增业务后引起同一路径的其他,CES,业务都出现断断续续，最常见的是带宽不足；,【,定位过程,】,：,(1),检查源端和宿端，无告警上报；,(2),查询所有,CES,业务的,CES_LOSPKTS,性能计数都持续增长，很有可能是带宽不足；,(3),检查网元,NNI,接口配置，,POS,端口模式为,155M;,(4),原来有,60,条业务，后来客户增加了几条业务，总流量超过了,POS,带宽；,(5),将部分业务删除改建到另外一个,POS,端口，所有业务恢复正常；,【,定位小结,】,：,在实际组网应用中，必须考虑网络带宽是否满足业务需求；,Page,14,故障案例,中间,SDH,网络保护配置错误,【,问题现象,】,：,客户配置两站的,CES,业务，网络侧,POS,端口，中间穿越,A,厂商的,SDH,网络，,CES,业务持续中断。,PTN 1900,RBS,E1,PTN 3900,BSC,SDH Network,POS,E1,POS,A,厂商,A,厂商,Page,15,故障案例,中间,SDH,网络保护配置错误,【,定位过程,】,：,(1),检查,PTN3900,设备，网元持续上报,CES_MISORDERPKT_EXC,告警；,(2),检查设备内部,CES,接收到的,PW,包数量大约是正常值的,2,倍，同时有上溢告警，这说明收到了多余的报文；,(3),检查,NNI,接口，,POS,端口的收发计数却是大致相等的；,(4),一线工程师检查物理连线，看到,PTN3900,有两个,POS,端口与,A,厂商设备对接，于是拔掉没有配置业务的端口光纤，发现业务恢复正常，,CES_MISORDERPKT_EXC,告警消失，再重新插上，业务再次中断，又开始上报告警，这说明多余的报文是从这个没有配置业务的端口进来的，这个端口虽然没有配置业务，但配置了,layer3,属性和,MPLS,使能，所以不会丢弃这些多余的报文，这些多余的报文搅乱了正常的报文序列；,(5),整改,A,厂商的网络保护配置后，业务恢复正常；,【,定位小结,】,：,出现故障时，注意检查和第三方网络对接的相关接口；,Page,16,故障案例,时钟不同步,【,问题现象,】,：,客户配置了两站,CES,业务，仪表监控大约每两个小时出现一次,LSS,告警。,PTN 1900,FE,L2 ETH Switch,GE,ATN20 Tester,E1,E1,PTN 3900,Page,17,故障案例,时钟不同步,【,怀疑点,】,：,业务没有中断但周期性（分钟级别）地出现误码，最常见的是时钟没有跟踪正确。,【,分析过程,】,：,(1),检查,PTN,