TR_TS05_C1_1ZXTR RNC系统故障排查(设备)

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,中兴通讯学院,中兴通讯学院,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,谢 谢！,Thank you!,精诚服务 凝聚客户身上！,中兴通讯学院,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,中兴通讯学院,中兴通讯学院,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,RNC,设备类故障处理,XXX,团队,学习目标,(,必选,),学习完此课程，您将会：,了解导致,RNC,硬件问题的常见原因。,了解,RNC,常见故障处理手段与方法,通过案例学习，掌握故障处理思路,2,课程内容,常见故障分类,常见故障处理排查思路,典型故障案例,3,故障分类,时钟类故障：主要包括各类基准时钟丢失、锁相环失锁等等；,启动类故障：单板无法启动、单板反复重启等等；,传输类故障：告警察看出现链路故障或者链路滑码告警等；,前后台同步和版本升级类故障：包括前后台数据的同步不成功以及升级过程中版本激活异常等；,其他类故障：这些故障包括由于系统设计不足或者技术人员操作不当导致的故障等等。,故障分类,各类故障原因简介,故障分类,典型故障现象,常见故障原因,时钟类故障,基准时钟丢失、锁相环失锁,输入的时钟基准信号丢失,输入的时钟基准信号变差,时钟连接线缆接触不良,锁相环失锁,单板故障,启动类故障,单板灯常亮，单板反复重启,BOOT不对（没有插紧或者没有烧对，插错）,逻辑未烧或者错误,版本文件错误或者缺少版本,版本和数据库中的版本对应不上,内存条未插好、损坏或者硬盘等硬件损坏IP地址冲突或者数据设置错误,传输类故障,链路故障或者链路滑码告警,单板与传输介质之间的阻抗不匹配,时钟异常,传输设备异常,数据配置错误,前后台同步以及版本升级类故障,前后台数据同步失败，版本升级不成功,新旧版本的前台数据库结构发生了变化，版本升级时数据表冲突,前后台的数据表的更改不同步,其它类故障,包括误操作以及干扰类故障的排查等等,由于前后台配合问题，导致的版本激活不成功,由于配置问题问题导致的,RSSI升高,课程内容,常见故障分类,常见故障处理排查思路,典型故障案例,6,时钟类故障处理,RNC,时钟处理机制,时钟处理机制,三种时钟接入方式：,GPS,接入、,BITS,时钟接入、线路时钟提取,完成时钟同步锁相、时钟分发功能,CLKG,单板对外提供,15,套系统时钟（包括：,PP2S,、,8K,、,16M,）至各资源子系统，采用电缆传送,CLKG,单板提供,10,套（,8K,、,32M,、,64M,）时钟给,T,网的单板使用,单板采用二级钟晶振,在丢失基准后，采取保持（,KEEP,）策略，保持时间很长，可到半年以上，在保持中，由人工根据基准情况选取合适的时机进行切换,RNC,一般采取,Iu,口线路时钟提取方式,时钟类故障处理关键点,目前从,CN,提取时钟的端口可配置，默认为,APBE,板的,4,号光口（第一个口）,可以根据实际和,CN,连接的端口进行修改，修改位置在,APBE,板上点击右键菜单，选择修改，在单板的“基本信息”页面里面，有线路时钟基准，数值有,0,3,，分别对应,APBE,端口,4,7,。,检查,RNC,时钟线缆连接，看从,APBE,板过来的时钟线连接到,CLKG,后插卡的,8KIN1,还是,8KIN2,，现在默认是,8KIN1,，后台网管上配置需要和前连线一致。,如线缆连接到,8kin1,，则将后台“配置主用时钟基准”为,8kbase,，“所有时钟基准”只有,8kbase,。如是,8kin2,，则上述两个配置应该都为,8KGPS,。,目前,TDRNC,时钟单板并未实现主用时钟基准功能，更没有实现优先级切换功能。,“配置的所有时钟基准”参数只是配置了,OMP,上面的时钟管理模块和告警模块，作用是为了能够检测前台时钟丢失的现象，并不是启用某个时钟基准。,CLKG,单板获取当前时钟基准并不受后台参数的影响。,启动类故障处理,BOOT,不对（没有插紧或者没有烧对，插错）,逻辑未烧或者错误,版本文件错误或者缺少版本,版本和数据库中的版本对应不上,内存条未插好、损坏或者硬盘等硬件损坏,IP,地址冲突或者数据设置错误,机框拨码错误,启动类故障产生原因一般有以下几个因素导致,:,传输类故障处理方法,故障排查检查事项,检查设备间物理连接的正确性。,主要是检查所对接的两个设备之间的电缆正确性，防止电缆的漏焊、虚焊、接触不良，特别是要防止电缆的混线。电缆混线会在两处设备侧产生一些异常现象，所以一定要首先保证物理连接的正确性。,检查双方对接设备的接地和共地情况,如果设备接地不好，将会直接影响对接。接地存在的问题通常为：两个对接的设备未能真正的共地；,DDF,配线架未按要求接地。要检查两个对接设备的共地情况，可测量两设备的接地点之间电阻的大小或两个接地点之间有无电位差。,对接不成功时请重点检查两设备是否真正共地。许多对接不成功的的现象，最后的原因都是两个设备未能真正的共地。,检查同轴端口的屏蔽层接地,75,非平衡式同轴端口的外导体（即屏蔽层）常规的接地方法是发端接,PGND,（保护地）、收端悬空（或接,PGND,）。可用万用表测试同轴端口的屏蔽层与设备,PGND,之间的电压，就可以大致判断出同轴端口屏蔽层的接地方式。如果屏蔽层接地不好，会由于两个地（,BGND,、,PGND,）之间存在电位差和交流干扰，从而影响信号对接时的波形，导致对接不成功。对接不好时要检查双方设备的同轴端口屏蔽层的接地方式是否一致（,PGND,指保护地，,BGND,指工作地）,传输类告警表现形式以及处理方法,后台一直存在且不恢复告警处理方法,如有,LOS,（信号丢失）告警：首先检查本端设备,E1,电缆连接是否正常，收发连接是否正确，,DDF,配线架上,E1,线连接是否正确。如果这些都正常，请传输检查发送给本端的信号是否正常。,如有,AIS,（告警指示信号）告警：首先确认该条,E1,有没有进行对接，如果没有进行对接，请在配线架上自环该条,E1,或者取消该子单元的配置。如果有对接局向，请对端局检查跟传输设备的连接情况。,如果有,LOCMF,（复帧失步）告警：请确认两端配置的帧格式是否一致。,如果有,RAI,（接收远端告警）：检查本端的发送是否正常，请对端看对应的告警信息。如果确认本端发送正常，对端接收有相应告警，请传输配合查故障原因。,不间断频繁上报又马上恢复的告警处理方法,如有,LOS,（信号丢失）告警：首先检查本端设备,E1,电缆连接是否正常，收发连接是否正确，,DDF,配线架上,E1,线连接是否正确，是否接触不好或者有串线。如果这些都正常，请传输检查发送给本端的信号是否正常。,如有,AIS,（告警指示信号）告警：这种情况本端设备正常，请对端局检查跟传输设备的连接情况，传输设备上是否有相应的告警。,如果有,LOF,（帧失步）、,LOCMF,（复帧失步）告警：首先检查本端设备,E1,电缆连接是否正常，收发连接是否正确，,DDF,配线架上,E1,线连接是否正确，是否接触不好或者有串线，配线架上静电地是否正常。如果这些都正常，请对端也检查这些内容。,如果有,RAI,（接收远端告警）：检查本端的发送是否正常，请对端看对应的告警信息。如果确认本端发送正常，对端接收有相应告警，请传输配合查故障原因。如果对端没有相应告警信息或者看不到，进行环回诊断。,述方法都不能解决故障，需要逐级进行环回诊断。如果环回诊断查不出原因，需要逐级挂表定位,传输类告警表现形式以及处理方法,某个时间段集中上报并恢复的告警,需确认该时间段对端局是否有相应操作，中间传输设备是否有相关操作，有什么相关告警。只要不是多次出现这种情况，可以确认本端设备没有问题。,随机性零星的告警并恢复,偶尔出现的告警（概率很低，比如几天或几十天出现一次），没什么规律性，一般是正常情况，标准规范也允许。,对于比较有规律零星出现告警的情况，只能通过挂表进行定位原因,传输类告警表现形式以及处理方法,传输故障处理手段,环回诊断法,仪器诊断法,更换单板法,环回诊断法,传输故障处理手段,传输故障处理手段,在,NODEB,设备侧的,DDF,架进行故障,E1,自环，如果故障消失，基本上说明故障源不在本端，进行下一步诊断。,RNC,侧,ODF,架物理环回给,NODEB,或者软件设置远端环回把信号环回,NODEB,侧，如果故障消失，基本说明中间传输设备没有问题，故障在两端设备的配合上。如果故障还在，说明跟对端设备没有关系，故障原因基本上在中间传输设备。,当确认故障原因为中间传输设备时，需要传输维护人员协助进行逐级环回诊断。,仪器诊断法,在本端挂表，测试仪接对端传送过来的,E1,信号，检查传输送过来信号是否正常。看仪器是否有相应告警或误码，如果有说明故障原因不在本端，而是在对端或传输。,本端挂表没问题，可以让对端挂表，请对端进行同样方法检测。,如果最终定位原因在中间传输设备上，需要传输维护人员配合检查诊断。,更换单板法,故障集中表现在某一块单板上，可以考虑先更换单板，看故障 能否解决,。,传输故障处理手段,课程内容,常见故障分类,常见故障处理排查思路,典型故障案例,19,时钟类典型故障案例,CLKG,有,“,二级时钟基准丢失告警,”,，时钟一直处于自由震荡的工作模式。,【,故障现象,】,韩国,SKT,项目的,CLKG,告警无法消除，时钟一直处于自由震荡的工作模式。网管告警为：,(1)Input Clock Abnomal(2)Clock base lost second level,【,故障分析处理,】,1,、按照指导书配置（从,APBE,板过来的时钟线连接到,CLKG,的,8KIN1,）检查了,OMCR,上配置的时钟基准，发现配置的“设定主用时钟基准为,8kbase,”，而“配置的所有时钟基准”为两个“,8kbase,”和“,8kGPS,”。,2,、两者均改成时钟基准为“,8kbase,”，但是之后观察告警仍未消除，因为时钟板上有“,Input Clock Abnormal”,告警，因为我们的时钟是从,CN,获取，所以联系三星的核心网工程师，三星工程师说,CN,有一块板子没上电。三星工程师处理完毕后，,RNC,的,CLKG,单板仍然有上述告警,时钟类典型故障案例,3,、检查时钟提取光口和网管配置是否一致,从,CN,提取时钟的端口可配置，默认为,APBE,板的,4,号光口（第一个口）,可以根据实际和,CN,连接的端口进行修改，在,APBE,板上点击右键菜单，选择修改，在单板的“基本信息”页面里面，有线路时钟基准，数值有,0,3,，分别对应,APBE,端口,4,7,。,时钟类典型故障案例,4,、配置结果可通过探针查看,r_unit.info,前台生效是哪个端口，此,r_unit.info,表显示 提取线路时钟的光口号（,03,），分别对应,4,5,6,7,光口；检查后发现,CN,连接的是,5,号口，但是网管配置的是从,4,号口提取时钟，导致提取失败。,【,问题处理,】,网管配置中改为从,5,号口提取时钟，告警消失。,时钟配置要求,如线缆连接到,8kin1,，则将后台“配置主用时钟基准”为,8kbase,，“所有时钟基准”只有,8kbase,。如是,8kin2,，则上述两个配置应该都为,8KGPS,时钟类典型故障案例,RNC,时钟板有时钟基准丢失告警,【,故障现象,】,沈阳浑南机房四个,RNC,时钟板均存在时钟基准丢失告警,【,故障分析处理,】,1,、检查,CLK,单板指示灯，指示灯显示时钟处于跟踪状态,2,、检查时钟连线，发现,RNC,连接,8KIN1,的,APBE,板没有和,CN,对接，连接,8KIN2,的,APBE,板和,CN,连线正常。,3,、检查后台数据配置,时钟类典型故障案例,4,、“设定主用时钟基准类型”为,8kBase,也就是对应后插卡,8kIn1,端口为主用时钟基准，“配置的所有时钟基准”为,48,也就是对应后插卡,8KIN1,和,8KIN2,端口，从界面上的理解是：启用,8KIN1,和,8KIN2,时钟基准，但是以,8KIN1,为主用时钟。而实际只有,8KIN2,的输入，造成网管的告警。,【,故障处理,】,修改网管配置，去掉,8KIN1,的基准，故障消除。,启动类故障排查案例,整个机框的单板运行均不正常,【,故障现象,】,青岛扩容涉及到扩单板和机框，开通时发现,2,架,3,框的所有单板运行均不正常，在后台发现所有的单板都有不在位告警。,【,故障分析处理,】,检查,CHUB,的连线经过逐一拔掉查看,CHUB,单板指示灯的状态，发现,CHUB,的连线正常，检查机框的拨码开关，发现该机框被拨成,1,架,3,框；拨成,2,架,3,框后正常。,启动类故障排查案例,启动类故障排查案例,备用,OMP,不能正常运行,【,故障现象,】,北京马连道机房,RNC2,备用,OMP,（,1,架,2,框,11,槽位）不能正常运行，显示的告警信息是：后插卡错误，和前插板不匹配。,启动类故障排查案例,【,故障分析处理,】,接上超级终端看到如下打印信息,Load FPGA VerFile.,Check MOMPs PCBNum and fpga version(fpga.ini).!,.Fpga verify error!,Fpga verify error!,.Fpga verify error!,Master OMP Fpga Flash boot failed!,从中可以看出,FPGA,版本校验错误。经检查主备,OMP,的,FPGA,版本不同（分别是,040703,和,040704,），将,OMP,的,FPGA,版本更新一致后备用,OMP,正常运行。,启动类故障排查案例,RCB,不能正常运行,【,故障现象,】,北京马连道机房,RNC3,有,3,个,RCB,板不能正常运行,【,故障分析处理,】,在,RCB,后面插上后插板,RPMB,，连超级终端检查发现如下打印消息：,Attached TCP/IP interface to fei2.,Succeed Set fei2 to 100M|FD.,Attaching network interface lo0. done.,Booting from network,Loading.,Error loading file: errno = 0x3c.,Cant load boot file!,基本可以确认子卡有问题，现场通过更换,flash,子卡后，单板正常运行,启动类故障排查案例,CLKG,板状态为,CATCH,【,故障现象,】,北京马连道机房,RNC6 1,架,2,框,14,槽的,CLKG,板状态为,CATCH,，,13,槽位的时钟板状态正常。,【,故障分析处理,】,经过对比正常的板子发现故障,CLKG,板的跳线少一个（,X45,），接好后正常,根据硬件手册，,X45,的作用如下：,X40,X41,X44,X45,BITS时钟第一路,bps、,Hz匹配阻抗选择,短路,1、2脚，表示匹配阻抗为75,短路,2、3脚，表示匹配阻抗为120,短路,1、2脚,启动类故障排查案例,GLI,单板插光纤后不能启动,【,故障现象,】,厦门,RNC2,的,2,架,4,框,3,槽位,GLI,单板启动不成功。观察启动过程发现,GLI,在上电复位时面板灯,ACT,ALM,ENUM,RUN,等长亮一段时间后熄灭，然后,RUN,灯快闪，过段时间,RUN,ACT,灯长亮，再然后就单板复位重启。,【,故障分析处理,】,发现故障现象后，查询单板的异常记录，发现,CPU,的负荷达到,100%,，然后单板就被复位。准备把单板拔下来时，在拔掉光纤的时候发现单板启动成功，,RUN,灯慢闪，,ACT,灯亮，查看后台发现当前无告警。后来再尝试，发现拔掉任一对光纤，都能启动成功，但如果配置的几对光纤同时都连接好，复位后就不能启动完成。怀疑是板上子卡问题。,【,故障解决,】,将单板的上下子卡互换位置后单板恢复正常，再将两个子卡恢复成原位后，故障现象没有复现。估计是子卡没有插紧导致,启动类故障排查案例,GIPI,无法正常启动,【,故障现象,】,北京马莲道,RNC,某,RNC,出现,GIPI,单板异常告警，同时单板运行指示灯，告警指示以及,PWR,指示灯等指示灯长亮一段时间然后熄灭，然后单板复位重启。,【,故障分析处理,】,从指示灯长亮情况来看，单板上电后无法下载版本，因此原因可能是单板本身启动异常，,GIPI,与,ROMB,单板通信异常。因此将,RGIM,后插卡插入,GIPI,的后背板槽位，通过串口信息观察,GIPI,单板在启动过程中的打印信息。在,GIPI,上点过程中有如下打印：,= IXP23XX BOOT START =,boot type = 0x00000002,configuration register 0 = 0x8066B02E,xsi memory init.done!,cpp memory init.,启动类故障排查案例,观察打印消息中在做,CPP,内存初始化不能正确完成，导致单板复位重启，因此怀疑为内存初始化失败或主板故障,【,故障解决,】,将该单板的内存和别的,GIPI,单板内存更换，更换内存后启动单板故障现象依旧，因此判断为单板故障，将该单板更换至别的槽位故障复现，更换单板后解决,启动类故障排查案例,UIMU,每隔,1,小时主备倒换,【,故障现象,】,北京,RNC15,的一架三框,UIMU,单板每隔,1,小时左右主备切换，历史告警如下,SUBNET15,RNC15,1/3/9,CPU1,单板和归属模块之间的控制面通讯异常,(8393985),2008-09-16 09:08:56,SUBNET15,RNC15,1/3/10,CPU1,主备单板通信链路断,(5122),2008-09-16 09:08:46,SUBNET15,RNC15,1/3/10,CPU1,单板和归属模块之间的控制面通讯异常,(8393985),2008-09-16 08:03:57,SUBNET15,RNC15,1/3/9,CPU1,主备单板通信链路断,(5122),2008-09-16 08:03:47,SUBNET15,RNC15,1/3/9,CPU1,单板和归属模块之间的控制面通讯异常,(8393985),2008-09-16 06:58:59,SUBNET15,RNC15,1/3/10,CPU1,主备单板通信链路断,(5122),2008-09-16 06:58:49,启动类故障排查案例,【,故障分析处理,】,系统异常日志，,10,槽位,UIMU,的异常日志如下,Rack:1, Shelf:3, Board:10, Cpu:13GPlat012456789Date: 2008-08-27 22:34:22The System need restart, the reason: 2208, the last words:Ctrl Link Error. Change over success and reset.,9,槽位 异常日志,Rack:1, Shelf:3, Board:9, Cpu:13GPlat012456789Date: 2008-08-27 21:29:24The System need restart, the reason: 2208, the last words:Ctrl Link Error. Change over success and reset.,启动类故障排查案例,从打印上看，,UIMU,由于检查到控制面控制端口连续错误，从而引起主备单板倒换，每块单板均能正常启动并且本框内大部分单板都能正常启动，说明可以排除,UIMU,单板本身故障。同时备用,UIMU,复位，可以检查和,CHUN,连接的线缆通过插拔观察,CHUB,端口指示灯，能够正确显示，排除控制线缆问题。,UIMU,提供两个,24+2,交换式,HUB,一个是控制面以太网,HUB,，对内提供,20,个控制面,FE,接口与资源框内部单板互联，对外提供,4,个控制面,FE,接口用于资源框之间或资源框与,CHUB,之间互联。前面所述排除了与,CHUB,单板互联问题。,由于与内部单板互联，且两个单板都有控制链路错误指示，则可能是与框内其他单板的内部,FE,端口异常,观察本框内的单板状态，发现,15,槽位,RUB,一直处于告警状态不能启动。将,RUB,更换后观察,UIMU,单板运行状态，未再出现主备倒换。,传输类故障排查案例,子单元故障,【,故障现象,】,某局多块,SDTB,单板多个子单元随机出现“子单元通信断子单元掉电子单元故障”,【,故障分析处理,】,怀疑可能是,RNC,的,SDTB,问题，但换上一块全新的单板后上述现象依旧；对局方传输通道进行检查，未发现异常，且更换了传输通道后上述现象依旧，问题归结于软件配置。,现场把排列方式从,G.707,改为支路排列方式后，所有子单元正常，故障消失。,SDTB,的,63,条,E1,在光路上有两种排列方式：,G.707,和,Tributary,。如果发生排列方式不一致，会出现：,G.707,下的第,2,条,E1,会对应支路方式下的第,22,条,E1,，但是有些,E1,的编号可以对应起来，如下：,1,4,7,10,13,16,19,23,26,29,32,35,38,41,45,48,51,54,57,60,63,。 因此对应起来的是通的，所以会出现上面的故障，故障现象里的通的,E1,也是上面的这些。,传输类故障排查案例,TD,外场传输不通典型排查流程,1,、数据检查,SDTB,单板的时隙排列方式是否正确,检查方法：首先看和,RNC,的,SDTB,单板连接的传输是哪家的设备，如果是,HW,传输设备，那么在,SDTB,单板属性中选择第一个排列方式“,ITUT-G.707,排列,PCM,“；如果是,ZTE,传输设备，选择第二个排列方式”,Tributaty,排列,PCM,传输类故障排查案例,SDTB,单板是否加上了光路参数和支路参数,:,光路参数：不用修改什么参数，直接使用默认的就可以,传输类故障排查案例,支路参数：注意支路参数的支路编号从,0,开始编号，一直到,62,，每个支路参数的低阶通道信号标记（,V5,字节）选择,2(,可能不同的传输厂家不一样，目前碰到的中兴和华为的传输设备都是,V5,字节为,2),，,J2,配置模式选择,16,，这个数据尤其和,HW,传输对接是一定要添加上；,传输类故障排查案例,2,、 如果数据全部没有问题，那么需要和传输机房确定,RNC,的,SDTB,单板光口是否正确接在了调单上指明的传输设备的光口，因为可能存在,RNC,上配置的基站接入光口是正确的，但是施工队连接光纤是接错了。检查方法：可以拔掉,RNC,上的光纤，让传输机房看是否是要用的光口在告警。,3,、和传输机房对接光口没有问题后，那么就和传输机房对时隙，此时要注意,RNC,上配置的,E1,时隙是从,9,开始编号，但是大部分传输设备时隙都是从,1,开始编号的；,4,、如果上述三个检查项目都没有问题，可以通过自环和断掉的方式来检查传输，可以自环的地点有传输机房和基站上的,DDF,，就可以判断哪段出了问题，然后找相关人员解决；,