宽带业务质量监测系统创新申报书

成果上报申请书成果名称宽带业务质量监测系统成果申报单位 中国移动通信集团安徽有限公司成果承担部门/分公司 数据业务部项目负责人姓名项目负责人联系电话和Email成果专业类别*数据业务所属专业部门*数据线条成果研究类别*相关网络解决方案省内评审结果*（按填写说明4）关键词索引（35个）应用投资300万元（指别的省引入应用大致需要的投资金额）产品版权归属单位 中国移动通信集团安徽有限公司对企业现有标准规范的符合度：（按填写说明5）如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。随着中国移动向全业务运营商的转型，家庭宽带作为一项战略性产品近年来得到迅猛发展，用户对这些互联网业务的质量提出了更高要求。作为一项长流程业务，宽带业务质量涉及网内传输、出口质量、DNS性能、Radius性能、BRAS、接入质量等多系统、多环节。目前服务质量优化工作，往往依赖于用户投诉或故障触发。急需建立完善从“服务性能监视”“服务瓶颈发现” “主动干预调整”的依赖流程驱动的闭环自激励模式，使得事后维护向事前维护转变、补救性维护向预防性维护转变。服务质量优化工作涉及两个层面：（一）考量与宽带用户体验质量（QoE，Quality of Experience）密切相关的应用层级别的网络业务质量，主动发现用户体验质量劣化问题。（二）从端到端对宽带网络中涉及的各个网元性能进行监控，对用户体验质量劣化问题进行定位，帮助维护人员快速判断并解决故障。本创新项目主要包含两项内容：（一）建立了一套QoE相关指标的主动测量体系，积极主动的获得用户体验的量化评价，并进一步的形成网络优化建议，周而复始的形成测量评价优化的闭环管理模式。（二）建立宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。通过以上两项措施，根本解决互联网服务黑盒子问题，从用户维度对实现互联网服务质量的监控管理。省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 从安徽移动的应用实践看，宽带业务质量监测系统完全满足安徽移动对宽带业务质量监控、保证的需要：（一）宽带业务质量全面评估：实现了对用户体验指标、Radius性能、DNS性能、掉线率、接口带宽利用率、链路质量综合考量，准确、定量评价业务质量；（二）业务质量劣化自动预警：提前知晓用户体验程度变化，进而采取改进措施，降低投诉，极大地提高了用户感知度。（三）宽带业务智能排障：实现了对用户接入的级联设备端口的逻辑管理，故障的快速排查和准确定位困难，提高了故障排除的工作效率。（四）第三方出口质量优化：提供对多个第三方出口路由优化的自动化手段，对主要访问目标地址群（即热点网站）实现智能对比分析。提供了第三方出口电路的质量评估手段。（五）网络设备全面监控：打破原有各类网元系统独立网管的界限，建立统一、全面的设备性能与故障监控手段，极大地提高了故障定位的工作效率。 安徽移动宽带业务质量监测系统的建设和成功使用，创新了业务质量管控新模式，在全业务竞争的格局下具有较好的推广和借鉴价值。该项目的建设，极大地提高了宽带业务质量提升的效率与效果，保证了宽带业务的健康发展，具有极好的社会效益和经济效益。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明6”。（详见附件）附件：宽带业务质量监测系统创新成果主体介绍（3000字以上）1. 项目背景情况随着中国移动向全业务运营商的转型，家庭宽带作为一项战略性产品近年来得到迅猛发展，用户对这些互联网业务的质量提出了更高要求。作为一项长流程业务，宽带业务质量涉及网内传输、出口质量、DNS性能、Radius性能、BRAS、接入质量等多系统、多环节。目前服务质量优化工作，往往依赖于用户投诉或故障触发。急需建立完善从“服务性能监视”“服务瓶颈发现” “主动干预调整”的依赖流程驱动的闭环自激励模式，使得事后维护向事前维护转变、补救性维护向预防性维护转变。服务质量优化工作涉及两个层面：（一）考量与宽带用户体验质量（QoE，Quality of Experience）密切相关的应用层级别的网络业务质量，主动发现用户体验质量劣化问题。（二）从端到端对宽带网络中涉及的各个网元性能进行监控，对用户体验质量劣化问题进行定位，帮助维护人员快速判断并解决故障。本创新项目主要包含两项内容：（一）建立了一套QoE相关指标的主动测量体系，积极主动的获得用户体验的量化评价，并进一步的形成网络优化建议，周而复始的形成测量评价优化的闭环管理模式。（二）建立宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。通过以上两项措施，根本解决互联网服务黑盒子问题，从用户维度对实现互联网服务质量的监控管理。2. 技术方案2.1. 技术理论鉴于本项目含有以下两个子系统：（一）宽带业务主动拨测系统，全面了解宽带用户的网络使用体验，以便针对性的进行网络优化。（二）宽带业务端到端监控系统，对宽带业务的设备节点、业务节点进行全面的监控。下面就这两个子系统分别描述：（一）宽带业务主动拨测系统用户体验质量QoE(Quality of Experience)，可以理解为终端用户对移动网络提供的业务性能的主观感受。它可以通过接近量化的方法来表示终端用户对业务与网络的体验和感受，并反映当前业务和网络的质量与用户期望间的差距。在通信及计算机网络领域传统上考虑的是QoS(Quality of Service)，ITU-TRecE.800最初定义QoS为“决定用户满意程度的服务性能的综合效果”，包含多个层面较为广泛的内容。QoS提出的最终目标就是当终端用户使用一个特定服务时可以得到最好的体验。考虑到终端用户对QoS的体验随着应用需求的不同而不同，需要为下层协议定义出一组公共参数来明确业务的需求，因此目前业界有时也将QoS狭义地理解为底层分组数据传输的性能指标，如时延、抖动、带宽、误码等。从ITU-T的定义可见QoS提出概念的初衷是和QoE概念相吻合的。QoS机制主要负责从网络的角度进行业务管理和提供业务的差异性，网络实体根据不同的质量需求来处理不同业务。但从终端用户的角度来体验QoS是一个更广、更主观的问题，即QoE所定义的范畴。从移动通信网络的角度来说，要想获得更好的QoE的最佳方案就是提供一个优良的端到端的QoS。用户体验管理（CEM）是一种业务管理的创新方法（TMF（电信管理论坛）中有研究），重点在于直接实时测量用户体验以及定义用户体验指标（CEI）。而KQI（关键质量指标）是主要针对不同业务提出的贴近用户感受的业务质量参数。从TMF的研究角度而言，CEM是从属于 QoE管理范畴的概念；CEI是反映QoE级别的相关关键指标，着眼点是用户，与用户行为相关；KQI是业务层面的关键指标，可能是不同业务或应用的质量参数，因此针对CEI的CEM可以被理解成为QoE管理架构中业务管理的优选方案。QoE管理是衡量一个网络和业务的品质，最根本的标准在于用户的体验质量，它主要指的是用户对于网络的满意度。它定义为一个应用或业务的总体可接受性，是终端用户的主观感受。如网络业务中用户应该达到的页面显示或文件的传送速度、音频质量、图像质量、视频连续度、音/视同步程度。同时，QoE也包含了用户主观的程度性体验。（二）宽带业务端到端监控系统一、需要对宽带业务的设备节点、业务节点进行全面的监控分析1、DNS与Radius性能 DNS解析成功率 DNS时延 DNS失败原因分析 用户认证成功率 Radius性能 用户认证延时 用户认证失败分析2、链路设备状态 设备状态 端口状态 端口流量 流向分析3、接入业务状态 设备性能监控 在线用户数 地址池利用率 用户接入失败原因 用户账户与IP信息4、接入设备状态 端口配置信息 端口通断状态二、依托已有管理资源 优先利用现网已经建设的数据网管系统、GPON网管系统、PBOSS资源系统、DNS网管 优先利用设备已有的命令行、日志接口 对于DNS业务指标、Radius业务指标有可能需要通过分光报文分析实现 对于故障辅助定位，则需要使用数据网设备、OLT的命令行接口2.2. 应用场景描述（一）宽带业务主动拨测系统：端到端QoE主动拨测评价系统，通过对用户行为模型的分析，尽可能的降低程度性概念对量化、闭环管理的困扰，通过一系列的测量分析手段，对用户体验形成尽可能的量化评价。依据QoE评价的理论基础，结合安徽移动的现网实际情况，本次项目的应用场景满足下述要求：1. 第三方出口QoE分析对于每一条第三方电路，对热门互联网资源执行周期性用户行为仿真测试，形成第三方出口的量化评价。2. 异网访问网内资源QoE分析在异网部署测试节点（如电信、联通IDC机房），对网内数据业务资源执行类似用户行为的访问测试，形成数据业务资源的量化评价。3. 区域资源QoE分析对不同省市、运营商的主要互联网资源执行周期性用户行为仿真测试，形成区域、运营商的量化评价。4. 优化建议与验证通过系列化的测试手段，发现影响用户体验的DNS服务、网站、慢速节点，提出DNS、路由等方面的优化建议。并能够通过主动测量，对优化效果进行验证。5. 预警监控对第三方电路进行持续性监测，当发现电路工作不正常时，产生实时告警，以短信方式通报管理人员。对各项QoE指标进行监控，当质量劣化时，产生实时告警，并可以短信方式通报管理人员。（二）宽带业务端到端监控系统对于宽带业务端到端监控系统，主要是监控宽带网络各个网元，应用场景较为简单。2.3. 组网方案（一）宽带业务主动拨测系统：图表 1 端到端QoE主动拨测评价系统逻辑组网图n 测试终端完成用户上网仿真测试，支持部署在核心层、接入侧以及异网IDCn 第三方电路监控服务器对多条电路进行并发质量测试；实时监控第三方电路的通断状态并能够n 策略及展现服务器作为数据综合展现平台及测试终端策略、测试报告交互接口n 宽带测速服务器提供面向公众的测速平台，可用于检测异网访问CMNET的网络速度图表 2 端到端QoE主动拨测评价系统核心机房组网图（二）宽带业务端到端监控系统n 在省公司集中建设监控分析系统n 向客服、监控中心、地市运营支撑部等不同部门前置相应功能视图2.4. 关键技术特征2.4.1. 典型用户行为抽取QoE拨测，首先需界定具有代表性的用户网络行为。在用户网络行为中，一类是用户显示感知的操作，即用户主动手工发起的操作，如打开网页、点播视频；另一类则是隐含在用户网络行为中，或对用户体验有确定性影响的网络行为，如域名解析、首包时延、路由跟踪等。通过用户行为分析，我们抽取如下了典型行为特征，作为主要的测量手段：l DNS域名解析操作l HTTP首包时延l 路由跳数l WEB站点浏览l 传统视频点播（单连接的视频下载、播放，主要为优酷、六间房、新浪、土豆等主流媒体站点的点播模式）l P2P视频点播（P2P连接的视频下载、播放，主要为PPStream、迅雷等主流媒体站点的点播模式）l HTTP资源下载l 139门户网站登录操作l 139邮箱SMTP、POP3操作l 飞信门户登录操作2.4.2. 热门互联网资源学习借助省公司已经建设的流量清洗系统，本项目能够获得一批用户惯用的互联网资源数据。同时，通过对网址门户网站（如：、）的分析，本项目能够自动化的获得热门互联网资源：2.4.3. 用户行为仿真对于每一种用户典型行为，系统采用完全与用户操作相同的方式，或近似的方式进行主动拨测，以期获得真实的用户体验数据。例如：l 网页测试图表 3 网页浏览仿真测试l 传统视频测试图表 4 传统视频仿真测试通过分析网络数据流，自动识别主流视频格式的标称码流速率。藉此，在下载过程中推算视频播放的平滑度：图表 5 视频平滑度计算示意l PPS视频测试图表 6 PPS视频仿真测试l 139邮箱SMTP/POP3仿真图表 7 139邮箱仿真测试2.4.4. 量化质量管理本项目涉及的量化管理对象包括：站点、视频资源、下载资源、数据业务资源、出口线路等多个目标。对于每一种评分对象都具有多个测量指标，对于每一个测量指标，数值单位、取值区间都不相同。如果只是简单通过结果罗列，不易于判断评分对象的质量优劣。因此，我们采用加权、分档的评分办法来归一化测量指标，在不同的测量条件下获得一致的评价结果。基于上述原则，我们形成了一整套QoE量化办法：测量目标测量方法测量指标指标归一化目标量化评价线路量化评价l 一致的测量项目标识：测试点出口线路测试类型批次时间测试时间测试目标IP地址目标区域目标运营商l 规划化的测量指标标识（部分）：WEB站点：HTTP首包时间(ms)DNS解析时延(ms)PING平均时延(ms) 32字节网路抖动(%) 32BPING平均延时(ms) 1024B网络抖动(%) 1024B路由跳数(Hops)网页完整打开时延(s)页面下载速率(Kbps)视频：HTTP首包时间(ms)DNS解析时延(ms)PING平均时延(ms) 32B网络抖动(%) 32B路由跳数(Hops)缓冲次数(次数)播放平滑度(%)视频下载速率(Kbps)HTTP下载：HTTP首包时间(ms)DNS解析时延(ms)PING平均时延(ms) 32B网络抖动(%) 32B路由跳数(Hops)下载速率(Kbps)l 归一化评分办法：HTTP下载评分细则HTTP首包时间(ms)DNS解析时延(ms)PING平均时延(ms) 32B网路抖动(%) 32B路由跳数(Hops)HTTP下载速率(Kbps)得分级别权重20101051530得分区间上限下限上限下限上限下限上限下限上限下限上限下限A100, 900=11024B(90, 801=5512C(80,605=20256D(60, 020=1000n 综合评分结果 = SUM(指标权重 * 指标单项得分)n 以下限指标(测试取值越大质量越好）为例：n 指标单项得分 = 得分区间下限分数 + (测试结果 - 得分区间下限) / 得分区间上下限差 * 得分区间分数差图表 8 综合评分结果示例2.4.5. 多维度数据分析 本项目形成的规范的丰富的测量数据基，能够提供多角度的数据比对分析能力。例如：l 安徽移动网内用户访问全国各省互联网资源的量化QoE对比l 安徽移动网内用户访问各大运营商互联网资源的量化QoE对比l 互联网资源在不同出口线路间的量化QoE对比l 相同出口线路的不同互联网资源的量化QoE对比2.4.6. 多通道预警 基于质量描述的系统的预警方式与传统告警监控不同，具备四种特征：1. 故障刚性指标，信号出现即表示需要进行网络维护操作。2. 门限预警劣化性指标，当测量结果突破一定门限时，表示测量目标可能存在着劣化。3. 趋势预警劣化性指标，对于难以规范统一门限的测量项目（如不同站点的完整打开时间由站点自身的内容复杂度决定，相互间不具备可比性），可以通过自身趋势的变化来发现劣化。4. 对比预警柔性指标，以一个确定的测量目标为例，如果其在某一出口上的测量结果低于其它出口的平均水平，那么表示该出口对目标的访问水平可能需要优化。预警名称预警类型门限类型门限数值含义电路中断故障无NA拨测终端离线故障无NA拨测任务超负荷故障无NA当拨测终端不能及时完成测试任务，使得后期定时任务延后执行时，产生告警，下一次正常执行时解除系统组件停止故障无NA系统组件将按照具体实例细分，此部分故障在后期实现时细化电路劣化(HTTP)门限预警上门限20%当HTTP 首包测试失败率达到20%及以上时，产生预警，反之解除电路拥塞门限预警上门限600Mbps当电路流量达到门限及以上数值时，产生预警，反之解除电路流量异常趋势预警上门限10%当电路流量偏离ma(5)的10%及以上时，产生预警，反之解除路由跳数异常趋势预警上门限30%当路由跟踪跳数结果高于ma(5)的30%以上时，产生预警，反之解除HTTP首包测试成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除DNS解析成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除DNS解析超时门限预警上门限10s当DNS解析时间超过门限值时，产生预警，反之解除PING成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除网页打开成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除HTTP下载成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除视频下载成功率门限预警下门限80%当同批次内所有该类测试成功率低于门限值及以下时，产生预警，反之解除139邮箱模拟登录成功率门限预警下门限60%当同批次内139邮箱模拟登录成功率低于门限值及以下时，产生预警，反之解除139 SMTP成功率门限预警下门限60%当同批次内139 SMTP成功率低于门限值及以下时，产生预警，反之解除139 POP3成功率门限预警下门限60%当同批次内139 POP3成功率低于门限值及以下时，产生预警，反之解除飞信门户模拟登录成功率门限预警下门限60%当同批次内飞信门户模拟登录成功率低于门限值及以下时，产生预警，反之解除页面下载速率低于平均水平对比预警下门限80%当同批次内该类测试结果低于平均值的80%时，产生预警，反之解除HTTP下载速率低于平均水平对比预警下门限80%当同批次内该类测试结果低于平均值的80%时，产生预警，反之解除视频下载速率低于平均水平对比预警下门限80%当同批次内该类测试结果低于平均值的80%时，产生预警，反之解除网页目标质量劣化趋势预警下门限90%当同一线路内，网页测试评分结果低于ma(5)的90%时，产生预警，反之解除视频目标质量劣化趋势预警下门限90%当同一线路内，视频测试评分结果低于ma(5)的90%时，产生预警，反之解除139邮箱质量劣化趋势预警下门限90%当同一线路内，139测试评分结果低于ma(5)的90%时，产生预警，反之解除飞信门户质量劣化趋势预警下门限90%当同一线路内，飞信测试评分结果低于ma(5)的90%时，产生预警，反之解除电路服务质量劣化趋势预警下门限90%当线路测试评分结果低于ma(5)的90%时，产生预警，反之解除区域访问质量劣化趋势预警下门限90%当区域测试评分结果低于ma(5)的90%时，产生预警，反之解除2.4.7. 专家级网优建议l DNS分析n 自动发现DNS解析的匹配性问题n 监控DNS解析性能l 路由分析n 监控路由跳数变化n 横向对比不同电路的跳数差异，提供路由调整依据n 自动发现时延突变点（慢速节点），辅助故障定位n 定位路由故障节点所属网络层面l 区域访问质量n 凭借归一化的综合评分系统，能够对电路对不同区域的访问质量进行一致性评价，给出电路的区域访问排名2.4.8. 全面拓扑管理功能特性功能描述综合拓扑全网统一拓扑图拓扑图支持按照地市分层管理，地市维护人员可以浏览地市级拓扑信息支持拓扑节点快速查找、定位。（网络设备名称、IP地址或地理位置等信息）拓扑图中的设备/业务节点应提供直观的告警统计信息，包括：紧急告警数、重要告警数拓扑图节点关联信息查询2.4.9. 各类网元性能管理功能特性功能描述DNS性能分析请求总包数、回包数、成功解析包数、平均响应时长（ms）、响应成功率、解析成功率以及失败原因分类分析、各种失败类型发生的数量及失败比率等NAT日志实时采集NAT设备的NAT日志信息进行分析在线用户分析一定时间范围内，不同BRAS下小区用户在线统计(宽带用户、WLAN用户)某时间点内在线用户总数，可以曲线图展现在线用户走势通过账号查询在线用户信息RADIUS性能分析RADIUS接通率BRAS接通率认证响应时延掉线原因查询端口流量分析指标包括入均值、入峰值、出均值、出峰值性能预警针对性能分析参数，支持设置相应阀值，当超越阀值时产生性能预警3. 效果(解决了哪些问题)3.1. 实现了端到端宽带QoE测量本项目已完成在省公司IDC机房部署，能够对现网11个第三方出口下发不同的测试策略，实施周期性用户仿真拨测。同时，本项目已经完成可独立安装的终端拨测软件，能够部署在网内IDC机房、接入层用户设备以及异网IDC机房。对宽带用户体验的量化管理体系已逐步成型。图表 9 拨测日志示例3.2. 实现了第三方电路实时应用级监控本项目实现的第三方电路的实时应用级监控，包括三级监测策略：1. 通过ICMP或TCP Connect操作对预设目标进行操作，当操作失败时，产生电路中断告警2. 为出口选择若干Web站点，当站点打开失败率超过门限时，产生电路劣化告警3. 判断出口流量趋势，当流量骤然降低或超过门限时，产生电路流量异常告警。图表 10 告警信息示例3.3. 实现了面向公众的宽带测速平台本项目已完成部署面向公众的宽带测速平台，用户可以通过宽带测速机器人工具通过该平台进行网络测速。平台提供的测速论坛，为各地市分公司相关管理员提供了宽带访问质量的专业论坛，极大的方便了相关信息的讨论交流。图表 11 宽带测速平台3.4. 实现了端到端网元设备性能监控 实现了对GPON、BRAS、DNS、RADIUS等各网络层次网元的统一监控。4. 本省应用推广情况及主要创新点从安徽移动的应用实践看，宽带业务质量监测系统完全满足安徽移动对宽带业务质量监控、保证的需要：（一）宽带业务质量全面评估：实现了对用户体验指标、Radius性能、DNS性能、掉线率、接口带宽利用率、链路质量综合考量，准确、定量评价业务质量；（二）业务质量劣化自动预警：提前知晓用户体验程度变化，进而采取改进措施，降低投诉，极大地提高了用户感知度。（三）宽带业务智能排障：实现了对用户接入的级联设备端口的逻辑管理，故障的快速排查和准确定位困难，提高了故障排除的工作效率。（四）第三方出口质量优化：提供对多个第三方出口路由优化的自动化手段，对主要访问目标地址群（即热点网站）实现智能对比分析。提供了第三方出口电路的质量评估手段。（五）网络设备全面监控：打破原有各类网元系统独立网管的界限，建立统一、全面的设备性能与故障监控手段，极大地提高了故障定位的工作效率。安徽移动宽带业务质量监测系统的建设和成功使用，创新了业务质量管控新模式，在全业务竞争的格局下具有较好的推广和借鉴价值。该项目的建设，极大地提高了宽带业务质量提升的效率与效果，保证了宽带业务的健康发展。该项目为行业内领先，体现出显著的先进性，具有极好的社会效益和经济效益。22