课程1-TMA系统篇

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,北京宽广电信高技术发展有限公司,单击此处编辑母版标题样式,TMA,流量监控系统,-,系统篇,2011,年,9,月,北京宽广电信高技术发展有限公司,北京宽广电信高技术发展有限公司成立于,1994,年，同年经北京市高新技术产业开发区认定为新技术企业，,2002,年被认定为软件企业,宽广公司是长期从事电信设备研制，以技术研发为主的公司。为电信运营商及其他客户提供全面的网络交换、传输和监控解决方案,1994,年成功研制国内第一台,DXC,设备，,1995,年自主研制国内第一台,ATM,交换机，获国家科技进步二等奖，邮电部科技进步一等奖,多年来承担多项国家级和省部级重大科研项目，在,B-ISDN,、骨干交换机、,G,比特,MPLS,路由器和宽带信息网等领域承担,863,、八五、九五、信息产业部和自然科学基金重大项目,经过多年的技术储备，通过长期市场调研和技术跟踪（包括流量工程、流量模型、网络测量、业务识别、性能测评、数据挖掘、行为分析等），,2002,年确定新的产品方向为,Internet,网络的监测、分析和控制,2,公司发展历程,承担国家,863,重点项目课题，研制出国内第一台自主知识产权,ATM,骨干交换机和,DXC,数字交叉连接设备。,荣获国家科技进步二等奖，邮电部科技进步一等奖,ATM,交换机实现产业化商用，,DXC,占领,50%,军队份额,2002,年起公司研发重心转向,IP,领域，先后研制出,VoIP,、流量分析、流量控制、用户行为分析、一拖,N,检测、非法互联、,Web,信息推送等产品，于,2005,年形成完整的,TMA,流量监控体系，在固网运营商集团、省公司和城域网出口规模商用,2007,年开始研发面向,3G,的移动互联网流量监控解决方案，目前已具备对,GPRS/TD,、,WCDMA,、,CDMA/EVDO,主流,3G,制式网络和,2G,网络的监控能力，获得用户广泛认可,研发,40G,高速接口设备、支持,IPv6,，完善内容计费、不良信息封堵、质量监测、网站备案等功能,宽带互联网,流量监控,移动互联网,流量监控,持续发展,传输与交换,ATM&DXC,3,宽广电信公司产品定位,2003年完成国内第一台网络流量分析设备，,2004,年自主研发了国内第一台流量控制设备，,2005,和,2006,年相继在业界率先推出,2.5G,和,10G,高速接口线速处理设备，在业务识别和流量控制等方面居领先地位,2005,年推出全系列,TMA,流量监控综合解决方案,产品包括：,xFlow,流量分析系统、二层流量监测系统、网络流量监测系统，带宽管理分配系统、用户行为分析系统、应用监控系统（,VoIP,、,P2P,、私接、一拖,N,、,Web,推送等）、网站质量监测系统、,IDC,网站自服务系统、,ICSA,安全审计系统,提供符合运营商要求基于硬件平台的高速网络监控整体解决方案,帮助电信运营商实现：用户可识别、业务可管控、行为可归纳,TMA,流量监控系统可部署于电信骨干网、城域网、移动核心数据网等高速链路，针对电信运营商网络大量用户和复杂业务环境，对因特网中的流量进行全面采集和分析，为网络运营和管理者提供全方位的监控分析平台，为客户提供高效可靠的数据业务,4,TMA,主要商用案例,中国移动集团网间、国际出口链路,中国电信集团网间、国际出口链路,中国联通集团国际出口链路,浙江移动,湖南移动,安徽移动,海南移动,江西移动,陕西电信,江苏电信,海南电信,上海电信,广州电信,深圳电信,甘肃联通,湖南联通,河北联通,国务院办公厅,移动通信集团研究院,移动集团,OA,系统安全加固,IDC,目前现网监,控链路带宽超过,7000Gbps,5,目录,1,、流量监控需求,2,、产品技术路线,3,、,TMA,系统架构,4,、,TMA,系统功能,5,、,DPI,技术发展,6,3G,时代移动数据业务面临的挑战,网络复杂性,数据业务流量激增对带宽的冲击,2G,、,3G,网络融合、并存对网络维护和管理带来的挑战,三大运营商全业务竞争格局下互联互通问题更为凸显,业务复杂性,3G,数据业务种类繁多，随着速率的提高，宽带化趋势明显,P2P,流量占,3G,流量比例明显上升,3G,时代会催生更丰富的数据业务模式,用户行为复杂性,3G,时代的用户行为随业务的丰富和复杂,3G,时代的用户行为和数据业务内容紧密相关,需要更多的数据记录、更强大的手段、更完善的系统来了解,3G,用户行为,7,3G,时代移动数据业务面临的挑战,宽带网已经逐步成为社会生活的重要组成部分，不仅已经成为一种基本通信工具，也已经成为获取信息和从事各种商务活动的平台,宽带网上的信息和业务提供者和客户构成各种消费关系,网络业务和用户行为无法准确识别，无法充分了解，无法积累历史资料；网络业务的使用无法监控，无法区分业务等级，无法提供高等级服务,流量监测手段使运营商可以看到管道中的任何内容，可以善加利用,8,从,”,管道工,”,到“服务商”,Monitoring and Monetizing through DPI!,9,流量监控的市场驱动,大量的,P2P,等侵蚀型业务和部分损害型应用消耗了,50%,以上的带宽资源，虽然用户数量稳步增加，但带宽消耗的增长与收入不成比例，运营商无法从用户的增长中获得最大化的利益，反而要投入更多的资金进行网络的扩容以应对快速增长的用户,随着国内电信市场竞争的日趋激烈，各大运营商的经营模式逐渐从“技术驱动”向“市场驱动”、“客户驱动”转化。面对客户的多样化、层次化、个性化需求，以前的大众化营销已失去优势。基于客户信息、客户价值和行为，深入数据分析的精确服务与营销需求日益显现潜力，迫切要求运营商能够实现精确服务、精确营销，提高服务质量，增强现有客户的忠诚度、发掘新客户增加收入。,流量分析控制系统是移动数据网络运营维护的重要支撑系统，在现有的移动数据网络中引入,DPI,集中监控功能将在助力移动数据业务发展中发挥重大作用，具有重要现实价值,10,流量监控需求分析,识别、评估、监管、控制业务对网络的有效运行和安全运营具有重要意义,使运营商深入了解数据管道中的内容，善加利用实现增值,有效识别业务和用户，进行流量分析统计和行为分析,调整目前资源占用的不合理状态，限制疏导垃圾和低价值流量,为重要商业客户提供高品质服务，向普通客户提供增值服务,建立用户行为数据库，充分了解移动用户的上网行为和习惯,根据用户行为进行针对性营销和开发新业务引导消费,在业务和流量监测和控制的基础上发掘潜在的服务包装,目标：在现有的宽带,IP,网基础结构上增加一个业务监控的层面,构建灵活的、可管控、融合的全,IP,网络的必要手段流量分析控制系统,11,移动互联网监控目标,3G,业务将逐渐成为主流，移动数据业务将逐渐成为中国移动的主要收入来源，建设集中化管理的中国移动互联网流量分析控制系统，对促进移动数据业务的发展将起重大的关键性作用,建设一个集中和开放的移动互联网数据业务采集、分析、控制和应用系统，将全网数据业务监控功能统一到这个平台,通过流量分析控制系统能够为网络、业务、用户提供运维、运营和服务手段。保障网络高效安全轻载运行，提供高质量可靠的宽带业务，为客户提供满意多样化的服务,集团对移动数据业务缺乏系统、整体和实时的掌控，急需加强对,GPRS,、,TD,网络流量和业务的全局分析和控制能力，改变各省“分而治之”的现状,12,移动互联网监控目标,以,DPI,设备为核心的网络监控解决方案，围绕着“用户可识别、业务可区分、用户行为可管控”的核心，提供深入全面的分析能力和灵活有效的管控能力,最基本和核心的功能是监控链路、网元、业务和用户的流量和质量状况，保障移动互联网高效和轻载运行,提供安全保障、异常告警、热点分析、用户行为分析、精细化运营、增值业务等功能，并可为新业务提供数据支持和网络支撑,建立一体化的集中管理系统进行全网的业务管理控制，通过监控形成基准数据，帮助网管和市场人员了解网络的流量和业务模型，精确分析网络使用状况，提升整体网络的质量及效能,13,目录,1,、流量监控需求,2,、产品技术路线,3,、,TMA,系统架构,4,、,TMA,系统功能,5,、,DPI,技术发展,14,监控产品技术难点,高速：骨干链路速率,2.5G/10G,，要求线速流量检测、业务识别、用户识别、报文过滤、连接缓存，流量和用户数目大,复杂：骨干和出口链路的网络、用户、业务、协议组成都非常复杂，需要去芜存精，化繁为简,可变：业务和应用纷繁复杂，新的软件和服务日新月异，分析需求和控制要求也不断变化，要求架构稳定，部署灵活，功能模块可灵活扩展和升级,可靠：提供电信级解决方案的高可靠性产品,15,关键技术路线,串接,vs,并接,单机,vs,分流,硬件,vs,软件,DPI vs DFI,双向,vs,单向,逐包,vs,采样,漏桶流控,vs,伪造报文,专用设备,vs,附加功能,16,串接,vs,并接,1,、串接方式,2,、旁路方式,3,、挂接方式,监控系统采用串接或并接两种技术路线，宽广公司采用串接方式,其他国内厂家大都采用并接方式，旁路或挂接。,国外厂家几乎所有的厂家都采用串接方式,串接方式一般有旁路保护设备，故障时切换到直通,串接控制方式灵活、控制有效而精确；并接方式实现简单，部署风险小，但控制效果较差,挂接是并接方式的一种,17,串接,vs,并接,控制方式,串接方式：直接对业务或用户流量实施各种控制（禁止、限制和整形）,旁路方式：通过中断或干扰用户正常业务连接达到限制的目的,控制能力,串接方式：可以实施全面的流量控制，能够对所有可识别和不可识别的业务流量实施流控,旁路方式：能够控制的业务种类和支持的控制方式都很有限，只能对,TCP,业务进行流量控制，对,UDP,业务难以实施有效的控制，扩展性差,控制粒度,串接方式：控制精度和粒度可满足精细化运营要求,旁路方式：无法满足精确控制需求,法律纠纷,串接方式：模拟网络正常行为，是非侵入式控制，不会有法律风险,旁路方式：控制方式类似于黑客行为，面临法律风险和用户投诉,18,串接,vs,并接,加密流量控制,串接方式：通过,DPI,DFI,特征识别出业务，针对连接直接实施控制,旁路方式：难以控制大多数经过加密的业务，对于加密的连接无法实施阻断或流量控制，尤其是,UDP,的业务,流量工程原则,串接方式：遵循流量工程原则，部署的,DPI,系统实际成为核心网络进行流量工程的边界控制设备,旁路方式：无法实现此功能,总结,较之旁路方式，串接方式在流量控制方面有明显的优势，已经成为国内外流量控制领域的共识。设计在高速环境和复杂流量下，能够线速处理、简单直接的业务控制技术是目前研究和产品的热点,基于特征识别的串接控制设备比单纯的带宽限制设备更富价值,19,单机,vs,分流,路由器,分流平台,分光输入,N*10G,N*10*GE,刀片服务器,专用业务处理器,10G,或,2.5G,网,络,接,口,转,换,设,备,GE,GE,GE,GE,普通,PC,服务器,普通,PC,服务器,10G,或,2.5G,TMA,单台设备即可完成,10G,链路双向监测和控制,不需要增加转换设备或分流路由器拆分成多个,GE,监控,10G,链路只需2,U,机架空间、功耗小、易于维护单链路性价比远大于分流,转换和分流方式只适合于分析，分路容易合路难，无法直接控制业务,TMA,硬件设备,20,硬件,vs,软件,硬件处理方式（,ASIC/FPGA,）,软件处理方式,（,NP/CPU,）,Data A,Data B,Data C,条件,A,条件,B,条件,C,原始数据报文,数据分析流程,业务,C,业务,B,业务,A,数据分析结果,Data A,Data B,Data C,业务,C,业务,B,业务,A,效率,性能,条件,A,条件,B,条件,C,操作系统,软件指令,软件指令,21,硬件,vs,软件,硬件架构,软件,CPU,硬件处理能力不依赖于用户、业务和策略的复杂度在满配置方式下不影响处理性能,硬件相关：,FPGA,、总线、频率、定时、高速、流水线、并行、寄存器、存储器、逻辑、纳秒、重复、固化,软件相关：,CPU,、内存、线程、同步、算法、缓存、串行、指针、数组、链表、变量、寻址、灵活、插件、升级,10G,线速转发在典型报文长度分布满速率,条件下转发时延平均值,14us,最大值,18us,22,硬件,vs,软件,硬件结构,高速信息被送到大规模高速集成电路后，被立即复制为若干个,所有需要的分析处理在硬件中多路并行分布地进行，时延确定,硬件电路以最基本的处理单元为单位，按照预先设定的程序组合成各种专门的处理功能，以最为经济有效的方式完成处理,可以达到纯软件方式不能企及的效率和性能,提供无损透传、镜像等基于,CPU,体系无法实现的功能,硬件主要由物理接口、报文过滤、特征提取、流量累积、连接缓存、策略控制等模块组成。内置高速数字芯片能够对双向流量进行线速,1:1,报文采集，逐报文进行协议特征识别和流量行为分析,23,通过不同业务流的流量统计规律和连接规律进行业务识别，例如连接速率、流持续时间、报文长度分布等,-,24,-,DPI,D,eep,P,acket,I,nspection,通过深度分析报文净荷中的特征指纹,Signature,进行业务识别，是目前识别协议和应用最重要的技术手段,DFI,D,eep,F,low,I,nspection,DPI vs DFI,24,DPI vs DFI,DPI,Deep Packet Inspection,基于关键字、应用层特征、行为模式及启发式进行分类,优点：实施性好、识别准确率高、可区分到具体应用,缺点：检测净荷、实现复杂、性能要求高、涉及隐私,DFI,Deep Flow Inspection,基于五元组流统计特征和连接行为进行分类,优点：速度较快、不依赖具体应用、可识别加密协议,缺点：识别精确比,DPI,差、受网络环境影响、存在误判,现状,国内外很多运营商已大规模应用,DPI,技术进行监控,近年来未来,2,5,年国内运营商正全面部署,DPI,监测与,业务控制系统，实现真正意义上的差异化服务,预计,5,10,年后,DPI,将与国家信息安全监管政策结合,25,双向,vs,单向,串接系统天然提供双向流量监控能力，不需额外增加系统设备和投资，而并接系统为节省硬件投资往往只实现单向监测,单向监控只能提供部分信令信息，无法获得全面的流量数据尤其是基于统计、计费等应用，双向监控能采集到更多用户行为信息,双向流量监控可以识别请求和响应双向协议，识别和控制交互式应用更准确。单向监控无法获取业务的内容和质量,DFI,流量识别算法在双向监控情况下比单向更加准确和有效,双向监控可以进行单方向的控制，或对于出入境流量采用不同的限制策略，流量控制手段更丰富，策略能力更强大,26,相同的令牌漏桶流控机制针对不同业务的流控效果,周期注入令牌,网络,A,网络,B,D,S,DPI,监控,漏桶流控,vs,伪造报文,交互式短数据流突发业务,例,: Web,、,Email,、,IM,非交互式下载型持续业务,例,: P2P,、,FTP,、,Stream,漏桶容量,漏桶容量,周期注入令牌,27,漏桶流控,vs,伪造报文,P2P,用户,A,P2P,用户,B,2,3,4,业务服务器,6,7,5,8,用户报文,链路报文,伪造报文,截获报文,1,用户,A,的请求报文,2,分光或镜像报文,4,用户,B,收到请求报文,3,监测系统捕获报文,7,伪造,A,发,TCP Reset,5,用户,B,的应答报文,8,6,伪造,B,发,TCP Reset,真实报文到达后被丢弃,伪造用户干扰报文类似黑客行为，容易被发现遭投诉且存在法律风险,向网络注入非法报文导致异常流量增加，也不符合安全网络运行的要求,对于,DDoS,和病毒流量无能为力，反而增加负担,1,28,专用设备,vs,附加功能,流量监控系统是专门针对电信和移动运营商大量用户和复杂业务环境设计的监控分析平台能够提供足够的分析处理能力，产品大多采用高速处理性能的芯片或网络处理器，完成,GE,、,2.5G,、,10G,等高速链路的双向全业务监控能力,而传统的交换机和路由器其主要功能是完成交换、路由，根据包头的二三层地址信息实现快速的决策和转发；固网的,BRAS,、移动核心网的,SGSN,和,GGSN,其主要功能负责用户的接入、认证、计费和管理，完成信令处理和数据传输，核心是保证业务连接的可靠建立和数据的高速传输,从业务识别、业务分析、流量控制、用户行为分析等功能而言，路由器、,BRAS,、,SGSN,、,GGSN,等设备从某种程度上也可以具备部分或类似功能，但由于系统设计、资源限制、设备造价等角度考虑，它们并不适合进行专门的流量监控和用户分析,29,目录,1,、流量监控需求,2,、产品技术路线,3,、,TMA,系统架构,4,、,TMA,系统功能,5,、,DPI,技术发展,30,TMA,系统分层模型,31,TMA,系统体系结构,硬件架构探针设备监控应用软件业务平台,统一硬件平台和软件结构,探针适应高速链路过滤和转发,探针内嵌软件的前置分析处理,前端采集器多设备关联和管理,基于数据库的存储分析和挖掘,统一的开放性的多业务平台,基于,B/S,架构的管理和业务流程,高速数字芯片,网络处理器,前端采集器,数据库存储分析,中心服务器,中心服务器,探针设备,业务平台,32,TMA,设备功能模型,识别,R,统计,S,过滤,F,流控,C,策略,P,镜像分发,管理,M,丢弃！,转发,开放性接口,33,TMA,设备功能特性,高速线路转发引擎，高性能低时延,基于硬件的特征匹配和连接累积,针对控制和信令进行过滤分离提供后分析,针对数据和传输进行跟踪和统计提供流量,提供强大的流过滤镜像能力进行专项分析,配合前置内嵌软件进行协同分析和互操作,结构统一，算法和模块可共用，按需组合,逻辑微码远程升级，支持不同产品的在线转换,C/M,C/M,C/M,C/M,C/M,C/M,C/M,MEM,CAM,34,服务器群,服务器群,前置服务器功能模型,流记录,Radius >P.,数据分发,数据库,IP,报文,管理,&,控制,用户分析,xDR,文件,业务解析,业务分析,行为喜好,报文分发,WEB,WAP,DNS,VoIP,彩信,Mail,P2P,飞信,TMA,设备,专项分析,安全检测,35,区域,1,业务服务器功能模型,分析系统,业务分析,报表系统,趋势分析,热点分析,用户分析,在线分析,离线分析,接口表,用户表,中心资源管理库,资源表,WebWAP,彩信,飞信,用户表,统计表,策略表,专项分析,数据挖掘,业务系统,1,业务系统,2,区域,2,用户表,统计表,区域分析,汇总报表,TCP/IP,数据库,服务器群,后台业务,服务器群,报表输出,36,37,TMA,系统功能组成,数据库服务器,链路,#1,前置采集服务器,探针设备,(,分析,),PDP,上下线消息,探针设备,(,控制,),业务监控服务器,前置采集服务器,探针设备,(,分析,),探针设备,(,控制,),前置采集服务器,探针设备,(,分析,),探针设备,(,控制,),手机用户信息,业务分析服务器,行为分析服务器,增值业务服务器,网页推送服务器,策略管理服务器,Radius/GTP,采集,链路,#2,链路,#N,信息过滤汇聚,Web,服务器,信息过滤汇聚,信息过滤汇聚,37,38,系统架构的灵活性,两级服务器架构提供了高效处理能力,前置采集服务器对经过硬件探针汇聚、过滤后的链路用户、业务流量信息进行预处理,后台服务器对前置采集服务器上报信息进行集中处理，大大减少了服务器的数量,系统架构灵活，扩展性强,可以通过在前置采集机上安装不同功能模块、在后台部署对应中心管理服务器的方式灵活增加功能,支持增加前置采集服务器、后台服务器数量方式实现系统处理能力的扩充,38,系统特点：单台设备支持,10G,链路双向线速监控,自主研发的大规模高速数字芯片专门针对业务监控需求,基于硬件令牌漏桶的管控策略支持多维高精度流量管控,国内唯一单台设备即可完成,10G,链路的双向监测和控制,10G/2.5Gbps,的线速识别、转发和控制，转发性能,20Gbps,不需要增加接口转换设备拆分成多个,GE,，监控2.5,G/10G,链路只需2,U,机架空间，功耗小于,150W,。占用空间最小，整体耗电量最低，安装和维护最简单,39,系统特点：硬件实现,DPI+DFI,技术,DPI,：通过关键字、协议指纹等特征实现对业务的精确识别,DFI,：通过统计连接上的流量特征，比如流量速率和时长、平均报文长度和变化规律、序列化累积特征等信息，实现对业务的识别，能识别采用加密协议的业务,高速线路转发引擎，基于硬件的特征匹配和连接累积，高性能低时延。逐报文进行特征分析和指纹识别，逐流统计流量特征,采用,DPI+DFI,结合的方式，高效准确识别出业务应用，既能识别加密业务，又能有效减小单纯,DFI,算法的误判率,40,系统特点：硬件多路并行流水线处理,硬件处理方式（,ASIC/FPGA,）,Data A,Data B,Data C,业务,C,业务,B,业务,A,效率,性能,条件,A,条件,B,条件,C,线速报文识别、控制、转发,报文,转发时延小于,50,微秒,满策略、满流量时处理性能和转发时延不受影响,41,系统特点：硬件令牌桶和多维流量管控,既支持双向流量也支持单向控制,针对出入境流量可采用不同的限制劣化策略,过滤分离控制和信令进行深入分析,提供强大的流过滤镜像能力进行专项分析,支持最多,7,个维度的流量管控,根据客户和业务区分,QoS,等级，支持,TOS/DSCP,重标识，与其他网络设备配合实施流量工程,系统架构灵活扩展性强，支持设备逻辑微码和业务特征库在线远程升级,42,标准接口,定制接口,高度开放接口,1,2,3,OptiSwap,监测口,智能,过滤,镜像端口,镜像指定用户报文,镜像指定业务报文,组合,条件策略镜像,SNMP,、,SysLog,ODBC,、,JDBC,SOAP,、,XML,报表接口,原始报文,流记录上报,4,连接统计记录,DPI,过滤流记录,经分系统或,VGOP,系统数据源,计费系统接口,CRM,系统接口,网管,告警接口,开放,API,接口,数据接口作为,TMA,系统的一个重要的对外通道，在现网环境中长期持续的为运营商各部门提供着数据支撑，详尽的数据报表为运营商自有系统和第三方系统的后分析提供了坚实的基础。,43,目录,1,、流量监控需求,2,、产品技术路线,3,、,TMA,系统架构,4,、,TMA,系统功能,5,、,DPI,技术发展,44,系统部署方式,前端,TMA,设备线速识别、转发和控制，后端采用商用服务器,支持,GE,、,2.5G,POS,、,10G POS,和,10GE,链路，转发性能,20Gbps,10G DPI,设备，,2U,高度,GE/2.5G DPI,设备，,1U,旁路设备，直通和控制方式,流量监控中心服务器,Database,核心路由器,省骨干路由器,省骨干路由器,管理终端,分析终端,分析终端,OptiSwap,TMA-SSS,省骨干路由器,省骨干路由器,城域网出口路由器,城域网出口路由器,省网骨干链路,城域网出口,OptiSwap,TMA-SSS,45,移动数据核心网,46,IP,数据网业务承载与质量分析目标,支撑市场业务发展、研究业务组成与用户行为特征、提高客户感知和质量,技术部门,业务承载质量如何？,质量问题出现在哪？,业务部门,各市场领域的业务发展情况？,业务推广的效果如何？,用户对业务的喜好如何？,决策部门,全网数据业务资源占用情况如何？,全网业务分布和发展情况如何？,用户群体对业务的使用和发展趋势如何？,监控解决的问题,47,业务可区分,综合,DPI,和,DFI,算法,识别业务,及时跟踪和,识别,热门,业务,自定义,业务特征识别自有业务,强大的业务识别能力,业务,特征库支持远程更新,支持,隧道协议和各类,封装业务,48,业务可区分,支持的协议,主流,IP,协议：,HTTP,、,FTP,、,SMTP,、,POP3,、,Telnet,、,DNS,、,Radius,等,P2P,协议：,BitTorrent,、,eMule,、迅雷、,Poco,、,DC,、,Gnutella,、,Kugoo,、,Vagaa,、,FlastGet,等,流媒体：,RTSP,、,MMS,、,PPLive,、,PPStream,、,QQLive,、,UUSee,、沸点、,QVOD,、,SinaTV,等,VoIP,：,H.323,、,SIP,、,MGCP,、,H.248,、,Skype,、私有协议等,即时通信：,QQ,、,MSN,、,Yahoo,、,Skype,等,移动业务：,WAP,、彩信、飞信、,Socket,等,可根据移动提供的特征识别自有业务,49,49,用户可识别,CMWAP,CMNET,固网用户,Gi,接口中通过,Radius,协议,提取,APN,和,MSISDN,手机号码,Gn,接口中通过,GTP,协议,提取,PDP,上下文信息,: MSISDN,、,APN,、,IMSI,、,IMEI,等,PPPoE,用户通过,Radius,协议,提取宽带帐号和,IP,地址。,专线或,大客户通过静态,IP,识别,基于用户的业务分析与控制,50,位置可知晓,终端的可移动性是与固网的基本区别,结合用户位置信息能增加分析和控制的维度,Gn,接口上的,GTP,信令可提取,SGSN,、,LAC,和,CI,信息,51,流量可统计,系统可以提供各种灵活的流量统计分析手段,支持分布采集，集中分析，关联各种信息,支持定制化数据报表,多种,文件输出,格式,历史流量趋势图,流量流向分布图,业务组分分布比例分析,流量,TopN,排名,52,提供全业务流量控制能力,支持设置绝对和相对阈值,支持对出入方向独立控制,支持策略的交叉和,包含,关系,支持黑白名单和时变策略,支持,TOS/DSCP,标,记和重标记,支持多维策略同时生效,各类策略独立流控，结果进行,综合决策，“一票通过”或,“一票否决”,业务,用户,位置,带宽可管控,53,灵活动态的管控,比特带宽，原始传输的数据带宽，按比特或字节计算,业务带宽，内容级别的数据流量，用户可感知业务质量,策略带宽，根据网络和用户规模以及业务需求制定策略分配带宽,动态带宽，根据用户级别或属性动态调整带宽需求，按需临时申请,提供灵活的用户策略、网络策略和时变策略,按用户、应用、链路、时段组合设置策略,提供基于应用分类的速率限制和动态策略,按网络拥塞程度和时间区段动态调整带宽,逐用户进行业务应用的定制和带宽套餐,54,行为可感知,2G,上网卡日流量趋势,3G,上网卡日流量趋势,网站,访问量排名,搜索关键字排名,用户流量模型对比分析,55,流量流向分析,网外流向分析,指定流向业务分析,省内流量分析,规划参考,以,BGP,路由表为基础，按,AS,域为对象，分析骨干网进出流量去向,提供以指定国家、省份、运营商为目的,的流量业务分布,提供各省网、城域网在出口链路上的各,种业务、流向流量分布情况,为调整,Peer,互联链路，合理分配资源提供科学依据,56,用户行为数据中心,以数据用户上网行为数据为中心,直接反映数据用户上网消费行为特征,形成具有高价值的分析结果和业务模式,统合数据采集流程的建立,数据用户信息多种多样，涉及的系统众多且各不相同,上网行为数据与其他用户信息综合能够产生更好的效果,从不同系统采集数据的模式和流程，包括：,DPI,和,AAA,系统：用户上下线、时长、使用量和上网喜好数据,BOSS,和,CRM,系统：用户属性数据和业务套餐,各业务系统的话单信息：语音、短信、彩信等,其他信息：用户归属信、移动终端信息、客服号投诉和咨询纪录、数据业务推介、回访的反馈记录,57,TMA,系统主要功能,业务识别,用户和群组,统计分析,流向分析,行为分析,流量管控,业务质量,信息推送,安全防御,58,网络业务识别,网络业务的准确识别是各级网络流量监控的基础。,业务识别的难度,对网络应用需求的不断扩大带动了网络业务的发展，目前的网络业务种类繁多。,因特网的自由发展的特点也使得网络业务的设计和应用非常自由，增加了业务多元化程度。,网络业务软件发展和变化速度很快，不同版本软件可能带来业务特性的不同。,为了能够准确地进行业务识别，必须根据业务特点采用多种方式。,业务和应用软件的不断变化，要求业务识别的实现也需要及时进行更新。,59,DPI,业务,识别,特征字识别,并非只匹配识别内容净荷的前几个字节或固定偏移位置，而是对,整个报文的净荷进行滑动匹配一个或多个协议关键字，,在,10Gbps,线速下逐报文匹配。以,BT,为例，,HandShake,特征字为,.BitTorrent,Protocol“,60,DPI,业务识别,协议,指纹,报文的应用层格式符合特定的约束条件，以,eMule,为例包括,Marker,、,Message Type,、,Message Length,等。大多数,P2P,协议的应用层封装中都呈现出类似,TLV,的格式，而且有些协议在内容净荷的头和尾部还有一些特殊的字符，例如,“|”,，,“$”,等；,QQ,的报文结构是固定的，可以根据相应字节表示的含义去判断该报文是否符合,QQ,的结构,61,DPI,业务识别,协议状态机,P2P,的客户端在,Peer,和,Peer,的交互过程中大多采用特有的,“,信令,”,过程，以,BT,为例，如,Handshake, Bitfield, Unchoke, Interested, Request, Piece,等。即使在数据传输阶段也有类似的握手报文，例如,Peer,申请下载哪个,Piece,，通告其他,Peer,自己有哪些,Piece,等，通过这些,特殊,报文的识别进行特征增强,62,DPI,业务识别,信令消息解析,某些业务在通信过程中，会在报文给出重要的信息，例如,P2P,通信中会给出其它节点的,IP,地址及端口信息，,FTP,被动模式会给出服务器即将使用的端口信息，捕获并分析这些报文中的信息可以帮助我们相应的业务,63,DFI,业务,识别,DFI,对每个连接的报文速率和比特速率、流持续时间、报文长度分布规律等进行统计，根据多维度的统计规律，可以大致判断出一些业务,加密和私有业务的报文内容中没有,DPI,特征，,DFI,算法是识别加密业务有效方法，是对,DPI,无效时的有效补充,64,综合,DPI,和,DFI,的业务,识别,TMA,综合,DPI/DFI,，协议指纹、通信模式和流量特征进行识别,基于协议指纹、握手信令、状态机等,基于流量统计特性的分析,基于时间序列累积特性的分析,识别流程是一系列递进叠代的分析过程，通过一般疑似、重点分析、高度疑似、排除或确认自学习分步骤的方法进行多维度分析和筛选,支持,P2P,下载、,P2P,流媒体、,VoIP,、即时通信等,各类,业务，大,类业务下细分为小类业务，如,P2P,下载业务下区分,BT,、,eMule,、,迅雷等,持续,跟踪各种主流,P2P,应用和其他应用的发展和演进，形成协议分析识别的标准流程，可轻松应对新出现的,P2P,业务,65,各类业务占出口流量比例,按时间段的,P2P,业务控制,分阶段降低低价值业务,与电信、联通各省流量分布,移动各省占出口的流量和比例,流量热点,IP,和网段排名,链路流量和利用率分析,业务组分和热点业务分析,各运营商互连流量对比分析,TMA,系统功能展示,66,Gn/Gi,链路流量和利用率分析,各类业务流量趋势预测,cmnet,和,cmwap,流量比例分析,分运营商分省流向分析,用户流量排名和行为分析,活跃用户数量、流量和业务,移动自营业务和网站分析,指定,APN,的业务和用户分析,TMA,系统功能展示,67,热点,LAC,和小区的流量排名分析,热点区域的用户排名分析,TMA,系统功能展示,68,TMA,系统性能指标,光旁路保护设备,OptiSwap,切换时延小于,5ms,支持,2.5G,和,10G,双向线速转发和业务管控能力,单设备在,2.5G,和,10G,满速率条件下实测,72,小时丢包率为,0,单设备在满速率和配置最大策略数的条件下转发时延小于,50us,省网和运营商典型链路识别的业务流量大于总流量的,80%,已识别业务在满速率条件下的识别率大于,99%,单设备最大支持,4K,个用户分群和,16K,个管控策略,单个流管控策略流控精度小于,1Kbps,聚合流管控策略流控精度小于,10Kbps,管控策略下发到生效时延小于,1,秒,69,CMNET,网络主要应用,中国移动互联网流量分析控制系统实现对链路、网元、终端、用户和服务提供商的全面监控，综合提供拥塞发现和流控、网元安全防护、业务热点发现、用户喜好分析、服务提供商管理、用户网络交互功能。服务于网络运维，并支撑业务拓展,中国移动互联网流量分析控制系统的部署将覆盖,CMNET,国际出口、国内运营商互连出口、移动各省网出口；移动各省省间互连接口和与其他运营商直连链路；,IDC,出口链路；以及核心网分组域,Gi,接口和,Gn,接口链路。,70,网站流量统计,在,CMNET,骨干互联出口和各省第三方互联出口可以观测到中国移动内部用所有对外部的访问流量，对于掌握和评估中国移动整体及移动各省产生的互联流量流向具有重要意义。,在出口层面，移动用户访问外部流量中最主要的是,P2P,类流量和网站访问流量。对于,P2P,流量一般采用管控和疏导处理，而对于网站访问则可能进行进一步的优化。,分析移动用户访问的主要外网热点网站资源分布情况，为合理规划引入网络资源，降低网间依赖度提供重要的决策依据。,71,网站的定义,网站（英文：,Website,）是指在互联网上，根据一定的规则，使用,HTML,等工具制作的用于展示特定内容的相关网页的集合。简单地说，网站是一种通信工具，就像布告栏一样，人们可以通过网站来发布自己想要公开的信息，或者利用网站来提供相关的网络服务。人们可以通过网页浏览器来访问网站，获取自己需要的信息或者享受网络服务。,在互联网的早期，网站还只能保存单纯的文本。经过几年的发展，当万维网出现之后，图像、声音、动画、视频，甚至,3D,技术开始在互联网上流行起来，网站也慢慢地发展成我们现在看到的图文并茂的样子。通过动态网页技术，用户也可以与其他用户或者网站管理者交流。也有一些网站提供电子邮件服务。,72,网站访问的定义,一般而言，网站访问为用户使用浏览器通过,HTTP,协议按照域名访问一定的网页内容的过程，随着浏览器支持协议增多和能力增强，网站内容的多样化，网站访问的组成也变得复杂。,所有通过浏览器的访问记关联的访问：,从访问协议：,HTTP,、,HTTPS,、流媒体协议、,P2P,流媒体下载协议等,从访问方式：浏览器、浏览器嵌入的媒体播放器、,P2P,播放软件、其它使用,HTTP,协议的软件等,从访问内容：静态网页、图片、文件、流媒体文件等,73,网站的标识,网站一般由域名标识资源，但一个网站可能使用多个二级或三级域名来表示不同的服务内容。在统计分析中，可以从,Host,域名角度进行分析，但在多个域名属于同一个网站的情况下，可以根据网站域名归纳出一级域名，用来定义和表征网站。,网站除了通过域名访问外，也可能存在通过,IP,地址访问，这部分,IP,地址，可以通过配置来制定，也可以通过在,DNS,或,GET,报文中将网管关联的域名与,IP,地址对应来动态指定。,对于出口层面的网站分析，目的是在于找到访问热点，而一般访问热点由特定的内容提供商,SP,提供，所以在识别和统计域名的基础上，需要将域名按照提供他们的运营商来归纳进行统计。,74,网站访问的具体过程,一般浏览器访问过程,用户在浏览器地址栏输入提供要访问的,URL,（包括,Host,域名、,URI,路径）；,浏览器提取,URL,中的域名，向域名服务器发出,DNS,解析请求报文；,域名服务器返回,DNS,应答报文，其中包含该域名对应的,IP,地址信息，可能有多个,IP,；,浏览器选择其中的一个,IP,地址，向网站服务器,IP,出数据访问请求，请求报文中包含域名和,URI,信息。,浏览器根据域名主机返回的数据显示网页的内容。,75,访问网站的方式,服务器或服务器群提供，通过域名解析访问。,访问,Web Cache,。,通过代理访问。,访问,CDN,资源。,主机域名托管方式。,76,CMNET,出口的网站流量统计的难点,出口层面，网站访问的流量比较大。,如何定义完整的网站流量并准确统计,访问资源多种多样，包括网页、图片、流媒体、文件等。,网站提供服务的不同方式决定了网站访问包括域名访问、,IP,地址访问、,CDN,或,Web Cache,等，网站标识复杂。,网站访问工具包括了各种浏览器、应用软件。,域名和网站、,SP,的对应关系没有一定之规。,包含了媒体、文件等关联访问，域名、,IP,地址、访问协议等情况比较复杂。,网站流量统计，既要统计出网流量，更要统计入网流量。,CMNET,骨干出口存在严重的路由不对称情况，使得网站访问的双向流量难以关联。,77,TMA,系统网站流量统计,在全网出口层面实时进行网站点击量和流量统计。,实时解析各种网站访问请求，按照网站,IP,、域名进行统计，并归纳到,SP,。,区分网内用户访问网外网站和网外用户访问网内网站。,实时关联访问的请求流量和应答流量，必要时在全网层面进行实时关联。,根据网维网站的位置归纳流量流向，定位网外热点资源所在的运营商。,78,助力,业务拓展,带宽,精细化管理,流量流向,分析,TMA,3G,数据业务,异常流量,控制,大客户,业务保障,在移动数据网络中的应用,79,CMNET,网络主要应用,链路流量监控,了解,CMNET,骨干和省网各链路流量和利用率情况,发现拥塞链路，实施必要的流量和业务管控，提高资源利用率,集中监控生成统一报表，全网统一规划扩容方案，辅助结算,网元流量监控,了解核心网关键设备和基站小区的分组域流量和业务组分情况,发现流量热点区域和位置，及时给出告警提示调配资源和管控,重点客户保障,及时跟踪重点客户的流量和质量，提高面向重点客户的服务水平和质量,了解重点客户的上网规律和业务喜好，调配网络资源保障其业务质量,80,CMNET,网络主要应用,终端类型分析,了解移动终端的使用情况，区分,2G/TD,、手机,/,数据卡,/,上网本,了解用户使用具体终端的型号及各终端使用数据业务的情况,网络安全防护,根据历史流量数据构建动态基线和告警系统,保障重点用户、网站和业务系统的通信安全,应用监测统计,评估和分析各移动业务的运营情况,发现业务热点和潜在业务内容，以及竞争性业务分析,移动,IDC,业务分析和管理,81,CMNET,网络主要应用,服务提供商管理,针对服务提供商运营业务进行监管和计费核查,用户交互平台,提供主动联系用户的手段，建立畅通的网上用户交互平台,建立信息推送和上网导航系统，商业广告推送和问卷调查,与其他系统的关系,流量分析控制系统作为移动运营支撑系统新的组成部分，可与已有系统共享用户和业务等数据,流量分析控制系统提供对移动数据网络、业务和用户的灵活控制能力，可与原有系统进行配合，进行网络和业务、用户优化，开展增值业务,82,目录,1,、流量监控需求,2,、产品技术路线,3,、,TMA,系统架构,4,、,TMA,系统功能,5,、,DPI,技术发展,83,流量,分析,用户,感知,业务,识别,安全,告警,过滤,镜像,质量,监测,控制,策略,以,DPI/DFI,为核心的应用,TMA,DPI/DFI,内容计费,带宽优化,差异服务,质量保障,攻击防御,流量清洗,行为分析,数据,挖掘,增值应用,84,以,DPI/DFI,为核心的应用,85,DPI,系统的发展前景,86,宽广电信公司及合作伙伴,以宽广公司的,DPI/DFI,解决方案,TMA,为核心，融合业内数家领先厂商的成熟产品，打造面向下一代移动数据网监控的综合解决方案,TMA,DPI,宽广,SSS,宽广,UA,Syniverse,MDCE,Syniverse,SBM,ArborPeakflowSP CP,ArborPeakflowSP TMS,Siemens,SSEP,87,宽广电信公司及合作伙伴,宽广电信公司是提供先进的,DPI/DFI,产品和,IP,网络监控综合解决方案的国内厂商，在网络流量监控领域处于国内国际领先地位,Tektronix,公司是全球领先的通信支撑保障、测试测量行业解决方案的优质供应商,，,致力于为整个行业广泛提供深度协议分析能力，并为各类不同技术和界面提供支持,Syniverse,公司是为全球无线电信公司提供关键业务技术服务和增值服务的领先提供商，在移动数据计费和差异化带宽管理等领域富有经验和商用案例,Siemens,研究院是提供安全咨询、安全评估、安全服务、安全加固的领先提供商，专注于,IT,信息安全和电信业务安全,Arbor Networks,公司是提供网络基础架构安全、流量监控、流量清洗的领先厂商，在分布式拒绝服务攻击,DDoS,的防范技术领域处于世界领先地位,宽广电信以,TMA,流量监控系统为核心，以客户需求为导向，结合国内外优秀合作伙伴的成熟产品，进行深层次的技术合作和方案融合，为电信运营商提供移动数据业务综合解决方案而努力,88,-,89,-,感谢聆听！,网络质量是通信企业生命线,北京宽广电信高技术发展有限公司,info,