CMNET网络结构和路由策略

第第1 1页页CMNET网络结构和路由策略2012年8月第第2 2页页目录目录骨干网络架构与路由策略Web cache、DNS、流控系统介绍省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法第第3 3页页骨干网络架构与路由策略1.网络概述2.网络现状3.路由组织策略4.网络演进骨干网络架构与路由策略骨干网络架构与路由策略第第4 4页页04年链路：2.5G、155M为主节点：核心汇聚增设第二节点（一般骨干）其他节点：双节点、双设备、双上联节点：核心、汇聚单节点、双设备 一般骨干单节点、单设备、双上联链路：少量2.5G、部分155M建设3大核心5大汇聚及一般骨干节点双节点改造及设备替换网内网间链路扩容全网优化涉及31个省份，设备替换、版卡扩容、网内、省网、出口链路扩容、全网优化链路：10G、2.5G为主，少量155M节点：核心、汇聚：单节点、双设备、建设第二节点其他节点：双节点、双设备、双上联技术及网络结构发展时间 CMNET一期 CMNET二期CMNET三期至四期二阶段CMNET5期全面建设移动骨干网10年00年07年奥运WLAN网间互联新奥VPN一期CMNET5期网络结构调整：1、北京、上海、广州分别设置2个节点，每节点1台集群路由器2、五大汇聚设置第二汇聚节点3、北京、西安、武汉、广州、上海设置独立的IP RR4、除8大核心汇聚节点外其他25个一般骨干节点设置双节点5、北京、上海、广州国内互联设置双节点6、北京、广州国际互联设置双节点、上海设置单节点奥运WLAN:涉及北京、上海、沈阳、青岛、天津、秦皇岛6个奥运城市，设置WLAN专用国内、国际出口，承载奥运WLAN业务新奥VPN一期:涉及13个省份31个地市，新增52台PE设备路由器，上联至CMNET骨干网设备CMNET网间互联：上海广州新增第二国内出口T1600广州新增第二国际出口CRS-1扩容国内、国际网间链路全网大力建设全网大力建设IDCIDC中心，主要包中心，主要包括括7 7个一级个一级IDCIDC和和5 5个二级个二级IDCIDC。网络雏形双节点改造引入10G链路建设VPN专用网引入集群，大力发展IDC第第5 5页页07年音乐随身听全曲下载飞信音乐搜索短信转移/过 滤/仓库基本语音，短信前传等补充业务以品牌为基础解决基本通信需求增值业务提升用户体验数据业务大爆炸手机动漫可视电话MMSP截至2009年9月共有合作SP7258家,其中全网SP共879家，开展合作业务8.3万个移动智能网业务种类时间 基本业务：9种 补充业务：7种 话音增值业务：18余种数据增值业务：70余种条码识别条码凭证全业务运营公共安全绿色农业工业监控智能交通环境监测电子广告远程医疗智能家居多媒体化、定制化11年02年基地业务，互联网业务互联网化第第6 6页页用户：中国移动的互联网用户发展情况WAPCSDGPRSWAPCSDGPRSWLAN专线专线CSDGPRSWLAN专线专线家庭宽带家庭宽带集团客户集团客户TDVIP客户客户200020122003WAPn手机用户发展手机用户发展：手机用户数从不足：手机用户数从不足2000万增长到万增长到4.5亿。亿。n宽带用户发展：宽带用户发展：宽带用户数从宽带用户数从100万左右发展到目前的近万左右发展到目前的近1000万，万，网络承载的流量增加超过网络承载的流量增加超过12倍。倍。nWLAN大发展大发展：WLAN网络经历了巨大发展，网络经历了巨大发展，AP数量数量20万到万到200万。万。Wlan用户从不足用户从不足10万增长到万增长到3000万。万。用户种类第第7 7页页骨干网络架构与路由策略1.网络演进2.网络现状3.路由组织策略4.网络演进骨干网络架构与路由策略骨干网络架构与路由策略第第8 8页页CMNET网络概况骨干核心层（北京、上海、广州）：负责中转省际流量、网间流量；骨干汇聚层（西安、成都、武汉、南京、沈阳5省）：负责中转省际流量；骨干接入层（23个省）：负责汇聚本省流量。省网核心层CMNET网总体分为两层结构，分为骨干网、省网。骨干网按功能层次分为骨干核心层、骨干汇聚层、骨干接入层。省网分为两种结构。其中29省采用一个自治域，分为省网核心、省网接入、城域网接入三层。北京北京广州广州上海上海成都成都武汉武汉南京南京沈阳沈阳西安西安骨干网省网省网城域网A结构（29省）B结构（广东、江西）AS9808同一AS不同AS全网组网原则：无论骨干和省网、城域网，一般接入节点至少连接两个上级节点（汇聚和核心）。城域网核心至少连接两个省网核心，省网核心至少连接两个以上骨干核心（或汇聚）。城域网城域网接入层层省网接入层/城域网核心第第9 9页页总体分层总体分层CMNET骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三层结构层结构。另外与核心层还连接有国际出入口层、互联互通层。一般接入层。另外与核心层还连接有国际出入口层、互联互通层。一般接入层及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）骨干网按照地域分为骨干网按照地域分为3大片区，大片区，3大片区又细分为大片区又细分为8个大区：个大区：北京片区：北京大区、沈阳大区、西安大区北京片区：北京大区、沈阳大区、西安大区上海片区：上海大区、南京大区、武汉大区上海片区：上海大区、南京大区、武汉大区广州片区：广州大区、成都大区广州片区：广州大区、成都大区当前各片区向外发布路由当前各片区向外发布路由优选优选情况如下（条数）：情况如下（条数）：电信互联，北京：上海：广州电信互联，北京：上海：广州=300:287:359联通互联，北京：上海：广州联通互联，北京：上海：广州=374:223:393第第1010页页核心层核心层北京、上海、广州北京、上海、广州3个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际Internet、国内其他运营商的互联。国内其他运营商的互联。CMNET六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。汇聚层汇聚层汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点（相当于中国电信的普通核心），负责本大区内省份流量之间的交换（相当于中国电信的普通核心），负责本大区内省份流量之间的交换原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点的一个或多个。只有杭州连接至三个核心，并连接到南京。的一个或多个。只有杭州连接至三个核心，并连接到南京。CMNET六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。接入层接入层接入层按照一个省份两个骨干接入节点设置，只负责汇聚本省省际流量和出网流量。接入层按照一个省份两个骨干接入节点设置，只负责汇聚本省省际流量和出网流量。第第1111页页网络节点：网络节点：2011 年底后，覆盖全国31 个省（区市）36 节点城市 划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量；划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量；划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发。第第1212页页国际出口层国际出口层北京、上海、广州的路由器组成，是国际网络的核心部分，面向北京、上海、广州的路由器组成，是国际网络的核心部分，面向国内连接骨干核心层，面向国外连接海外国内连接骨干核心层，面向国外连接海外POP点，用来汇聚点，用来汇聚CMNET出入国内的国际流量，建立出国流量的缓冲区，设立这出入国内的国际流量，建立出国流量的缓冲区，设立这个层面的一个重要目的是方便国际出口配套工程实施。目前北京个层面的一个重要目的是方便国际出口配套工程实施。目前北京出口配套工程原因暂停使用。出口配套工程原因暂停使用。国际接入层国际接入层国际接入层主要是指海外国际接入层主要是指海外POP，主要用来接入海外网络，及与其，主要用来接入海外网络，及与其他海外他海外ISP间的互联链路（包括部分间的互联链路（包括部分PEER电路和购买的电路和购买的TRANSIT电路）。它的主要作用是降低电路）。它的主要作用是降低PEER互联成本和购买互联成本和购买Transit的成本。每个节点规划两台路由器。的成本。每个节点规划两台路由器。美国美国POP点：洛杉矶、旧金山的国际互联网接入。点：洛杉矶、旧金山的国际互联网接入。香港香港POP点：负责香港本地和部分东南亚、欧洲的互联网接点：负责香港本地和部分东南亚、欧洲的互联网接入。入。伦敦伦敦POP点：英国伦敦，负责欧洲国际互联网接入。（目前点：英国伦敦，负责欧洲国际互联网接入。（目前1台，未启用）台，未启用）第第1313页页CMNETCMNET骨干网骨干网网络现状网间互联节点设置网络现状网间互联节点设置国内互联节点：国内互联节点：北京、上海、广州，均为双节点设置。北京、上海、广州，均为双节点设置。国际互联路由器：国际互联路由器：北北京、上海、广州，均为双节点设置，由于安全配套尚未到位，故北京国际出口、上海国际出口京、上海、广州，均为双节点设置，由于安全配套尚未到位，故北京国际出口、上海国际出口2 2、广州国际出口广州国际出口1 1暂未上线。暂未上线。NAPNAP互联路由器互联路由器：北京、上海、广州；均为单节点设置。北京、上海、广州；均为单节点设置。海外海外POPPOP点点由中国移动国际公司运营的由中国移动国际公司运营的CMNETCMNET国际网（国际网（CMICMI）提供，拥有独立的）提供，拥有独立的自制系自制系统，为统，为CMNETCMNET提供国际互联提供国际互联业务。现有北美业务。现有北美POPPOP点（单局址双设备）、香港点（单局址双设备）、香港POPPOP点（单局址双设备）及欧洲点（单局址双设备）及欧洲POPPOP点（尚未承载业务点（尚未承载业务）网间互联电信、联通等国内运营商北京北京1上海上海1广州广州1北京北京2北美香港Sprint、AT&T、DT等国际运营商核心节点CMI第第1414页页CMNET六期工程建成后的结构骨干节点网络结构调整骨干节点网络结构调整原核心骨干层和汇聚骨干层调整为原核心骨干层和汇聚骨干层调整为骨干核心层骨干核心层，汇聚和疏通出网的业务量，实现跨省，汇聚和疏通出网的业务量，实现跨省业务的有效疏通；北京、上海、广州、武汉、南京、四川、西安、沈阳；除西安、沈业务的有效疏通；北京、上海、广州、武汉、南京、四川、西安、沈阳；除西安、沈阳外，骨干核心节点之间全网状互联。阳外，骨干核心节点之间全网状互联。原一般骨干层调整为原一般骨干层调整为骨干接入层骨干接入层，用于汇接本省的出省的业务量，全网目前，用于汇接本省的出省的业务量，全网目前23个骨个骨干接入节点，六期工程内容：干接入节点，六期工程内容：新增1个天津私有云节点作为骨干接入节点；增加部分接入节点接入方向；苏州城域网流量直连骨干网南京、上海节点，进行扁平化试点疏通方式；国内出口节点结构调整方案国内出口节点结构调整方案目前全网流量过于集中于北京、上海、广州三个核心，故障时影响面大且难以疏通，目前全网流量过于集中于北京、上海、广州三个核心，故障时影响面大且难以疏通，北京、上海、广州三个核心节点设备及机房的压力大。北京、上海、广州三个核心节点设备及机房的压力大。本次工程新增武汉、南京、成都本次工程新增武汉、南京、成都3个节点作为国内互联节点，分散北京、上海、广州个节点作为国内互联节点，分散北京、上海、广州三个核心节点的压力，降低故障时的影响面。三个核心节点的压力，降低故障时的影响面。六期原设计于六期原设计于2012年年8月完工，满足网络需求到月完工，满足网络需求到2012年底，扩容后总年底，扩容后总带宽为带宽为5.9T；第第1515页页101101808101122.51800.50500100015002000CMnet一期CMnet二期CMnet三期CMnet四期CMnet五期 2011年底155M 155M/2.5G2.5G2.5G/10G接口技术10GCMNET骨干业务量和端口技术发展情况业务量增长：2003年到11年，网络承载流量增长175倍，年均增长90.7%08年到11年：业务量增长8倍，年均增长100%，其中IDC流量贡献从5G发展到240G；用户数方面，宽带从100万户发展到1000万户；WLAN从不到20万发展到超过800万。建设容量：2003年到11年，网络建设容量增长约45倍，年均增长62.7%骨干网总链路带宽：移动1.8T，电信21T，联通16T（互联网发展报告数据）技术发展方面：从08年到11年，主流端口技术一直停留在10G/Port5.68.429.654.464.883.2218.4401.56840.40200400600800100003年 04年 05年 06年 07年 08年 09年 10年 11年G网络容量建设速度远低于业务量增长，且10G端口技术未升级，导致原有网络结构日趋不适应新的流量模型。G年均增长年均增长超过超过90%年均增长超过年均增长超过100%第第1616页页在业务高速增长情况下，CMNET工程期末拥塞状态-五期工程原计划于2011年11月份完工，推迟到今年9月份（预计），目前仍有270条骨干链路未到位（五期建设规划共911条）-六期原设计于2012年8月完工，目前未完成设备集采，预计工程将延后；-2012年3月全网省际链路共205条，均值流量超过40%且峰值流量超过80%的链路共有37条（占18%），峰值利用率达到100%的共31条链路（占15%）。0%10%20%30%40%50%60%70%80%90%100%020406080100120140160180甘肃山东浙江江苏江西河南辽宁贵州上海广东四川广西北京宁夏新疆青海山西安徽黑龙江西藏内蒙古重庆云南河北陕西福建湖北湖南海南骨干网网内带宽及利用率分析带宽峰值带宽利用率均值带宽利用率带宽：Gbps第第1717页页骨干承载总流量情况123.2 119.9 69.6 51.4 49.7 44.5 37.7 35.5 29.2 24.5 24.3 24.1 21.3 18.8 17.8 17.6 15.7 15.4 14.9 12.2 9.5 8.4 7.8 6.1 6.1 5.3 4.2 3.5 2.1 1.9 1.6 0.0050.00100.00150.00浙江江苏上海山东江西山西广东河南四川安徽重庆福建湖南辽宁北京陕西贵州湖北河北广西云南天津内蒙新疆黑龙江甘肃吉林海南青海宁夏西藏骨干网承载总流量骨干网承载总流量各省流量(Gbps)n骨干网承载总流量之和为824Gbps。n骨干网承载省际总流量为555Gbps，占全部流量的67%。n骨干网承载网间总流量为269Gbps，占全部流量的33%。n各省业务量发展不平衡。n骨干网承载总流量=骨干网承载的省际流量+骨干网承载的网间流量第第1818页页骨干网承载的省际流量情况骨干网承载的省际流量情况n骨干网承载的省际流量之和为555Gbps。n其中，排名前10省份的省际互访总流量之和为421Gbps，占出省际流量的76%。93.5 78.3 61.8 40.0 34.2 29.0 25.6 24.8 18.5 15.1 13.7 13.4 11.6 11.1 10.5 9.4 9.1 8.3 8.2 6.3 4.8 4.8 4.3 4.3 3.6 3.0 2.4 1.9 1.2 1.2 0.8 0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00 80.00 90.00 100.00 浙江江苏上海山东江西山西广东河南福建四川重庆安徽陕西贵州湖南河北辽宁广西湖北天津北京云南内蒙甘肃黑龙江新疆吉林海南青海宁夏西藏骨干网承载的省际流量骨干网承载的省际流量省际流量(Gbps)Gbps第第1919页页骨干网骨干网承载的网承载的网间流量情况间流量情况41.6 29.7 15.5 15.5 14.1 13.0 12.1 11.4 11.0 10.9 10.7 10.6 9.6 7.8 7.2 6.0 5.5 5.5 4.7 4.6 3.9 3.5 3.2 2.5 2.1 1.9 1.6 1.1 0.9 0.8 0.7 0.005.0010.0015.0020.0025.0030.0035.0040.0045.00江苏浙江江西山西四川北京广东山东安徽湖南河南重庆辽宁上海湖北陕西福建河北云南贵州广西内蒙新疆黑龙江天津吉林海南甘肃青海西藏宁夏各省流量各省从骨干网疏通网间流量情况各省从骨干网疏通网间流量情况Gbpsn各省通过骨干网疏通网间流量之和为269Gbps。其中，排名前10的省份流量之和为175Gbps，占出全部流量的65%。第第2020页页骨干网承载的网间流量情况骨干网承载的网间流量情况13.9 7.2 6.2 5.1 5.0 4.9 4.8 4.4 4.2 3.8 3.7 3.5 3.2 3.1 2.1 2.1 2.0 1.9 1.4 1.4 1.2 1.1 1.1 1.0 0.8 0.7 0.7 0.4 0.3 0.3 0.3 0.002.004.006.008.0010.0012.0014.0016.00江苏浙江山西北京河南江西湖南广东四川辽宁山东重庆安徽上海福建河北湖北云南内蒙新疆黑龙江陕西贵州广西天津吉林海南西藏宁夏甘肃青海中国电信各省从各省从骨干网到骨干网到电信电信方向方向流量情况流量情况Gbpsn各省从骨干网到中国电信流量为91.9Gbps，排名前十省份流量总和为59.5Gbps，占64.8%。12.9 5.3 4.8 4.3 4.0 3.9 3.8 3.6 3.2 2.8 2.7 2.3 2.2 2.1 1.8 1.8 1.6 1.5 1.4 1.4 1.3 1.2 1.1 0.8 0.7 0.6 0.4 0.4 0.4 0.3 0.2 0.002.004.006.008.0010.0012.0014.00江苏四川山西浙江陕西江西湖南广东安徽河南重庆山东北京上海贵州辽宁云南福建湖北河北广西内蒙新疆黑龙江吉林天津甘肃海南青海宁夏西藏中国联通各省从各省从骨干网到骨干网到联通联通方向方向流量情况流量情况Gbpsn各省从骨干网到中国联通流量为75Gbps，排名前十省份流量总和为48.7Gbps，占65%。第第2121页页附录：省网第三方出口流量情况附录：省网第三方出口流量情况n第三方出口疏通流量峰值为176Gbps，平均流量为88Gbps，占全网出网流量的24%。第第2222页页骨干网承载的省际流量骨干网承载的省际流量top10省份的流量流向省份的流量流向15.06717911.080337949.3811955486.7825721345.7937183125.5289007254.7825334934.7081212442.6429194762.61888905805101520江苏上海山东江西山西福建河南广东陕西辽宁浙江浙江省际互访省际互访TOP10省份省份省际互访流量Gbps16.5839671215.0671797.9300162025.0599798314.5035231093.7858053392.8149252732.4545898092.3625237472.32728215805101520上海浙江江西山东山西安徽河南福建四川广东江苏江苏省际互访省际互访TOP10省份省份省际互访流量Gbps16.5839671211.080337945.6426431363.5755584472.6706146671.9436652831.8962405171.8733654841.792070221.56544728205101520江苏浙江山东广东河南江西山西安徽福建河北上海上海省际互访省际互访TOP10省份省份省际互访流量Gbps9.3811955485.6426431365.0599798312.7668669872.3752696782.281603651.801249681.4828498461.2639359041.1416099630246810浙江上海江苏山西河南江西广东四川重庆陕西山东山东省际互访省际互访TOP10省份省份省际互访流量Gbpsn浙江省际流量为93.5Gbpsn江苏省际流量为78.3Gbpsn上海省际流量为61.8Gbpsn山东省际流量为40Gbps第第2323页页骨干网骨干网承载的省承载的省际流量际流量top10省份的流量省份的流量流向流向7.9300162026.7825721342.281603651.9436652831.8938940951.7948214441.2256244511.1404264281.1190904991.1071097480246810江苏浙江山东上海河南广东山西陕西福建湖南江西江西省际互访省际互访TOP10省份省份省际互访流量Gbps5.7937183124.5035231092.7668669871.8962405171.3113298481.2256244511.0503703461.0298966450.8039974830.7818536402468浙江江苏山东上海贵州江西河南福建辽宁河北山西山西省际互访省际互访TOP10省份省份省际互访流量Gbps4.7081212443.5755584472.3272821581.801249681.7948214441.2653760331.1334936861.0681599470.7494091430.749401666012345浙江上海江苏山东江西河南四川福建广西河北广东广东省际互访省际互访TOP10省份省份省际互访流量Gbps4.7825334932.8149252732.6706146672.3752696781.8938940951.2653760331.1430540221.0503703460.7486442910.714925514012345浙江江苏上海山东江西广东贵州山西福建重庆河南河南省际互访省际互访TOP10省份省份省际互访流量Gbpsn江西省际流量为34.2Gbpsn广东省际流量为25.6Gbpsn河南省际流量为24.8Gbpsn山西省际流量为29Gbps第第2424页页骨干网骨干网承载的省承载的省际流量际流量top10省份的流量省份的流量流向流向5.5289007252.4545898091.792070221.1190904991.0681599471.0425101371.0298966450.7486442910.6375078660.4511723820123456浙江江苏上海江西广东山东山西河南重庆广西福建福建省际互访省际互访TOP10省份省份省际互访流量Gbps2.3625237471.9721640861.4828498461.4124834421.1334936861.1149411330.7614715130.6874041570.4906178480.43827860900.511.522.5江苏浙江山东上海广东重庆山西江西广西河南四川四川省际互访省际互访TOP10省份省份省际互访流量Gbpsn福建省际流量为18.5Gbpsn四川省际流量为15.1Gbpsn全国31省通过骨干网承载的省际流量详细情况参见：第第2525页页CMNET网络流量疏通遵照最短路径优先原则。网络流量疏通遵照最短路径优先原则。(中国电信是按照角色转发，区分片区和大区，主中国电信是按照角色转发，区分片区和大区，主要原因中国电信为多平面组网，路由更复杂。）要原因中国电信为多平面组网，路由更复杂。）中国移动优先考虑距离，中国移动优先考虑距离，metric设置和距离成正设置和距离成正比，在距离相等的情况下，才考虑角色，按照跳数比，在距离相等的情况下，才考虑角色，按照跳数最小原则设计。最小原则设计。中国移动路由举例中国移动路由举例每增加一跳每增加一跳Metric增加增加300：北京北京到到海口海口：北：北京京-广州广州-海海口，而口，而不不是北是北京京-武汉武汉-广州广州-海海口，增加一口，增加一跳增加跳增加metric为为300。距离不同跳数相同走最短路径距离不同跳数相同走最短路径：长春到哈尔滨：长春：长春到哈尔滨：长春-沈阳沈阳-哈尔滨哈尔滨（metric=11139）；长春）；长春-北京北京-哈尔滨（哈尔滨（metric=13661），），第第2626页页CMNET骨干网骨干网网络现状设备配置情况网络现状设备配置情况CMNETCMNET骨干网设备配置情况骨干网设备配置情况骨干网全网共设骨干网全网共设置置182台台路由器、路由器、26台三层交换机台三层交换机设备配置设备配置JUNIPERJUNIPERCISCOCISCO华为华为TXP集群T1600M320CRS1-16GSR 12008三层交换机NE5000ENE40E核心骨干核心骨干6 6汇接骨干汇接骨干1010一般骨干一般骨干121250502626国内互联国内互联6 6国际互联国际互联 4 41 12 22 2NAPNAP互联互联3 3IP/VPN RRIP/VPN RR10（IP）4（VPN）VPN PEVPN PE72合计合计6 6424251512 23 326262 276208第第2727页页CMNET骨干网骨干网网络现状网络现状国内网间互联电路国内网间互联电路互联链路对方运营商CMNET现状设计到达端口能力(五期后)实际开通（2012年4月）北京 电信810G310G联通810G210G中国教育网12.5G12.5G中国铁通210G22.5G+110G世纪互联12.5G12.5G合计合计185G185G70G70G上海 电信810G3x10G联通810G310G中国教育网110G110G中国铁通210G3x10G合计合计182.5G182.5G70G70G广州 电信810G3x10G联通810G+1G2x0G中国铁通210G2x10G中国教育网1GE合计合计181G181G70G70G总计总计548.5G548.5G210G210G第第2828页页CMNETCMNET骨干网骨干网网络现状网络现状国际网间互联电路国际网间互联电路国际出国际出口节点口节点CMNET骨干网国际互联骨干网国际互联 至内侧核心路由至内侧核心路由器（五期后）器（五期后）至外侧互联至外侧互联已具备端口已具备端口开通情况开通情况上海上海5x10G/台，台，共两台共两台至国际运营商直联至国际运营商直联1155M1155M至北美至北美POP点点2x10G/台台2x10G至香港至香港POP点点3x10G/台台2x10G（尚未开通）（尚未开通）至欧洲至欧洲POP点点1x10G/台台1x10G（尚未开通）（尚未开通）广州广州7x10G/台，台，共两台共两台至北美至北美POP点点2x10G/台台2x10G（尚未开通）（尚未开通）至香港至香港POP点点5x10G/台台5X10G合计合计130G+155M120G+155M第第2929页页骨干网络架构与路由策略1.网络演进2.网络现状3.路由组织4.网络演进骨干网络架构与路由策略骨干网络架构与路由策略第第3030页页全网全网IGPIGP采用采用ISISISIS全网所有核心、全网所有核心、汇汇聚、一般骨干、出口路由器、业务交换机全网属于聚、一般骨干、出口路由器、业务交换机全网属于ISIS ISIS Level2Level2ISISISIS邻居间运行邻居间运行MD5MD5认证认证第第3131页页CMnet骨干网节点间流量疏通基本原则是逐级向上疏骨干网节点间流量疏通基本原则是逐级向上疏通。在满足通。在满足该该原则的同时，优选传输距离较短的路径：原则的同时，优选传输距离较短的路径：核心节点间流量核心节点间流量 任何情况下都通核心节点间链路疏通任何情况下都通核心节点间链路疏通 汇接节点间流量汇接节点间流量 优选通过汇聚节点间链路疏通优选通过汇聚节点间链路疏通 次选通过核心节点间链路疏通次选通过核心节点间链路疏通 接入节点间流量接入节点间流量 优选通过接入节点间链路疏通优选通过接入节点间链路疏通 次选通过汇聚节点间链路疏通次选通过汇聚节点间链路疏通 再选通过核心节点间链路疏通再选通过核心节点间链路疏通第第3232页页IGP Metric规划方式一般包括两种：规划方式一般包括两种：链路链路参考参考带宽链路角色带宽链路角色 即选择带宽最大的路径疏通流量，该方式比较适合对带宽敏感的业务，如即选择带宽最大的路径疏通流量，该方式比较适合对带宽敏感的业务，如互联网业务。互联网业务。传输距离链路角色传输距离链路角色 即选择传输距离最短路径疏通流量，该方式比较适合时延敏感的业务，如即选择传输距离最短路径疏通流量，该方式比较适合时延敏感的业务，如语音业务。语音业务。CMnet骨干网采用模式骨干网采用模式2“传输距离链路角色传输距离链路角色”规划规划IGP Metric。即两点间流量优选传输距离最短的路径。即两点间流量优选传输距离最短的路径。第第3333页页MetricMetric规划规划Metric=Metric=链路角色链路角色+传输距离传输距离类型参考值核心、汇聚路由器CR间链路300传输距离1.出口路由器至核心路由器CR间链路2.一般骨干至核心汇聚CR间链路3.业务交换机至核心汇聚CR间链路4.VPN PE至核心汇聚CR间链路5000传输距离域名管控至国际出口国际出口至POP点300传输距离同省一般骨干路由器BR间300传输距离同大区核心汇聚CR间链路300+1,nRR到核心汇聚CR间链路 20000同城RR间链路 20000VPN PE路由器至一般骨干路由器间链路300传输距离同城VPN PE路由器间链路200+1,n第第3434页页 省网与骨干网间运行省网与骨干网间运行EBGP协议协议 骨干骨干网在北京、上海、广州、武汉、西安设置网在北京、上海、广州、武汉、西安设置5对对10台台IP路由反射器路由反射器 10台台RR是是full mesh的的BGP关系，骨干网节点根据归属关系作为关系，骨干网节点根据归属关系作为RR的客户端的客户端 国国际出口、国内出口及际出口、国内出口及NAP点路由器是北上广的点路由器是北上广的RR的的Client POP点、国内互联运营商及点、国内互联运营商及NAP点互联与骨干网出口建立点互联与骨干网出口建立EBGP关系关系第第3535页页VRR设置设置：北京、广州北京、广州分别设置两台分别设置两台VRR、全网、全网共设置共设置4台台VRR；4台台VRR之间构成之间构成Full Mesh MP-iBGP连接；连接；北京、广东所辖地市的北京、广东所辖地市的PE路由器和本路由器和本省所在核心节点两台省所在核心节点两台VRR建立建立BGP关关系；系；其它省的所辖地址的其它省的所辖地址的PE路由器，根路由器，根据据规划与相应规划与相应的的VRR建立建立BGP关系。关系。第第3636页页LDPLDP协议规划协议规划全网所有骨干、核心、一般骨干间运行全网所有骨干、核心、一般骨干间运行LDPLDP协议协议仅针对仅针对PEPE的的loopbackloopback地址分配标签地址分配标签LDPLDP邻居间运行邻居间运行MD5MD5认证认证端口启用端口启用IGPIGP、LDPLDP同步同步第第3737页页至其他运营商：至其他运营商：CMNETCMNET骨干网通骨干网通告给出口路由器告给出口路由器的路由包括的路由包括CMNETCMNET省网路由省网路由及及CMNETCMNET汇聚路汇聚路由；由；出口路由器向对出口路由器向对端运营商及端运营商及POPPOP点通告路由时需点通告路由时需要过滤掉私有要过滤掉私有ASAS号；号；第第3838页页至省网：至省网：骨干骨干网向省网发送网向省网发送CMNETCMNET网内网内路由，缺省路由；路由，缺省路由；根根据情况发送国内路由及国据情况发送国内路由及国际际InternetInternet路由；路由；接受省网汇聚及细化路由，接受省网汇聚及细化路由，掩码长度不大于掩码长度不大于2424位位；骨干骨干网对接收的省网路由设网对接收的省网路由设置相应的置相应的CommunityCommunity第第3939页页国内出国内出口策略：口策略：通过通过MEDMED值控制其他运营商进入值控制其他运营商进入CMNETCMNET的流量的流量；本大区的流量优先从本大区的国内出口流回本大区的流量优先从本大区的国内出口流回CMNETCMNET；例例如北京大区的国内出口通告路由时将携带北京大区如北京大区的国内出口通告路由时将携带北京大区CommunityCommunity的路由的的路由的MEDMED宣告为宣告为100100，上海、，上海、广州大区的路由广州大区的路由MEDMED宣告为宣告为300300，则访问北京大区的流量优先从北京国内出口流回，则访问北京大区的流量优先从北京国内出口流回CMNETCMNET；由于其他运营商发给由于其他运营商发给CMNETCMNET的路由在各个出口是有差异的，故的路由在各个出口是有差异的，故出网流量由对端运营商控制出网流量由对端运营商控制。排排除故障或调整流量时可以通过通告较低的除故障或调整流量时可以通过通告较低的MEDMED控制某个省的流量从指定的出口流入控制某个省的流量从指定的出口流入CMNETCMNET。第第4040页页国际出口策略：国际出口策略：通过附加通过附加MEDMED的方式控制国际运营商进入的方式控制国际运营商进入CMNETCMNET的流量的流量；本大区的流量优先从本大区的国际出口流回本大区的流量优先从本大区的国际出口流回CMNETCMNET；与国内互联策略类似，与国内互联策略类似，北京大区的国内出口通告路由时将携带北京大区北京大区的国内出口通告路由时将携带北京大区CommunityCommunity的路由的的路由的MEDMED宣宣告为告为100100，上海、广州大区的路由，上海、广州大区的路由MEDMED宣告为宣告为300300，则访问北京大区的流量优先从北京国内出口流，则访问北京大区的流量优先从北京国内出口流回回CMNETCMNET；由于由于CMNETCMNET国际网是由国际公司运营的有独立自制系统号的网络，故通过协商，国际公司在国际网是由国际公司运营的有独立自制系统号的网络，故通过协商，国际公司在POPPOP点点接收对端运营商路由时根据接收对端运营商路由时根据AS PathAS Path等属性，对接收的路由标记相应的本地优先级。等属性，对接收的路由标记相应的本地优先级。由由于于CMNETCMNET和和CMICMI间运行的是间运行的是EBGPEBGP协议，协议，本地优先本地优先级属性不会传递给级属性不会传递给EBGPEBGP邻居，邻居，故故POPPOP点在向点在向CMNETCMNET发送路由时应根据路由的本地优先级值打上相应的发送路由时应根据路由的本地优先级值打上相应的CommunityCommunity，CMNETCMNET国际出口接收路由后，根据国际出口接收路由后，根据CommunityCommunity还原本地优先级，以便出网国际业务可以选择最优路径。还原本地优先级，以便出网国际业务可以选择最优路径。第第4141页页骨干网络架构与路由策略1.网络演进2.网络现状3.路由组织4.网络演进骨干网络架构与路由策略骨干网络架构与路由策略第第4242页页我省我省CMNET省网与城域网、省网与城域网、IDC、第三方、省网核心交换机路由协议采用、第三方、省网核心交换机路由协议采用OSPF，cost值均为值均为1000。第第4343页页我省我省CMNET城域网节点通过城域网节点通过OSPF发布业务路由，并接收省网核心节点通过发布业务路由，并接收省网核心节点通过OSPF下发的缺省路由。下发的缺省路由。第第4444页页第第4545页页CMNETCMNET网络演进总原则：贴近内容分布规划网络演进总原则：贴近内容分布规划聚焦于互联网内容，规划中国移动的聚焦于互联网内容，规划中国移动的CMNET网络架构网络架构以内容为核心以内容为核心（IDC/出口互联出口互联/CDN），驱动），驱动IP网络架构的扁平化调整网络架构的扁平化调整先期以带宽弥补内容缺乏短板，逐步积累内容传送技术，最终形成先期以带宽弥补内容缺乏短板，逐步积累内容传送技术，最终形成光光+IP+CDN协协同的内容传输平台，支撑超宽带业务发展同的内容传输平台，支撑超宽带业务发展在网络确定的前提下在网络确定的前提下，高密度内容，尤其是视频内容努力下沉到省网甚至城域网高密度内容，尤其是视频内容努力下沉到省网甚至城域网，提，提升视频感知的同时，节省网络传输投资。低密度内容确保全网共享。升视频感知的同时，节省网络传输投资。低密度内容确保全网共享。核心核心核心核心西安西安北京北京杭州杭州广东广东武汉武汉天津天津成都成都重庆重庆安徽安徽福建福建广西广西湖南湖南江西江西云南云南南京南京。省网省网1省网省网2出网内容为主，内容集中在北上广出口和互联路由器上核心核心核心核心西安西安北京北京杭州杭州广东广东武汉武汉天津天津成都成都重庆重庆安徽安徽福建福建广西广西湖南湖南江西江西云南云南南京南京。城域网城域网1省网省网2以内容为核心扁平化;省网分裂为大城域网;大内容城域网上联核心平面城域网城域网2核心核心核心核心西安西安北京北京杭州杭州广东广东武汉武汉天津天津成都成都重庆重庆安徽安徽福建福建广西广西湖南湖南江西江西云南云南南京南京。城域网城域网1省网省网2为高清视频和大带宽应用建设CDN城域网城域网2互联出口互联出口大型大型IDCIDCCPCP互联互联互联出口互联出口大型大型IDCIDCCPCP互联互联扁平化扁平化简单化简单化拓扑稳定拓扑稳定易于扩展易于扩展高转发效率高转发效率高清视频高清视频内容本地化内容本地化第第4646页页网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中-迂回和绕转造成端口和带宽浪费 随着业务的增长，由于汇聚节点未设置互联出口，流量过于集中于现有三个骨干核心节点，汇聚节点未充分发挥效率。问题后果：导致核心节点的升级调整和故障影响大。功能大区承载流量占比核心节点北京17523%上海22130%广州16021%汇聚节点成都203%沈阳111%南京659%武汉415%西安142%武汉 415%合计748100%核心、汇聚节点承担的流量n 网内74.3%骨干网流量需要通过核心节点承载，核心和汇聚节点之间流量疏通不均衡。n 根本原因是因为互联互通的节点只设置在北上广，且CMNET对外网互访依赖较为严重。（中国电信：10%以内，中国移动50%）数据来源：数据网管第第4747页页北京1西安1太原132G/40G太原24.2G/40G电信14.5G其他省西北大区省份40G10GCMNET骨干网7.5G4G3G现状北京1西安1太原118G/40G太原218G/40G电信联通7G其他省西北大区省份5GCMNET4.5G2G3G电信联通铁通西安升级为核心后7G5G2G20G铁通联通铁通网络结构现状：西安无国内出口，山西省36.2G的流量90%通过北京疏通。为保障安全，西安1到北京1之间需预留40G备份带宽资源。目标方案：西安增加国内出口20G后，西安1到北京1之间只需预留20G备份带宽。n 解决方案：将西安等5个汇聚节点和浙江节点逐步按需增加网间出口n 方案效果：如果在西安增加疏通20G国内出口，就可节省北京到西安之间的传输链路2条10G，4个10G端口，同时也能提升北京到太原之间的质量。n网间互联出口并非越多越好，要有适当的度，每增加一个互联出口：n1、跨运营商业务的路径增加，排障时间成倍增加。n2、多出口流量调控的难度增加，利用率和平衡效果变差。同一个出口的链路负荷分担的效果非常好，不同出口之间负荷分担需依靠维护员手工不断尝试调整，由于40万条路由的复杂性，过多核心将导致同样的质量保障情况下，互联出口平均利用效率下降。n3、IP技术采用统计复用原理，适当汇聚后的抗突发能力、冗余备份能力更强。网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中-迂回和绕转造成端口和带宽浪费第第4848页页核心节点逐步增至9个将汇聚节点增加网间出口，升级为核心节点，同样也推动了骨干核心和汇聚节点扁平化，使得CMNET骨干从三层变为两层，减少了网内访问跳数3个核心5个汇聚节点23个接入节点北京、上海、广州武汉、沈阳、西安、南京、成都核心节点具备疏通网间流量的能力汇聚节点会转发接入节点的流量仅疏通本省流量现状核心扁平化演进前：核心、汇聚、接入节点9个核心节点23个接入节点北京、上海、广州、武汉、沈阳、西安、南京、成都、杭州核心节点具备疏通网间流量的能力仅疏通本省流量演进后：核心、接入节点n 方案效果：每个核心节点承担的流量将降低到10%以内，有效减少网络升级和故障发生时的业务影响。n备注：定义核心节点的两个要素n1、有汇聚转发周边省份流量的需求。(核心节点自身处于传输网汇聚点，且周边省份流量相对较小，有经过自身中转提升效率的需求）。n2、由负责疏通网间流量的需求。目标第第4949页页网络结构问题问题2：部分大流量省际节点之间未设直达-当前结构造成大流量经过核心中转，效率低调整直连的本质：随着网内流量增大，接口技术未升级，使得部分大流量省之间经过核心转发不再合理，需要根据流量增长和端口技术不断优化直连链路。n 解决方案：增加大流量省份之间的跨省直连链路。本质是骨干网层面扁平化，“该直连，就直连”。网络结构现状：南昌-南京流量需中转，在2012年中转流量超过16G后，上海需要为南昌多设置4个10G端口。目标方案：增加南京-南昌直连链路，能够节省4个10G端口，在保障冗余能力的情况下，提高了中转效率。南京-南昌流量疏通情况上海1武汉1南昌1南昌2CMNET16G/20G20G南京1上海1武汉1南昌1南昌2CMNET南京116G/30G16G/20G30G30G30Gn 方案效果：增加跨省直连后，能够节省端口，提高中转效率。n大流量时设置直连：省端口、增加了骨干路由，减少了冗余程度。n小流量时设置直连：费端口、增路由。大流量和小流量的标准随技术在不断变化，结构也要随之变化，通常设计一个超过3年的网络结构是没有意义的。n增加直连要保证一定程度的冗余：要保证直连中断时，所归属的核心节点能够作一定的备份。适度增加直连的原因：适度增加直连的原因：第第5050页页网络结构问题3：出省流量大的城域网未直连骨干网-造成经过省网核心中转效率低n 解决方案：增加出省流量大的城域网双跨省网和骨干的力度。本质是大流量的城域网扁平化，“该双跨，就双跨”。n 方案效果：出省流量大的城域网双跨，能够节省端口，提高中转效率。网络结构现状：太原城域网出省流量超过20G后，山西省网核心需要为之多设置8个10G端口。目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。CMNET骨干网骨干网太原城域网太原城域网 其他城域网其他城域网B B山西省网核心山西省网核心CMNETCMNET省网省网15G/20G15G/20G CMNET骨干网骨干网太原城域网太原城域网 其他城域网其他城域网B B山西省网核心山西省网核心CMNETCMNET省网省网15G/20G15G/20G第第5151页页n 解决方案：增加出省流量大的IDC双跨省网和骨干的力度。本质是大流量的IDC扁平化，“该双跨，就双跨”。n 方案效果：出省流量大的IDC双跨，能够节省端口，提高中转效率。网络结构现状：北京IDC出省流量超过20G后，北京省网核心需要为之多设置8个10G端口。目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。CMNET骨干骨干网网北京北京IDCIDC其他接入节点其他接入节点北京省网核心北京省网核心CMNETCMNET省网省网15G/20G15G/20G CMNET骨干网骨干网北京北京IDCIDC其他接入节点其他接入节点北京省网核心北京省网核心CMNETCMNET省网省网15G/20G15G/20G网络结构问题4：出省流量大IDC未直连骨干网-造成经过省网核心中转效率低第第5252页页天津省网南京C1天津A1北京C1北京C2南京C2天津A2武汉C1上海C1上海C2北京E1三角型口字型2to2：A、Z节点分别设置2台设备三角形：A端1台设备连接Z端2台设备口字型：A端2台设备连接Z端2台设备江西省网南昌A1南昌A2三角型口字型CMnet省网其它运营商国内、国际运营商国内、国际运营商南京E1武汉E1上海E1天津P1天津P2南昌P1南昌P2骨干网组网结构分析-三角形 OR 口字型武汉C2第第5353页页-53-网络结构演进：三角形vs口字型对比分析对比项目三角型口字型1网内流量疏通基于IGP选路，较均衡基于IGP选路，较均衡1网间流量疏通初期和后期，调控简单初期，调控较复杂；后期调控简单3链路数相同相同4端口占用相同相同5连接维度相同相同6网络可靠性相当相当网络发展初期，出口设置在北上广，较为集中，三角型较口字型疏通效果略好，适用于较小规模网络。随着网络扁平化，出口设置在更多核心节点，口字型、三角型疏通效果相当，而口字型更利于网络演进。第第5454页页CMNET演进原则总结互联网组网结构是动态，伴随流量和端口技术等需要针对性优化。针对CMNET演进优化建议如下：1.增加骨干核心节点的数量：将南京、武汉、成都、沈阳、西安5个汇聚节点和杭州节点升级为核心节点，推动扁平化，提高疏通效率。2.增加骨干网网间出口：在出网流量大于30G的汇聚节点增加网间出口，节省核心节点间的传输链路和端口资源。出口地点：南京、武汉、成都、沈阳、西安、杭州。3.大流量省份骨干节点之间增设直连：业务量大于14G的可设直连（阀值随技术变化，如40G应用后，阀值可相应提升；14G=10*2*70%）。省间直连仅疏通两省直达流量。同时考虑适度增加直连的原则，所在省的归属核心要能够实现业务备份（建议备份比例超过50%）。4.大流量城域网节点增设和骨干网的直连，同时连接骨干网和省网：大流量的城域和IDC节点（例如下期规划的南京、深圳），可以双连省网和骨干。5.大流量IDC节点双跨骨干网和省网：IDC节点双跨骨干和省网，即省外流量直接骨干转发，省内流量由省网核心转发。6.推进三角型组网向口字型组网转变，增强后期网络结构优化扩展性。满足业务发展需求。第第5555页页目录目录骨干网络架构与路由策略Web cache、DNS、流控系统介绍省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法第第5656页页Web cache、DNS、流控系统介绍1.Web cache2.DNS3.流控系统骨干网络架构与路由策略骨干网络架构与路由策略第第5757页页InternetIP承载承载网络网络WebCacheP2PCache特点：一次外网访问，多次内网服务核心思想：以存储换时间、以存储换带宽流量拥塞点:省网出口互联出口通过截获DNS请求实现解决HTTP流量问题通过破解P2P协议或与SP深度合作实现解决P2P流量问题小带宽大带宽WEBCacheP2PCacheDPI截获DNS请求P2P协议破解存储内容HTTP页面大文件返回内容WEBCache存储器IP地址P2P文件存储器地址及用户地址列表第第5858页页Web cacheCache系统全国部署情况：集团集团CacheCache节点：北京、上海、广州节点：北京、上海、广州省级省级WebCa