中国移动IP专用承载网技术建议书v4

知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝附件三：附件三：中国移动中国移动 IPIP 专用承载网专用承载网技术建议书技术建议书 华为技术有限公司2008.6目录目录 知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝1建议方案总体描述建议方案总体描述.41.1网络业务定位 .41.2网络建设目标及原则 .41.3网络拓扑结构 .51.4网络节点结构 .71.5设备配置 .92网络系统配置及解决方案网络系统配置及解决方案.112.1网络业务组织方案 .112.2系统接入解决方案 .172.2.1软交换局域网接入.172.2.2软交换业务接入可靠性设计.202.2.3VPN业务接入.222.2.4业务接入QoS.232.3网络互联要求及路由组织 .232.3.1IP路由方案.242.3.2VPN路由方案.252.4IP 地址规划.262.5负载均衡和流量管理解决方案 .312.5.1网络平面负载分担.312.5.2链路负载分担.322.5.3流量管理.322.6MPLS 部署方案.332.7MPLS VPN 部署方案.352.7.1华为MPLS VPN方案介绍.352.7.2本期工程MPLS VPN方案建议.402.8高可靠性及 IP QOS 解决方案.412.8.1QoS标准选择.412.8.2设备QoS实现机制.442.8.3本期工程QoS实施方法.542.8.4QOS的配置和管理.562.8.5IP快速重路由.573网管系统建设方案网管系统建设方案.583.1IMANAGER N2000 DMS 网管系统 .583.1.1拓扑管理.60知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝3.1.2故障管理.613.1.3性能管理.613.1.4安全管理.623.1.5集群管理.633.1.6配置管理.643.1.7北向接口.643.1.8资源管理.643.1.9系统容量.653.1.10Web访问.653.2NSC&NDA 网络流采集分析工具.663.3MPLS VPN 的业务管理.683.3.1客户管理.693.3.2业务处理.703.3.3业务保证.703.3.4CNM特性.713.3.5二层、三层VPN管理.723.3.6全网资源管理.723.3.7系统容量.723.4本期工程建设内容 .723.4.1网管服务器.723.4.2带内/带外网管组织方式.743.4.3网管流量估算.754网络、用户及应用系统安全解决方案网络、用户及应用系统安全解决方案.764.1概述 .764.2网络安全策略 .774.3网络各层安全性考虑 .784.4一般性网络安全措施 .794.5IP 专网安全策略.79知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝1 建议方案总体描述建议方案总体描述根据“中国移动 IP 专用承载网一期工程工程规范书”的要求，IP 专网的总体方案建议如下：1.1 网络业务定位IP 专网是中国移动下一代能够同时支持语音、视频、数据、企业互联等多种业务的核心承载平台。IP 专网以创建中国移动的品牌形象，形成可赢利的运营模式，提升中国移动的企业竞争力和赢利能力为主要目的。当前 IP 专网主要作为中国移动 GSM 省间长途话路中继，随后可作为中国移动 3G/NGN 的中继电路，同时为高端集团用户提供 MPLS VPN 业务。 。1.2 网络建设目标及原则考虑到 IP 专网国家骨干网的地位及承载业务的重要性，为确保其所承载软交换类业务及大客户 VPN 业务安全可靠地运行，华为建议本期工程的 IP 专网应具备如下特点：具备强大的处理能力、业务能力及平滑演进能力：具备强大的处理能力、业务能力及平滑演进能力：IP 专网必须具备承载高 QoS 业务所需的性能、各种特性及业务能力（如MPLS VPN、QoS、安全特性、ACL 等） ，同时应具备强大的业务演进及扩展能力，对于新特性、新业务的提供（如 IPv6） ，可通过软件升级的方式提供，最大限度地保护现网投资，满足可持续发展的要求。严格保证增值类业务（严格保证增值类业务（VPN、VoIP及视讯等）的及视讯等）的QoS：IP 专网端到端单向时延小于 50ms、端到端时延抖动小于 10ms、丢包率为小于 1%，能够为所承载的各类电信业务（包括媒体流及信令流等）按需提供QoS 保证（EF、AF） 。严格保证数据平面的安全性：严格保证数据平面的安全性：保证业务在 IP 专网中传送时的可靠性、完整性和保密性。严格达到严格达到PSTN网网99.999%的可靠性要求：的可靠性要求：承载层设备本身必须达到 99.999%可靠性要求。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝可运营、可管理：可运营、可管理：IP 专网必须具有完善的故障定位、故障排查等功能，为网络日常维护管理、网络优化提供依据；同时应提供 VPN 策略部署工具，简化管理、降低维护成本。为达到上述目标要求，在网络设计构建中，应始终坚持以下建网原则：高可靠性高可靠性网络系统的稳定可靠是应用系统正常运行的关键保证，在网络设计中应选用已规模商用的高可靠性网络产品，合理设计网络架构，制订可靠的网络备份策略，保证网络具有故障自愈的能力，最大限度地支持系统的正常运行。标准开放性标准开放性支持国际上通用标准的网络协议(如 TCP/IP)、国际标准的大型的动态路由协议(如 BGP、ISIS)等开放协议，有利于以保证与其它网络之间的平滑连接互通，以及将来网络的扩展。QoS对于所承载的每种业务，要能够按需提供 QoS；对于 VoIP 等实时业务，要能够提供类似于传统 PSTN 网络的服务质量，这样才能作为电信级业务的 IP骨干网络。安全性安全性通过设备机制及组网方案提高网络整体的安全性，对于所承载的电信级业务，要能提供类似于传统专线一样的安全性。灵活性及可扩展性灵活性及可扩展性根据未来业务的增长和变化，网络可以平滑地扩充和升级，最大程度的减少对网络架构和现有设备的调整。可管理性可管理性对网络实行集中监测、分权管理。选用先进的网络管理平台，具有对设备、端口等的管理、流量统计分析，及可提供故障自动报警。1.3 网络拓扑结构建议中国移动 IP 专用承载网采用两层的拓扑结构。其中:知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝在北京、上海、广州、武汉、南京、沈阳、西安、成都 8 个节点设置汇接节点，配置 2 台汇接路由器（CR） ，构成网络的汇接层；在所有省会节点设置接入节点，每个接入节点分别配置 1 台接入路由器（AR） ，构成网络的接入层；其中，8 个汇接接点所在的地区也设置接入接点，由于软交换机系统分局址部署，配置 2 台接入路由器。在汇接节点之间按双平面组织，两个转发平面分别设置全网状中继链路，所有接入节点均通过 2 条中继链路就近上联到本大区汇接节点的 2 台汇接路由器；每个转发平面均按可以承担全部业务量设计，以保证业务的可靠性和服务质量。上述网络层次及逻辑结构如下图所示。图 1 网络层次及逻辑结构示意图SH1XA1XA2BJ1BJ2WH1SY2NJ1NJ2SH2GZ2GZ1CD1CD2WH2A转发平面转发平面B转发平面转发平面CR1AR知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝在上述网络层次及逻辑结构下，其 IP 承载网络拓扑结构如下图所示。广州上海西安武汉天津石家庄郑州呼和浩特太原哈尔滨长春杭州南京2福州广州1上海2济南合肥南昌成都海口长沙重庆兰州乌鲁木齐银川西宁南宁昆明拉萨北京沈阳2北京2南京武汉1成都2西安2沈阳北京1沈阳1上海1南京1武汉2广州2成都1西安1全国网管中心图 2 网络拓扑结构示意图1.4 网络节点结构中国移动 IP 专用承载网汇接节点设置在北京、上海、广州、沈阳、南京、武汉、成都和西安 8 个城市，实现本省及所属各省业务的汇聚、转接功能。汇接节点由 2 台通过 GE 链路互联的汇接路由器设备(CR)构成；2 台汇接路由器分别被置于汇接层网络的两个转发平面中，通过全网状中继链路实现与同平面其它汇接节点的汇接路由器互联，并通过星型组网实现与所属接入节点路由器的互联。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝汇接节点结构如下图所示。SH2WH2A转发平面转发平面B转发平面转发平面SH1XA1XA2BJ1BJ2WH1SY2NJ1NJ2GZ2GZ1CD1CD2接入节点接入节点接入节点接入节点汇接节点汇接节点图 3 汇接节点结构中国移动 IP 专用承载网接入节点设置在各省会、直辖市共 31 个城市。根据“软交换汇接网”一对软交换机系统分局址部署的要求，在北京、上海、广州、武汉、南京、沈阳、西安、成都 8 个城市需设置 2 个接入节点，同时考虑到全国网管中心系统的接入需求，全网共设置 40 个接入节点。接入节点负责实现本省“软交换汇接网”及“高端集团用户增值应用” （MPLS VPN）业务的接入功能。接入节点由 1 台接入路由器设备(AR)构成，通过多条 POS STM-1、POS STM-16 或 GE 中继链路分别接入到所属汇接节点的 2 台汇接路由器，进而实现对两个转发平面的接入。各节点接入路由器根据业务流量预测通过 GE 和 FE 接口实现软交换系统的接入，并通过 E1 接口实现本地高端集团用户增值应用（MPLS VPN）业务的接入。接入节点结构如下图所示。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝A转发平面转发平面B转发平面转发平面接入节点接入节点TMG大客户大客户SoftSwitchSH1XA1XA2BJ1BJ2WH1SY2NJ1NJ2GZ2GZ1CD1CD2图 4 接入节点结构全国网管中心配置一台 NE08，作为接入路由器，连接 iManager N2000 DMS、VPN Manager 等网管设备。1.5 设备配置针对本期 IP 专网的技术要求、网络位置和容量、业务发展以及华为公司数通产品特点，建议采用华为 NE80/40 核心路由器。其中，汇接设备均采用NE80，接入设备均采用 NE40-8。在全国网管中心配置一台 NE08 高端路由器、一台 S3526E 交换机、一套 N2000 DMS 标准组件网管服务器、一套 NSC&NDA 网管服务器和一套 VPN Manager 网管服务器。NE80/40 采用第五代路由器的体系结构，具有良好的扩展性，充分继承了第四代全分布式硬件处理的架构，有机地结合了软件的灵活性和硬件的高性能，即提供线速转发性能，又具备快速良好的业务升级和扩展能力。基于 NP 的第五代路由器架构优于基于 ASIC（或者 FPGA）的第四代路由器，具有良好的扩展能力：一方面，在功能的开发周期上，第五代基于 NP 架构的路由器要大大短于第四代基于 ASIC 的路由器，一般的硬件 ASIC 固定开发周期（18 个月24 个月） ，而采用 NP 架构可以在非常短的时间内提供新功能，例如 NE80 的 NAT 业务板既知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝是基于 NP 在短短 1 个月内实现，NE80 的 GRE 功能在一周内实现，NE80 的 MPLS VPN 中多角色特性也是在 1 周内提供。这个特性不仅为设备制造商提供了快速提高产品功能的可能，更重要的使运营商可以迅速提供丰富的各种业务，在激烈的市场环境下，提高核心竞争力。另外一方面，一个基于 ASIC 实现的路由器，每提供一个重要功能就需要增加一种新的硬件单板，而以前的硬件板件投资根本无法得到保护， 而基于 NP实现的路由器，只需要更新软件即可提供重要的业务功能，最终用户无须更换硬件板卡，从而使用户投资得到了最大的保护。因此第五代路由器加速 IP 网络向宽带化、安全化、业务化、智能化方向发展，是路由器发展的主流方向。设备配置情况如下，详细情况见合同附件一。NE80NE40NE08E3526E网管系统网管系统(DMS+NSC&NDA+VPN Manager)备板备件备板备件(套套)网管中心113(5 服务器)1北京22天津1石家庄1太原1呼和浩特1沈阳22长春1哈尔滨1上海22南昌1杭州1福州1南京22合肥1济南1武汉22长沙1郑州1广州22知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝南宁1海口1成都22重庆1贵阳1昆明1拉萨1西安22兰州1西宁1银川1乌鲁木齐1合计合计161639391 11 11 11 1表1 设备配置概要情况2 网络系统配置及解决方案网络系统配置及解决方案2.1 网络业务组织方案基于第一章所描述的网络拓扑结构的设计，同时考虑到其近期业务发展需求，中国移动 IP 专用承载网在网络业务组织方案上存在以下两种模式可供选择：对称的业务组织模式（模式对称的业务组织模式（模式 1）汇接层网络两个平面均面向同时承载“软交换汇接网”和“高端集团用户网络应用”业务的需求设计，可以通过 IGP 等价路由在两平面之间实现基于Perflow 方式的负荷分担模式，也可通过 Metric 值的设置，采用 IGP 收敛和快速重路由技术实现主备转发模式。在全网实施 MPLS 转发技术，并通过接入路由器架构 MPLS VPN 组，构成“软交换汇接网” 、 “中国移动企业信息化” 、 “用户 A VPN” 、 “用户 B VPN”等多个“业务网络”和“用户网络” ，并提供基于 VPN 的监控和管理功能。两平面配置相同的 MPLS Diffserv 调度和丢弃策略。模式 1 网络业务组织方案如下图所示。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝图 5 对称的业务组织模式示意图非对称的业务组织模式（模式非对称的业务组织模式（模式 2）汇接层网络两个平面分别面向不同的业务承载需求设计，其中：平面 A 主要承担“软交换汇接网”业务，平面 B 主要承担“高端集团用户网络应用”业务，平面 B 同时具备对平面 A 进行备份的容量和能力。MPLS 技术以“Ship in Night”方式在网络中运行，网络同时支持传统的 IP 转发方式， “高端集团用户网络应用”业务通过 MPLS VPN 方式实现转发， “软交换汇接网”业务通过传统 IP 方式实现转发。通过 IGP Metric 的设计，MPLS VPN Tunnel LSP 全部架构在平面 B 上；通过在接入路由器上实施“弱策略路由”技术， “软交换汇接网”业务首选平面 A 作为其承载平面，当平面 A 出现故障时，通过“快速重路由”和 IGP 的收敛， “软交换汇接网”业务可以完成向平面 B 的倒换。对“企业信息化” 、 “用户 A VPN” 、 “用户 B VPN”等多个“用户网络”可以提供基于VPN 的监控和管理功能。由于平面 A 在一般情况下仅承载“软交换汇接网”业务，因而可以在两平面配置相同的 Diffserv 策略，也可以仅在平面 B 配置相应的 Diffserv 策略。模式 2 网络业务组织方案如下图所示。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝图 6 非对称业务组织模式示意图从技术角度分析，模式 1 与模式 2 完全可行。下面分别从几个方面进行比较：网络的转发性能和利用率；在对称模式中，两个平面负载分担，如果不考虑可靠性问题，每个平面可以按照全业务量的 50%来设计，但考虑到链路故障(尤其是接入路由器到汇接路由器的链路故障)后，单个平面可能需要承载全部业务量，每个平面均应该按照全业务量设计。在非对称模式下，两个平面互为主备，因此每个平面都以软交换类业务的全业务量来设计。考虑到故障保护，B 平面还需按照 VPN 业务量的 200%来增加设计容量。从上面的分析可知，两种模式对网络容量的要求是相同的，因此整网资源利用率相同。本次工程采用的设备均能在各种情况下线速转发，即使在非对称模式下，按照设计容量，VoIP 高峰流量可占 A 平面带宽的 80%，设备仍能线速转发并达到 VoIP 的 QoS 要求。因此整网的转发性能也是相同的。网络 QoS 保证；在对称模式中，两个平面均采用 MPLS DiffServ 的方式保证 QoS，为进知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝一步提高可靠性，需要实施 MPLS FRR 技术，进行链路和节点保护。在非对称模式中，A 平面无需采用特殊的 QoS 保护机制，为提高可靠性，采用 IP FRR 技术，由于其分布式实施的特点，可以同时进行链路和节点保护。B 平面采用 MPLS DiffServ + FRR 的方式保证 QoS。MPLS FRR 需要设备开通 RSVP-TE，并且每个 FRR LSP 均需要手工指定，并需要仔细设计，以免 FRR LSP 经过拥挤的、不可靠的链路和节点。配置维护工作量和设备开销较大。对比两个模式，在提供同样 QoS 保证的情况下，非对称方式的 A 平面 QoS 实现简单，配置维护工作量和设备开销较小，B 平面同对称方式相同，因此非对称方式优于对称方式。网络系统的安全性；软交换业务同 VPN 业务相比，前者对安全性要求更高，由于 IP 专网仅作为 TMG 之间的互联网络，因此软交换业务本身的安全性也更高。也就是说，IP 专网的主要不安全因素来自 VPN 业务。在对称模式中，两个平面均承载两种业务，因此无法避免 VPN 业务带来的不安全因素，如来自 VPN 内部的针对网络设备(尤其是接入设备)的 DoS攻击，或由于网络病毒造成的网络拥塞。而在非对称模式中，软交换业务的主用平面屏蔽了来自 VPN 业务的安全影响，仅仅在 A 平面故障时，业务切换到 B 平面，才可能在短时间内受到影响，而且概率很小。因此非对称模式大大提高了业务的安全性。网络的可管理性；对称模式下，两个平面的配置完全相同，可采用同样的脚本。但两类业务的任何一种进行调整，都要影响两个平面。非对称模式下，表面上看，两个平面采用不同的配置，但 B 平面中针对软交换业务的配置其实是 A 平面的镜像，而 VPN 业务的配置仅针对 B 平面。因此，维护管理的负担并没有增加。由于软交换业务相对稳定，而 VPN 业务由于不断发展用户，会频繁变动，从而可能产生一些配置错误，据统计，网络中 25%以上的故障是由于人为因素造成的。非对称模式可以避免这种情况对关键的软交换业务的影响。可见，非对称模式的可管理性强于对称模式。对网络的规划和扩展的影响等；知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝下面分别对网络流量、网络规模和网络业务类型扩展时的影响进行分析：网络流量扩展在网络发展的初期，由于大客户较少，流量较小。网络扩展的动力主要来在软交换话务量的增加，这时，无论采用哪种模式，都需要进行网络扩容。当网络发展到一定程度，大客户增加，流量增长，由于数据业务占用带宽远大于话音，而且增长迅速，网络扩展的动力主要来自 VPN 用户、站点和流量的增加，这时，采用非对称模式，仅需要对 B 平面进行扩容，A 平面保持相对稳定，并且，在扩容过程中，对关键的软交换业务没有影响。显然，非对称模式的可扩展性更好。网络规模扩展当网络规模扩展时，有两种方式：1 演进方式。在这种方式下，当某城市需要建设新的 TMG 局点或发展VPN 用户时，在当地分别配置 TMG 的 AR 设备或 VPN 的 UPE 设备。同时，相应的省 AR 设备升级为 2 级汇接设备。如下图所示：图 7 网络规模扩展方式1演进方式新的 AR 和 UPE 可单归接入到 2 级汇接设备，也可增加一台 2 级汇接设SH1GZ1XA1CD1WH1NJ1BJ2SH2GZ2XA2CD2WH2SY2NJ2BJ1SY1原网络原网络新新ARAR，NGNNGN接入接入UPEUPE，VPNVPN接入接入升级为2级汇接设备知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝备，实现新增 AR 和 UPE 的双归接入，以提高接入的可靠性。如上图中虚线所示。这种扩展方式，可根据业务的发展，逐步的向下延伸，从而实现边发展，边建设的良性循环，实现网络的平滑扩容。可以在网络大规模扩容前作为一种临时的手段。若采用对称模式，2 级汇接设备(原 AR)进行 Per-Flow 的负载分担，无需修改配置。若采用非对称模式，由于 VoIP 的接入和 VPN 接入设备分离，通过不同物理接口连接到 2 级汇接设备(原 AR)上，这台设备仍然配置策略路由，将 VoIP 接入端口的流量引导到 A 平面。策略路由实施的位置没有改变，策略简单可行，每增加一个 TMG 局点，新增加一条策略路由即可。2 扩大方式。这种方式，一次性将汇接网络扩大到省会城市，在大中城市建设新的 AR 节点。汇接网仍然保持双平面设计，AR 设备连接到两个平面。无论采用对称或非对称组织模式，业务分流的方法都与本期建设相同，不再赘述。图 8 网络规模扩展方式2扩大方式网络业务类型扩展当承载网络增加新的业务类型时，根据其 QoS、可靠性要求等特点，需要通过特定的网络平面承载。采用对称模式时，AR 无需作新的配置；采用非对汇接网汇接网新新ARARSH1GZ1XA1CD1WH1NJ1BJ2SH2GZ2XA2CD2WH2SY2NJ2BJ1SY1知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝称模式时，若新业务通过 A 平面承载，需要新增策略路由，简单易行，若通过 B 平面承载，不需要做特殊配置。可见，当网络流量扩展时，非对称模式优于对称模式。当网络规模扩展和网络业务类型扩展时，对称模式优于非对称模式，非对称模式需增加一些策略路由项，但仅限于一个节点，实施简单可行。综上所述，采用非对称模式，能够减少软交换业务与集团用户 VPN 业务之间的相互影响，提高管理效率及可靠性，保证核心业务的安全性，并简化了QoS 实现，因此，华为公司推荐采用这种模式进行网络规划和建设。以下“系统接入解决方案” 、 “网络互联要求及路由组织” 、 “IP 地址规划” 、“负载均衡和流量管理解决方案” 、 “MPLS 部署方案” 、 “MPLS VPN 部署方案” 、“高可靠性及 IP QoS 解决方案”等，均按照非对称模式进行描述。2.2 系统接入解决方案2.2.1 软交换局域网接入软交换业务需要接入 TMG(UMG8900)、SoftSwitch(MSOFTX3000)和网管服务器/终端等设备。一般来说，TMG 的媒体流通过 GE 直接连接到接入路由器上，根据话务量，可能需要多个 GE 捆绑。TMG 的主备 GE 口倒换通过 TMG 和路由器的配合实现。SoftSwtich 以及 TMG 的控制/信令流需要同接入路由器可靠连接，因此，采用了 2 个 FE 双归连接到 2 个交换机，互为主备，然后分别连接到接入路由器的方式。TMG、SoftSwitch 网管信息从其带外网管接口引出，通过专用的 S2016B 交换机及 R2631 路由器 E1 接口接入到接入路由器，通过 MPLS VPN 方式实现与全国网管中心系统的应用互联，通过“网管网”实现与全国网管中心的备份互联。根据配置数据，软交换局点局域网设备配置分为四类：(1) 非大区中心 TMG 局(2) 各大区中心 TMG/SoftSwitch 合一局知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝(3) 各大区中心 SoftSwitch 局(4)全国网管中心非大区中心非大区中心 TMG 局局非大区中心 TMG 局点天津、石家庄、太原、呼和浩特、长春、哈尔滨、杭州、福州、南昌、济南、合肥、郑州、长沙、南宁、海口、重庆、贵阳、昆明、拉萨、兰州、西宁、银川、乌鲁木齐的局域网网络组织结构见下图：图 9 非大区中心TMG局局域网各大区中心各大区中心 TMG/SoftSwitch 合一局合一局各大区中心 TMG/SoftSwitch 合一局北京 1、沈阳 1、上海 1、南京 1、武汉 1、广州 1、广州 2、成都 1、西安 1 的局域网网络组织结构见下图：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝图 10 各大区中心TMG/SoftSwitch合一局局域网各大区中心各大区中心 SoftSwitch 局局各大中心区 SoftSwitch 局北京 2、沈阳 2、上海 2、南京 2、武汉 2、成都 2、西安 2 的局域网网络组织结构见下图： 图 11 各大区中心SoftSwitch局局域网知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝全国网管中心全国网管中心全国网管中心局点的局域网网络组织结构见下图：图 12 全国软交换网管中心局域网2.2.2 软交换业务接入可靠性设计本期工程单本期工程单 AR 情况情况单 AR 情况下的局点 IP 配置方案如下图：NE08 E1 IPIP专专网网专专网网网网管管网网网网管管网网知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝UMG8900MSOFTX3000S3526E(1)S3526E(2)路由器VLAN1VLAN1VLAN Trunk(1)VLAN2 VLAN3UMG8900 语音数据流控制/信令流UMG8900/MSOFTX3000 控制/信令流NE40 网口 1 网口 2图 13 单AR接入方式可靠性设计如图所示，UMG8900 和 MSOFTX3000 的控制流和信令流按照主备接口的方式分别连接到两个 S3526E 上，S3526E 启动 3 层转发功能，同时在主备网口之间启动 VRRP，实现网口和设备备份，UMG8900 和 MSOFTX3000 的缺省网关指向 S3526E。需要在 S3526E 上启用 OSPF 动态路由协议，防止到AR 之间的链路故障。UMG8900 的媒体流通过多对 GE 接口连接到 NE40 路由器上，每一对接口有一个主用接口，一个备用接口。NE40 上的这两个 GE 接口配置在同一个VLAN 中。当 UMG8900 检测到其中一个接口故障时，切换到备用 GE 口，并发 ARP 报文给 NE40，NE40 获得到达 UMG8900 的新的 MAC 地址，完成切换。NE40 多个 GE 接口捆绑为一个 Trunk 接口，UMG8900 和 NE40 设备都开启 Per-Flow 的负载分担功能，将不同的媒体流导入不同的 GE 接口，从而实现负载分担，提高可靠性。知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝未来采用双未来采用双 AR 情况下的局点情况下的局点 IP 配置建议配置建议双 AR 情况下的局点 IP 配置方案如下图：UMG8900MSOFTX3000S3526E(1)S3526E(2)UMG8900 语音数据流控制/信令流UMG8900/MSOFTX3000 控制/信令流NE40(1)NE40(2)图 14 双AR接入方式可靠性设计如图所示，UMG8900 和 MSoftx3000 的控制流和信令流按照主备接口的方式分别连接到两个 S3526E 上，S3526E 上只启动二层功能，不用配置VLAN IP。两个 NE40 路由器之间启用 VRRP 实现到 S3526E 两个接口的备份和设备备份， UMG8900 和 MSoftx3000 将缺省网关指向 NE40 路由器。两个 NE40 之间启动 OSPF 动态路由协议，可以很方便地进行实现和 UMG8900之间的网口倒换。为便于 NE40 间运行 VRRP，应在 NE40 间增加直连的 GE接口。UGM8900 的媒体流通过多对 GE 接口连接到 NE40，其中每一对 GE 的主用口连接到 NE40(1)，备用接口连接到 NE40(2)，这两个 GE 接口间启动VRRP，保证可靠性。GE知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝2.2.3 VPN 业务接入IP 专网面向高端 VPN 客户，它们通过各种专线的方式接入到 PE 路由器(NE40)。如果用户所在地有接入路由器，建议采用 FE/GE 光纤的方式接入用户，若用户所在地远离接入路由器，初期可采用 E1/PoS 等方式接入用户，若当地用户较多，可考虑通过 HoPE(分层 PE)的方式，向下延伸，提供就近接入的手段。PE-CE 路由协议路由协议若用户站点路由简单，或变化频率很小，建议采用静态路由的方式。在 PE上，配置到用户站点的静态路由，在 CE 上，配置默认路由指向 PE。若用户站点路由复杂，并且变化频繁，可考虑采用动态路由的方式。建议优先选择 BGP 协议，以便于控制用户路由的发布。若用户不熟悉 BGP 协议或 CE不支持 BGP，可采用 RIP 协议。RIP 协议部署简单，设备开销小，在路由引入MP-BGP 时便于进行控制。在采用动态路由的情况下，要特别防止用户路由的震荡所造成的网络不稳定。方法是采用 BGP Damping 机制，对频繁变化的路由进行抑制，直到其稳定为止。另外要防止一个用户发布过多路由到 PE，从而消耗 PE 的资源。这通过配置 VRF 最大路由来实现。2.2.4 业务接入 QoS由于不同业务(VoIP 媒体流、信令流、VPN)均通过专用的物理接口连接到AR，QoS 优先级区分实现非常简单，在业务的入接口上设置相应的优先级即可。接入网上不需要实施特别的 QoS 策略。其中，VoIP 媒体流/信令流一个优先级，网管流一个优先级，VPN 流量一个优先级。对优先级的详细描述见 2.8 节。特别需要注意的是，一般情况下，大客户 VPN 接入端口总容量大于 AR-CR间的接口容量，为防止个别 VPN 突发流量大，而造成其它 VPN 服务质量下降，应对单个 VPN 站点的流量进行限制。原则是 VPN 接入端口容量同 AR-CR 接口中为 VPN 预留的总带宽基本相当。为了充分利用网络带宽，在进行流量监管时，知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝超过门限的流量不直接丢弃，而是降低为最低优先级，进行尽力而为的转发。2.3 网络互联要求及路由组织按照 2.1 节的设计，软交换业务采用 IP 承载，A、B 平面互为主备。VPN 业务采用 MPLS 承载，通过 B 平面承载。下面分别说明 IP 路由方案和 VPN 路由方案。其中，IP 路由方案用于 A、B 平面，而 VPN 路由方案仅用于 B 平面。2.3.1 IP 路由方案路由协议路由协议本期工程路由接点数目较少，而且 AR-CR 间采用了双归连接，为保证路由最佳并便于实施流量调度，采用单一路由域，不进行分层。IGP 协议采用 IS-IS。IS-IS 路由协议开销较 OSPF 小，便于支持更大规模的网络。并且 CMNet 已采用 IS-IS，便于维护管理经验的共享。由于 IP 专网没有同 Internet 的连接，不需要运行 BGP。为了保持软交换局点间的连通性，并及时响应软交换局点内的路由变化，需要将其路由引入骨干路由域。软交换局点内交换机和 AR 的接入接口上运行OSPF 协议。因此在 AR 上需要将 OSPF 路由引入 IS-IS。为增强路由协议的安全性，可以采用 IS-IS MD5 认证，它对设备的开销影响不大。本期工程建议开启这一特性。Metric 设计设计Metric 设计遵循如下原则：对于 A 平面，AR-CR 间故障时，利用平面间的备份；对于 A 平面，CR-CR 间故障时，利用平面间的备份，在 IGP 收敛过程中不影响本平面内的其它业务；对于 B 平面，CR-CR 间故障时，利用平面内的链路备份；AR-AR 间的最短路径走 B 平面，目的是让 LDP 建立的 LSP 承载 VPN 流量；知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝为引导软交换 IP 流量走 A 平面，AR 上需要实施策略路由。具体设计如下图所示：10010010008001000800250250250CR1与与CR2之间的链路之间的链路800AR与与CR2之间的链路之间的链路1000AR与与CR1之间的链路之间的链路100CR2之间的链路之间的链路100CR1之间的链路之间的链路参考值参考值Metric类型类型CR1XCR2XCR2YCR1YAR-XAR-Y图 15 IS-IS Metric设计以上 Metric 不是按照链路的实际带宽来设定，而是按照链路的角色来设定，为达到如下效果：CR1X-CR1Y 的流量，只会走 CR1X-CR1Y 的直连链路；在链路或节点出现故障的时候，流量在平面间疏导，不会对同平面其它业务造成影响。2.3.2 VPN 路由方案VPN 路由通过 PE-CE 路由协议传递到 AR，并通过 MP-IBGP 传播到其它AR。PE-CE 路由协议前文已有叙述。采用 MP-IBGP 要克服 N 平方连接，采用路由反射器技术。将 CR 作为路由反射器，其直接连接的 AR 作为客户端。如下图所示：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝FullMesh-IBGPFullMesh-IBGPCR2CR1ARAR8组组 Router Reflector ClusterRouter Reflector(备备)Router Reflector(主主)图 16 VPN路由设计这样，形成 8 个簇，每个簇内有两个路由反射器，互为主备，其中 CR2 作为主用。AR IBGP 双归连接到 CR1 和 CR2，提高可靠性。CR1 虽然在 A 平面内，并存储了 VPN 路由，但并不参与 MPLS VPN 的转发。目前暂不考虑同省网、城域网通过跨 AS 的方式进行 VPN 互通。若需要接入这些地区的 VPN 用户，IP 专网可以通过向下延伸的方式进行接入。对路由协议没有特殊的要求在今后同其它运营商进行互通时，可采用 Option B，即 EBGP 直连的方式。这种方式可以高效的传递 VPN 路由，并可以对 VPN 流量进行控制。2.4 IP 地址规划地址规划遵循如下原则：1、Loopback 地址（包括交换机的管理地址）Loopback 地址目前预计使用 133 个地址，考虑到预留，建议给 31 个省市各分配 32 个连续的地址做为 Loopback 地址（掩码 32 位） ，这样就需要：31*324 个 C 地址建议地址段为：172.16.0.0172.16.3.2552、设备互连地址设备互连地址包括：NE40 和 NE80 互连地址NE40 和 S3526E 之间互连地址大区之间 NE80 互连地址之和，目前预计使用互连地址：312468322241036 个地址，考虑到预留，建议给每个省分配 128 个连知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝续的互连地址（掩码 30 位） ，这样就需要：31*128=16 个 C 地址建议地址段为：172.16.4.0172.16.19.2553、业务网段地址业务网段地址主要包括：业务承载面地址数业务信令面地址数，考虑到QOS 部署，将这两种业务层面地址段划分开目前业务承载面预计使用地址数为 620 个地址，考虑到为以后扩容做预留，建议给每个省分配 64 个连续的 IP 地址（掩码 30 位） ，这样就需要 31*648个 C 地址建议地址段：10.0.0.010.0.7.255目前业务信令面预计使用地址数位 1248 个地址，考虑到为以后的扩容做预留，建议给每个省分配 128 个连续的 IP 地址，这样就需要 31*128=16 个 C 地址建议地址段为：10.0.16.010.0.31.2554、网管网段地址网管网段主要是网管设备的地址，目前预计使用地址数为 1248 个地址，考虑其变化相对较小，建议给每个省分配 64 个 IP 地址，这样就需要 31*648个 C 地址建议地址段：10.1.0.010.1.7.2555、PE-CE 端口网段大客户都为 VPN 用户，其具有独立性，不需考虑与其他 VPN 的地址重叠，但建议在地址段足够多的情况下为 PE-CE 间链路分配全网采用唯一地址，以便于在故障排查等情况下方便的访问 PE-CE 端口。建议地址段：10.254.0.010.254.255.255另外一种方式是 PE-CE 端口的网段从 VPN 自身的地址空间中分配，但这种方式下 PE-CE 端口地址没有规律，不便于管理，并可能受 VPN 自身地址规划调整的影响。各节点 IP 地址分配如下：序序号号地点地点Loopback地址数地址数互联地址数互联地址数(NE40 和和互联地址数互联地址数（NE40 和和业务业务承载承载业务信业务信令面地令面地维护维护IP 地地总需求总需求IP 地地知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝NE80 互联互联)S3526E 互联）互联）面地面地址数址数址数址数址数址数址数址数北京大区1北京84*43*4*25*432*232*21962天津32*43*45*432321073石家庄32*43*45*432321074太原32*43*45*432321075呼和浩特32*43*45*43232107沈阳大区6沈阳84*43*4*25*432*232*21967长春32*43*45*432321078哈尔滨32*43*45*43232107上海大区9上海84*43*4*25*432*232*219610杭州32*43*45*4323210711福州32*43*45*4323210712南昌32*43*45*43232107南京知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝大区13南京84*43*4*25*432*232*219614济南32*43*45*4323210715合肥32*43*45*43232107武汉大区16武汉84*43*4*25*432*232*219617郑州32*43*45*4323210718长沙32*43*45*43232107广州大区19广州84*43*4*25*432*232*219620南宁32*43*45*4323210721海口32*43*45*43232107成都大区22成都84*43*4*25*432*232*219623重庆32*43*45*4323210724拉萨32*43*45*4323210725昆明32*43*45*4323210726贵阳32*43*45*43232107西安知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝大区27西安84*43*4*25*432*232*219628兰州32*43*45*4323210729银川32*43*45*4323210730西宁32*43*45*4323210731乌鲁木齐32*43*45*4323210732总数13331246862012481248402933八大区两个平面的 NE80 之间所需 IP：8*4=3234八大区 NE80 互联所需 IP：(7+6+5+4+3+2+1)*2*4=224表2 各节点IP地址分配以北京为例：设备 Loopback 地址为两台 NE80、两台 NE40、四台 S3526E 每台设备分配一个，掩码为 32 位，共需 8 个地址。每台 NE40 上联到两台 NE80 设备，需要 2 对地址，则两台 NE40 和 NE80 互联需要地址 2*4*2,共需 16 个地址。每台 S3526E 和 NE40 之间的互联需要 1 对地址，S3526E 之间三层互联需要1 对 IP 地址，则 4 台 S3526E 连接到 NE40 及每个局点的两台 S3526E 互联共需IP 地址 3*4*2,共需 24 个地址。在长途软交换汇接网的应用中，当 TMG 的 TDM 侧支持最大中继配置时的承载数据面最大配置 5 对接口板，这 5 对接口板到 AR 共有 10 个 GE 口，每对接口板占用一个网段，业务承载面共需地址 5*4,共需 20 个地址根据 T 项目规划，每个局点的业务信令层面共需要 IP 地址数为 32 个，且知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝这些 IP 地址在同一网段，北京两个局点共需 32*2=64 个地址。北京每个局点包含两台维护终端、两台 S3526E、R2631E，设备维护地址需要 7 个，网管的 R2631E 的网口需要一对 IP，E1 中的主备维护通道各需要一对IP 地址，共需 16+3*428 个地址，规划 32 个 IP，两个局点共规划 32*2=64 个地址。另外：八个大区内两台 NE80 互联各需要一对 IP 地址，共需 8*1*4=32 个地址；八个大区之间 NE80 互联的 IP 地址数为（7654321）*2=224个地址。2.5 负载均衡和流量管理解决方案2.5.1 网络平面负载分担本期工程按照分平面进行基于业务的负载分担方案。因此，在 AR 路由器上进行分流，将软交换业务流量引导到 A 平面，将 VPN 业务流量引导到 B 平面。由于 LDP 建立的 LSP 遵循 IGP 的最短路径，AR-AR 间的最短路径必须经过 B 平面，设计上使得 AR-CR1 的 Metric 大于 AR-CR2 的 Metric。但为了引导软交换业务进入 A 平面，需要运用“弱策略路由技术” ，同普通的策略路由相同，它可以根据入接口将来自软交换局点的报文引导到 AR-CR1 链路上。不同的时，在这条链路故障时，策略路由失效，仍然采用 IGP 最短路由，从而将业务引导到 B平面。在汇接层，由于每一对 CR-CR 间均直连，正常情况下，进入某个平面的报文在这个平面内转发，不会进入另一个平面。当 A 平面的链路、节点故障时，应切入 B 平面，因此设计:CR1-CR2 的 Metric + CR2 内的 Metric + AR-CR2 的 Metric 2 * CR2 内的 Metric + AR-CR2 的 Metric。具体的设计如下：知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝Metric 类型类型参考值参考值CR1 之间100CR2 之间100CR1-CR2250AR-CR11000AR-CR2800表3 ISIS Metric设计2.5.2 链路负载分担为满足流量要求，并提高可靠性，在设备间大量采用了多链路捆绑，需要在它们之间进行负载分担。目前业界主要存在两种形式的负载分担技术：1）Per-PacketPer-Packet，轮转各输出接口发送报文，负载分担效果较好，但同一VoIP 会话的报文可能从不能的接口发出、路径不同，导致乱序。2）Per-FlowPer-Flow，按照一定的规则，如（源（源 IP+IP+目的目的 IPIP）/N/N，N 为负载分担链路个数，将业务流均分到各输出接口、负载分担效果较好，同时能确保同一VoIP 会话的报文从相同的接口发送，路径相同。 华为 NE80/40 核心路由器上述两种方式的负载分担技术，同时对 Per-Flow负载分担技术做了增强，提供了多种形式的负载分担规则、并可灵活组合，如（源（源 IP+IP+目的目的 IP+IP+协议协议 TYPE+TYPE+源源 PORT+PORT+目的目的 PORTPORT）/N/N、N 为负载分担链路个数，负载分担效果更好。2.5.3 流量管理华为公司的 iManager N2000 DMS 网管系统能够监控每个链路的流量、丢包等情况，并产生相应的告警，知会网管人员。网管人员可采取措施解决这一问题：基本的措施有四种：网络扩容，增加链路带宽。这是最根本的办法，但反应时间长。在此之前，可采用下面三种方式；知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝调整 Metric 值，增大繁忙链路的 Metric 值，使流量从其它链路迂回。优点是实施简单，缺点是需要仔细计算，防止引起新的拥塞；策略路由，通过策略路由的方法进行分流，使部分流量从其它链路迂回。优点是粒度可控制，缺点是维护工作量大；MPLS TE，建立迂回的 LSP，绕过繁忙链路。优点是计算和规划直观，缺点是需设备开启 RSVP-TE/IS-IS-TE，增加额外的负担。建议仅在大面积繁忙时采用。针对 IP 专网的几个典型的链路情况，可采用合适的方法：用户设备-AR 路由器包括软交换系统设备和 VPN CE，只能采用链路扩容的办法；AR-CR由于按业务分平面进行负载分担，去往同一业务平面仅有 1 个链路。为进行分流，对于 VoIP，通过策略路由的方法，将去往少数 TMG 的流量引导到B 平面转发，去往其它 TMG 的流量仍然通过 A 平面转发。对于 VPN，因 A 平面没有开启 MPLS，应进行链路扩容；CR-CRCR-CR 间实际上汇聚了多对 AR-AR 的流量，在解决拥塞时，只需要将部分AR-AR 的流量迂回到其它 CR 上即可。对于 VoIP，可将部分 AR-AR 的流量引导到 B 平面，除了上面所述的策略路由外，还可以完全将一些 AR 上的策略路由项去掉，使其按照 IGP 最短路径，通过 B 平面转发。对于 VPN 流量，可考虑采用 MPLS TE，将部分 AR-AR 间的流量迂回到其它CR 上。从而减轻 CR-CR 链路的拥塞。2.6 MPLS 部署方案在本期工程中，MPLS 仅在 B 平面部署。其中，AR 设备作为 LER，CR 设备作为 LSR。在 CR 设备的所有接口，AR-CR 接口上开启 MPLS。采用 LDP 作为标签分配协议。它工作在 DU(下游自主)标签分配+有序的标签分发+自由的标签保持方式下，可以减少设备维护的标签转发表数目，并可以快速响应路由的变化。由于承载 MPLS VPN 业务，VPN 报文在 AR 上压入两层标签栈，在 CR 上交换外层标知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝签，在倒数第二跳的 CR 上弹出外层标签，在出口 AR 上弹出内层标签。MPLS TE 利用了 LSP 支持显示路由的能力，在网络资源有限的前提下，将网络流量合理引导，达到实际网络流量负载与物理网络资源相匹配，是一种实施网络负载分担的技术。MPLS TE 通过对 IGP 协议（OSPF 或 IS-IS）进行扩展，使其能够收集网络流量信息（包括最大链路带宽、最大保留带宽、当前保留带宽和链路类别等）形成流量工程数据库（TED） ，每个 LER 根据自己的 TED、结合各类策略实施在线约束路由计算，得到显示路由（从它开始的 LSP 路径） ，最后显示路由（LSP）通过信令协议 CR-LDP 或 RSVP 扩展来部署，MPLS TE 的工作原理如下图所示。图 17 MPLS TE工作原理根据用户需求（显示路由、带宽等）及网络资源的情况，MPLS TE 能够自动通过 RSVP-TE 建立一条跨越骨干网的从 LER 到 LER 的隧道，同时可完成隧道的维护、统计、属性修改（如带宽）及备份等功能；LER 与 LER 设备之间，可以认为通过一个隧道直连；MPLS TE 隧道可广泛应用于 VPN、各类接入及互联业务中。 图 18 MPLS TE的应用知识水坝（豆丁网pologoogle）为您倾心整理（下载后双击删除）百度一下知识水坝从上面的介绍可知，MPLS TE 是实现流量管理，实现灵活的负载分担的有效技术，优点是计算和规划直观，不像调整 Metric 那样牵一发而动全身，造成新的拥塞。但缺点是需设备开启 R