二级网详细设计方案

目目 录录 1.前言前言.11.1.编写目的.11.2.背景.11.3.定义.11.4.参考资料.22.网络改造目标网络改造目标.33.需求分析需求分析.43.1.数据集中的需求.43.2.业务隔离需求.43.3.灵活的接入能力.43.4.可管理性要求.43.5.安全性要求.53.6.网络带宽需求.54.网络系统设计网络系统设计.64.1.二级骨干网结构设计.64.1.1.与一级骨干网的连接.74.1.2.与内部局域网的连接.74.1.3.与接入网的连接.94.2.通信线路的选择和规划.114.3.非 IP 网络协议的过渡.114.3.1.SNA.114.3.2.BNA.165.路由设计路由设计.175.1.路由协议概述.175.2.骨干路由.175.2.1.模式一.185.2.2.模式二.195.3.接入路由.196.IP 规划规划.206.1.一级地域互联 IP 地址规划：.206.2.二级地域互联 IP 地址规划.216.3.二级骨干网络各种应用系统 IP 地址的规划.216.4.二级分行路由器 LOOPBACK 地址.216.5.二级分行路由器直联网段的地址.227.可靠性设计可靠性设计.237.1.设备备份.237.2.线路备份.237.2.1.情况一：正常情况.247.2.2.情况二：主链路故障.257.2.3.情况三：主、副链路故障.267.2.4.情况四：路由器1以太网（业务）故障.277.2.5.情况五：两台路由器以太网（业务）故障.277.2.6.情况六：一台交换机故障.298.QOS 设计设计 .308.1.业务分类及特点.308.2.QOS 实施策略 .318.2.1.IP优先级.318.2.2.拥塞避免机制WRED.338.2.3.队列管理机制CBWFQ和WFQ .338.2.4.带宽控制机制CAR.348.2.5.SNA的QoS.349.网络安全设计网络安全设计.359.1.对网络设备和服务的保护.359.2.对应用系统的保护.35中国建设银行二级骨干网络改造 详细设计方案第 1 页，共 37 页1. 前言前言1.1. 编写目的编写目的编写本方案的目的是为二级骨干网络改造项目的实施提供指导性的方案和规划，主要包括路由设计、不同协议接入的设计、接入设计、IP 规划、网络安全等内容。1.2. 背景背景本方案是在总体设计方案的基础之上，根据二级网调研、测试和试点的结果编写的。1.3. 定义定义为了便于理解避免混淆，对本方案中的关键词语解释如下： 网络结构按网络的组建、运营、管理和维护的责任地理区域，可分为一级骨干网、二级骨干网和接入网。一级骨干网一级骨干网：由设置在总行和一级分行的节点组成，它提供省间的通讯业务，由总行至各一级分行的网络组成。二级骨干网二级骨干网：由设置在省内的节点组成，它提供本省内长途通讯业务，由各一级行至下属二级分行的网络构成。接入网接入网：地区范围内的节点组成。由地区所辖各类业务网络接入组成。中国建设银行二级骨干网络改造 详细设计方案第 2 页，共 37 页骨干传输部分骨干传输部分：整个网络的广域网骨干结构部分，负责实现高性能、高可靠性、高速数据交换和转发功能；本文是指一级骨干、二级骨干。接入服务部分：接入服务部分：为最终用户提供对网络的接入，完成用户入网接口。由各层节点处的本地局域网接入、我行网络最末端的各营业网点和分支机构广域网接入、外部网络和Internet接入等组成，完成业务系统之间的隔离、互通、安全性控制等。1.4. 参考资料参考资料中国建设银行骨干网络优化建设总体设计方案中国建设银行一级骨干网网络设备招标：附件 3 项目技术方案和实施计划中国建设银行网络系统 IP 地址和域名分类编码规范中国建设银行骨干网络改造项目二级网调研报告中国建设银行骨干网络改造项目二级网测试报告各分行 IP 地址的调查报告“全行网络状况的通知”各行上报统计企业内部网物理网络技术手册中国建设银行一级骨干网络改造详细设计方案中国建设银行二级骨干网络改造 详细设计方案第 3 页，共 37 页2. 网络改造目标网络改造目标按照中国建设银行骨干网络优化建设总体设计方案的设计要求，本次二级骨干网络改造的目标为：完成各一级分行城市综合业务系统、清算系统、企业网系统以及其它相关应用系统在二级骨干网的切换上线；为在各行综合业务系统数据集中过程中提供网络技术保障。完成二级骨干网络路由器设备及通讯链路的整合。完成二级骨干网络的路由策略、设备和链路的备份策略、QOS 机制、安全策略等，与一级骨干网和各行接入网融为一体，实现整个网络的互通与控制。为我行数据、语音、视频三网合一打好技术基础。建立全行统一策略的网络管理系统。按照总行新制定的 IP 地址标准，完成 IP 地址的统一。中国建设银行二级骨干网络改造 详细设计方案第 4 页，共 37 页3. 需求分析需求分析3.1. 数据集中的需求数据集中的需求应满足一级分行数据集中的需要，并在三年后能够满足全行数据集中的需要。因此，网络骨干需具有高通信效率、高稳定性、高可靠性和可伸缩性，适应拓扑结构的变化。3.2. 业务隔离需求业务隔离需求根据业务特点和重要级别，不同业务之间会有相互隔离的要求，可以为不同的业务或应用系统分配不同的 IP 网段，并在各网段之间实现业务的隔离。如我行业务系统可划分为清算网段、龙卡网段、网上银行网段、办公自动化网段、外接业务网段、Internet 服务网段、语音网段、视频网段等，明确各类业务的优先级，从而在逻辑上将各类业务分开，并保证其可靠传输。3.3. 灵活的接入能力灵活的接入能力未来银行将成为个人、企业的结算机构，保险公司、证券交易机构等都将同银行互联。银行的变革实质是从千家万户进入银行向银行进入千家万户的转变，为此需要我行网络为客户提供灵活的接入方式，提供多样化、个性化的金融服务。3.4. 可管理性要求可管理性要求网络的安全稳定运行离不开有效的管理，在设计时就要求充分考虑网络的可管理性，要求能实现对所有骨干设备的管理。为便于管理，采用两级网管模式，集中监控、分权管理，即总行建立网管中心，统一调度一级网资源，一级分行建立网管分中心，管理所属机构网络，形成覆盖全行的分布式网络管理系统。采用先进的网络管理平台，将来可以平滑地实现从网络层到应用层的管理。中国建设银行二级骨干网络改造 详细设计方案第 5 页，共 37 页3.5. 安全性要求安全性要求要制定全网统一的安全策略，确保各类业务在网络上的安全。3.6. 网络带宽需求网络带宽需求二级骨干网的带宽需求，以日均交易量 5 万笔的二级分行为例计算，二级分行到一级分行的带宽趋势如下（单位为 Kbps）：二二级级分分行行（日日均均交交易易量量5 5万万笔笔）网网络络带带宽宽趋趋势势1 10 00 03 30 00 05 50 00 07 70 00 09 90 00 01 11 10 00 01 13 30 00 01 15 50 00 01 17 70 00 0200120022003200420052006年年份份带带宽宽（K Kb bp ps s) )总总峰峰值值带带宽宽总总平平均均带带宽宽数数据据业业务务平平均均带带宽宽数数据据业业务务峰峰值值带带宽宽中国建设银行二级骨干网络改造 详细设计方案第 6 页，共 37 页4. 网络系统设计网络系统设计4.1. 二级骨干网结构设计二级骨干网结构设计二级骨干网以树型结构为主，遵循骨干和接入逻辑分离的原则，确保网络上下能够完全贯通，为数据大集中做好准备，并具有较高的可靠性。二级骨干网从结构上看如下图所示：二级分行PSTN/ISDN运营商A运营商B一级分行总行二级网主路由器1主路由器2备份路由器主路由器1主路由器2备份路由器二级骨干网络结构同样遵循一级骨干网的原则，即一级分行和二级分行之间使用两条广域网主链路传输数据，其中一条为业务主链路，另一条为管理主链路，两条链路互为备份，分别采用不同电信运营商的线路，另外还有一条拨号链路作为备份链路。中国建设银行二级骨干网络改造 详细设计方案第 7 页，共 37 页4.1.1.4.1.1.与一级骨干网的连接与一级骨干网的连接原则上应在一级网的路由器上增加连接二级网的端口模块，使分行一级骨干路由器既连接一级网，又连接二级网。4.1.2.4.1.2.与内部局域网的连接与内部局域网的连接二级网与内部局域网的连接从物理上来说，如下图所示：二级分行PSTN/ISDN运营商A运营商B一级分行主路由器1主路由器2备份路由器主路由器1主路由器2备份路由器三层交换机1三层交换机2二层交换机2二层交换机1在一级分行配置了（或者已有）两台三层交换机，每台路由器同时与两台交换机连接（除拨号备份路由器外）; 在二级分行配置两台二层交换机，这两中国建设银行二级骨干网络改造 详细设计方案第 8 页，共 37 页台交换机支持 802.1Q 或者 ISL VLAN Trunk 协议，每台路由器同时与两台交换机以 Trunk 连接（除拨号备份路由器外） 。一级分行路由器与交换机的逻辑设计参见中国建设银行一级骨干网络改造详细设计方案 。二级分行路由器与交换机的逻辑设计如下图所示：F0.1F0.10F1.10F1.2F0.11F0.1F0.10F1.2F0.1F1.11F0.11TrunkTrunkTrunkTrunkTrunkTrunk主路由器1主路由器2备份路由器二层交换机2二层交换机1路由器和交换机之间所有连接采用 Trunk，图中的 F0.1 代表路由器上第一个快速以太网物理端口上的 1 号子端口，F1.10 代表路由器上第二个快速以太网物理端口上的 10 号子端口，在配置时需要将物理端口根据实际情况定义。图中，所有的 F0.1 和 F1.2 分别定义为路由器之间传递路由的网段 1 （LAN_A）和网段 2（LAN_B） ，二者路由优先级相等，并比其它网段的路由优先级高。定义主路由器 1 的 F0 为营业类数据的主用网卡，F1 为管理类数据的备用网卡；定义主路由器 2 的 F0 为管理类数据的主用网卡，F1 为营业类数据的备中国建设银行二级骨干网络改造 详细设计方案第 9 页，共 37 页用网卡；定义备份路由器的 F0 为业务类数据的备用网卡和管理类数据的备用网卡。主路由器 1 的 F0.10、主路由器 2 的 F1.10 和备份路由器的 F0.10 都定义为总行所属的营业网段 1，配置 HSRP，优先级依次为 150、120、90。主路由器 1 的 F1.11、主路由器 2 的 F0.11 和备份路由器的 F0.11 都定义为总行所属的管理网段 1，配置 HSRP，优先级依次为 120、150、90。如上图所示，骨干路由器和骨干交换机之间定义了专门用于数据转发的网段、总行推广的营业系统网段、总行推广的管理系统网段，在二级网上还应定义各分行城综网应用网段，各分行应根据实际情况定义相应的子接口、HSRP、IP 地址等参数，例如子接口为：F0.20、F0.21 等。4.1.3.4.1.3.与接入网的连接与接入网的连接接入网指三级网，包括县（区）级支行、储蓄网点以及相应的局域网络。中国建设银行二级骨干网络改造 详细设计方案第 10 页，共 37 页 S 卐 乔 * * S S u u S 剆 /* * * 卐 乔 / *卉 乄 * d S 剆 /* * * 卐 乔 / *卉 乄 * d S 剆 * * * 卐 乔 / *卉 乄 * d 如图所示，对于省分行接入网，采用分离模式，即在省分行局域网用单独的路由器负责同城网点的接入。在二级分行设计中，根据接入网点数量、业务量大小、原有设备情况等条件，接入方式主要可以参照两种模式：模式一：共用模式，即在二级分行骨干路由器在上连一级分行同时，还负责连接接入网，充分发挥骨干网络设备的接入能力，保护设备投资；模式二：分离模式，即二级分行骨干路由器和二级分行的接入路由器分离，采用专用设备负责连接接入网，该设备再通过局域网（或广域网）连接二级分行的骨干路由器。在技术上能够实现、可满足应用需求的前提下，要充分考虑原有设备的利中国建设银行二级骨干网络改造 详细设计方案第 11 页，共 37 页用，本着降低成本的原则选择接入网的模式。4.2. 通信线路的选择和规划通信线路的选择和规划原则上一级分行和二级分行之间应具有三条链路：主链路、副链路和拨号备份链路。主、副链路应以 FrameRelay、DDN 或 E1 为主。拨号备份链路采用PSTN 或者 ISDN。依据骨干网络改造总体设计方案的原则，主链路和副链路要求采用不同的物理路由接入，可选择不同电信运营商的线路，一般情况下，不建议采用无线或卫星线路。主链路主要用于清算、龙卡、网银、债券等营业类数据的传输；当副链路出现故障时，可以有限制地用于管理数据的传输。副链路主要用于 IP 电话、WWW 浏览、办公自动化、信贷、人力资源、NOTES、电子邮件等管理系统数据的传输，当主链路出现故障时，可以用于营业类数据的传输。备份链路当主链路和副链路都出现故障时，用于营业类数据和部分管理信息的传输。4.3. 非非 IP 网络协议的过渡网络协议的过渡在总体设计方案中已经明确规定网络改造的目标是要建设以 IP 为基础的骨干网络，因此对于现存的具有 IBM 大机、AS/400 以及 Unisys A 机的分行，现有的 SNA、BNA 等协议要过渡到以 IP 为传输协议，与总体目标保持一致，对于不具备过渡条件的分行要逐步进行改造。4.3.1.4.3.1.SNASNA在 SNA 网络环境中，利用 DLSw 等技术完成主机与网点之间的 SNA 通讯。SNA 数据可封装在 IP 包内，通过 IP 网络在路由器之间传输， 再通过SDLC、QLLC 等技术与 SNA 的终端系统连接，原来的应用系统不需要做改变。中国建设银行二级骨干网络改造 详细设计方案第 12 页，共 37 页 采用 DLSw+的 SNA 接入方案设计如下图所示：TokenRingSNA接入示意图省行地市行前置机Ethernet前置机前置机SDLC前置机QLLCPrimaryPeerPrimaryPeerBackupPeerBackupPeerT TC CP P/ /I IP PD DL LS Sw w+ +S SN NA AS SN NA A 中国建设银行二级骨干网络改造 详细设计方案第 13 页，共 37 页如上图所示，业务网点终端首先连接到本地市行的骨干路由器上，然后再通过市分行和省分行之间 IP 网络上的 DLSW+技术和省分行的主机进行通信。主机的接入建议采用以太网。网点的接入主要有四种类型：以太网、令牌环、SDLC 和 QLLC。DLSw+的对等关系（peer）在骨干网的四台主路由器之间建立，省行的主路由器作为被动方（promiscuous） ，地市行的每台主路由器和省行的两台主路由器建立两个对等关系，其中直联的路由器作为 primary peer，另一台路由器作为 backup peer。当直联的路由器之间的 TCP 连接（primary peer）发生故障，backup peer 将启用，在 primary peer 恢复后，将切换回来。下面举例说明：情况一：链路故障情况一：链路故障PrimaryPeerPrimaryPeerBackupPeerBackupPeerT TC CP P/ /I IP PD DL LS Sw w+ +1如果发生链路故障，比如主、副链路同时故障，在这种情况下，通过路由迂回仍然可以保持 peer 之间的连接。情况二：主链路间主对等体故障情况二：主链路间主对等体故障中国建设银行二级骨干网络改造 详细设计方案第 14 页，共 37 页PrimaryPeerPrimaryPeerBackupPeerBackupPeerT TC CP P/ /I IP PD DL LS Sw w+ +地市行省行2可能因为路由和物理链路原因，导致省行主路由器和地市行主路由器各自的Loopback 端口之间的 TCP 连接失效，Primary Peer 关系中断；3省行主路由器和地市行副路由器之间的 Backup peer 准备启用，即从DISCONN 状态变为 WAIT_RD，等待打开读端口 2065。然后进入CAP_EXG 状态，电路建立之后，进入 CONNECT 状态；4Backup peer 启用，SNA 数据走在省行主路由器和地市行副路由器之间。情况三：副链路间主对等体故障情况三：副链路间主对等体故障PrimaryPeerPrimaryPeerBackupPeerBackupPeerT TC CP P/ /I IP PD DL LS Sw w+ +地市行省行1可能因为路由和物理链路原因，导致省行副路由器和地市行副路由器各自的Loopback 端口之间的 TCP 连接失效，Primary Peer 关系中断；2省行主路由器和地市行副路由器之间的 Backup peer 准备启用，即从DISCONN 状态变为 WAIT_RD，等待打开读端口 2065。然后进入CAP_EXG 状态，电路建立之后，进入 CONNECT 状态；中国建设银行二级骨干网络改造 详细设计方案第 15 页，共 37 页3Backup peer 启用，SNA 数据走在省行副路由器和地市行主路由器之间。情况四：主、副链路间主对等体均故障情况四：主、副链路间主对等体均故障 PrimaryPeerPrimaryPeerBackupPeerBackupPeerT TC CP P/ /I IP PD DL LS Sw w+ +地市行省行1这种情况是以上两种的汇总，Primary Peer 均失效；2Backup peer 启用，SNA 数据走在省行副路由器和地市行主路由器之间。中国建设银行二级骨干网络改造 详细设计方案第 16 页，共 37 页情况五：主路由器两个以太网端口均发生故障时情况五：主路由器两个以太网端口均发生故障时 牐 浩 牡 y2 2敐 牥 2 牐 浩 牡 y2 2敐 牥 2 慂 正 灵 翿 2 敐 牥 2 慂 正 灵 翿 2 敐 牥 2 偉偉 4 4 睓睓 缫缫 翿翿 4 4翿 1这种情况时 Primary Peer 正常，但此时路由器和局域网之间的连接完全丢失；2此时需要通过手工操作才能完成切换，具体过程如下：将省行主路由器的 loopback 端口 shutdown，地市行主路由器 Backup peer 会自动启用；SNA 数据走在省行副路由器和地市行主路由器之间。作为 peer 的 IP 地址采用路由器的 loopback 地址，这是为了确保当广域网链路或者以太网链路出现故障时，DLSw+ peer 仍然可以保持连接，当然，前提是两个 loopback 地址之间路由的连通性。为了实现到主机的 SNA 接入，需要对一级网详细设计方案中省行的局域网接入模式进行修改，主要包括：1.在交换机上建立一个 SNA VLAN；2.交换机和路由器连接采用 Trunk（由于 IOS 的原因，目前和 SNA 连接只能采用 ISL Trunk） ，在省行两台主路由器和交换机之间的 Trunk 中要包含 SNA VLAN， 但在地市行交换机之间的 Trunk 上不要包含 SNA VLAN；3.将主路由器上原来在物理端口上的配置修改为逻辑子端口配置；4.在省行主路由器上每个以太网物理端口上再建立一个子端口用于 SNA接入，该子端口属于 SNA VLAN，在该子端口上配置 transparent 中国建设银行二级骨干网络改造 详细设计方案第 17 页，共 37 页bridge，采用 IEEE spanning tree 协议， 所有 SNA 子端口属于同一个bridge group；5.在地市行每个主路由器的某个以太网物理端口上建立一个子端口用于SNA 接入，该子端口属于 SNA VLAN，两个主路由器上的 SNA 子接口分别连接到不同的交换机上，这时为了确保在任一时刻，任何前置机和SNA 主机之间都只有一条路径，避免产生回路。当以太网前置机和一个路由器之间的连接出现问题时，需要手动将以太网前置机连接到另一个交换机上。地市行的两台主路由器都可以提供 SNA 的接入，实现负载平衡。根据二级网测试的情况，个别采用令牌环连接的前置机，通过 DLSw+无法正确连接到主机，如果出现这种情况，可以启用主机的令牌环网卡，在省行和地市行的主路由器上配置 RSRB 进行连接。还需要注意的是，采用 DLSw+时，由于 DLSw+会自动根据连接的方式修改MAC 地址（bit wrap） ，但是修改后可能导致前置机无法连接到主机，此时需要管理员对 MAC 地址进行调整。详见中国建设银行二级骨干网络改造实施工艺 （示范稿） 。4.3.2.4.3.2.BNABNA对于 BNA 协议，目前尚没有较好的 BNA over IP 的解决方案，因此采用BNA 协议的分行应根据自己的网络实际情况和数据集中的模式，对网络进行改造，保证数据集中的需要，并为其他应用系统提供良好的网络环境，具体方案报总行审批。中国建设银行二级骨干网络改造 详细设计方案第 18 页，共 37 页5. 路由设计路由设计5.1. 路由协议概述路由协议概述5.2. 骨干路由骨干路由考虑到路由协议的能力和扩展性的要求，二级网骨干部分应选择 OSPF 或者 EIGRP 路由协议。这两种路由协议都可以满足二级骨干网的需求，但由于从标准化方面来看，OSPF 优于 EIGRP，因此在此次二级骨干网中我们推荐采用OSPF 作为骨干网路由协议。拨号备份路由器之间采用浮动静态路由。N C C d d 有两个问题需要注意：路由汇总：在骨干路由器上要进行路由汇总，减少路由表的规模路由重分布：在拨号备份路由器上需要进行静态路由到骨干路由协议的重分布；在其他骨干路由器上当运行多种动态路由协议时，需要进行骨干路由到其他动态路由协议的重分布。中国建设银行二级骨干网络改造 详细设计方案第 19 页，共 37 页下面是两种推荐模式，当然在实施时需要根据实际情况而定。5.2.1.5.2.1.模式一模式一采用 OSPF，如下图所示： u u N C N C 8 N C 8 N C 8 N C 8 S S S S 如上图模式一中，整个二级网运行 OSPF，一级分行到二级分行广域网是OSPF 的骨干 Area0，一级分行局域网和每个二级分行局域网分别属于一个SubArea，一级分行和二级分行的两台骨干路由器是边界路由器，并且在每个骨干路由器（SubArea 边缘）上做路由汇总。需要注意的是，为尽量减少发到 Area0 的路由信息条目，应在 OSPF 的边界路由器（骨干路由器）上做路由汇总，当对外部重分布的路由进行汇总时，要注意各个外部路由汇总相互之间不能有重复或冲突。例如：当各网点的采用静态路由分别接入两台二级骨干路由器时，如网点 IP 地址不规范会造成两台骨干路由器的外部路由汇总的冲突，此时还需在二级分行的骨干路由器上运行一个 RIP 或者 EIGRP 进程（只在用于路由器间直连的网段上运行） ，参与静态路由的重分布，详细设计见中国建设银行二级骨干网络改造实施工艺（示范稿） 。中国建设银行二级骨干网络改造 详细设计方案第 20 页，共 37 页5.2.2.5.2.2.模式二模式二 如下图模式二中，整个二级骨干网运行 EIGRP，并属于一个 EIGRP 的AS，一级分行局域网和每个二级分行局域网也运行 EIGRP 路由协议，在每个骨干路由器的广域网端口上做 EIGRP 的路由汇总。 u u PC P C P C P C P C S S S S d 5.3. 接入路由接入路由接入部分的路由并不做统一规定，但是要满足下列要求：1.在边界路由器上进行路由汇总；2.满足可靠性的要求；3.方便实施和维护。基于这些要求，我们推荐：连接网点采用静态路由；连接规模较大的支行可以采用 EIGRP 或者 OSPF SubArea；局域网应采用收敛速度快的动态路由协议，可与骨干路由相同；中国建设银行二级骨干网络改造 详细设计方案第 21 页，共 37 页如果局域网现有路由比较稳定，可沿用现有路由协议；中国建设银行二级骨干网络改造 详细设计方案第 22 页，共 37 页6. IP 规划规划本方案以中国建设银行网络系统 IP 地址与域名分类编码规范为依据，对 IP 地址进一步细化。编码结构如下：8Bits 5Bits 3Bits 3Bits 13Bits一级地域标识二级地域标识000(扩展位)类型标识用户网络地址类型标识：类别标识位取值类别标识位取值相应相应 IPIP 地址的类别地址的类别000网络设备管理001营业类010备用011备用100语音、视频类101管理类110备用111网络互连地址6.1. 一级地域互联一级地域互联 IP 地址规划地址规划：建设银行一级地域互联IP地址用于一级分行与二级行之间的互联。该地址从一级地域用户地址中分配，类型标识为“111”，该地址由省分行统一分配使用，其编码方式为： 8Bits 5Bits 3Bits 3Bits 13Bits一级地域标识00000000(扩展位)类型标识 111用户网络地址为了便于标识，我们沿用一级骨干网中的用法，即二级骨干网主线路使用X.0.241.X，备份线路使用 X.0.242.X，拨号线路使用 X.0.243.X。中国建设银行二级骨干网络改造 详细设计方案第 23 页，共 37 页6.2. 二级地域互联二级地域互联 IP 地址规划地址规划建设银行二级地域互联IP地址用于二级分行与所辖机构之间的互联。该地址从二级地域用户地址中分配，类型标识为“111”，该地址由二级行统一分配使用，其编码方式为： 8Bits 5Bits 3Bits 3Bits 13Bits一级地域标识二级地域标识000(扩展位)类型标识 111用户网络地址6.3. 二级骨干网络各种应用系统二级骨干网络各种应用系统 IP 地址的规划地址的规划各二级分行不同应用的网段主要根据 IP 地址中第 17.19 三位类别标识来区分，其编码规则为： 8Bits 5Bits 3Bits 3Bits 13Bits一级地域标识二级地域标识000类别标识用户网络地址根据此规则，总行推广的各应用系统的具体 IP 地址做如下规定：网段编号应用项目地址类型IP 地址/掩码 24 位HSRP 网关X.X.32.98网络设备局域口X.X.32.91X.X.32.100应用主机、应用服务器X.X.32.150网段 1营业类网络内用户其他HSRP 网关X.X.191.98网络设备局域口X.X.191.91X.X.191.100应用主机、应用服务器X.X.191.150网段 2管理类(企业网)网络内用户其他6.4. 二级分行路由器二级分行路由器 LOOPBACK 地址地址路由器需设置 INTERFACE LOOPBACK 地址，占用各二级分行网管网段地址 X.X.31.X，掩码为 32 位，地址从大向小取值，即从 X.X.31.254/32 X.X.31.200/32，如省行路由器的 LOOPBACK 地址为 X.0.31.254/32 X.0.31.200/32，某地市分行路由器的 LOOPBACK 地址为 X.32.31.254/32 X.32.31.200/32。中国建设银行二级骨干网络改造 详细设计方案第 24 页，共 37 页6.5. 二级分行路由器直联网段的地址二级分行路由器直联网段的地址二级分行的本地局域网内，路由器之间需要占用两个 IP 网段互连，规划占用网络地址 X.X.31.X/28，占用网段从 X.X.31.0/28X.X.31.31/28， IP 地址从以下空间中分配：网段编号IP 地址范围备注1X.X.31.0X.X.31.15LAN_A2X.X.31.16X.X.31.31LAN_B主路由器 1、主路由器 2 和备份路由器分别占用该网段中的第 1、第 2 和第3 个地址。中国建设银行二级骨干网络改造 详细设计方案第 25 页，共 37 页7. 可靠性设可靠性设计计网络可靠性包括网络设备的备份和线路备份。7.1. 设备备份设备备份所有骨干设备，包括省分行、二级分行的骨干路由器都配置了 2 台高可靠的设备，具有双路由引擎、双总线、双电源等部件，所有模块支持热插拔，个别关键部件还购买了备件。7.2. 线路备份线路备份在设计中，针对广域网提供三种线路：主链路、副链路和备份链路（通过拨号备份路由器） ，针对局域网提供双交换机双连接到每个主路由器。这种设计保证了很高的可靠性。线路备份应遵循下列原则： 正常情况下营业类数据主要在主链路上传输，管理类数据主要在副链路上传输； 主链路故障时，营业类数据迂回到副链路上传输，主链路恢复正常后，营业类数据恢复到主链路传输； 副链路故障时，部分重要的管理类数据迂回到主链路上传输（但是要保证营业类数据的带宽） ，副链路恢复正常后，管理类数据恢复到副链路传输； 主链路和副链路同时故障时，营业类数据将迂回到拨号备份链中国建设银行二级骨干网络改造 详细设计方案第 26 页，共 37 页路上传输； 局域网部分故障时，依据路由策略，营业类数据和管理类数据可能在同一条链路上传输。线路备份的具体实现采用了多种技术，比如 HSRP、动态路由协议。在本部分我们论述线路备份实现的效果。举例说明如下： 采用二层交换机实现。 以清算为应用，某二级行清算访问省行清算 不说明数据返回的流程7.2.1.7.2.1.情况一：正常情况情况一：正常情况数据流程如下图所示：LAN交换机1路由器1清算交换机2路由器2拨号路由器主链路副链路拨号链路情情况况1 1中国建设银行二级骨干网络改造 详细设计方案第 27 页，共 37 页1) 发送到路由器 1，这是因为路由器 1 是清算的主网关（HSRP） ；2) 发送到主链路，这是因为路由器 1 到省行的路由指向主链路。7.2.2.7.2.2.情况二：主链路故障情况二：主链路故障数据流程如下图所示：. 彎彎 4 4 彎彎 4 4 彎彎 4 4 彎彎 4 4 1 1 2 d2 S 彎彎 4 42 2 1) 发送到路由器 1，这是因为路由器 1 是清算的主网关（HSRP） ；2) 通过直联网段 LAN_A 或 LAN_B 发送到路由器 2，这是因为路由器 1 通过动态路由从 LAN_A 或 LAN_B 得到了去省行的路由信息，下一跳为路由器 2（如前所述，LAN_A, LAN_B 的优先级较高） ；3) 发送到副链路，这是因为路由器 2 的到省行的路由指向副链路。中国建设银行二级骨干网络改造 详细设计方案第 28 页，共 37 页7.2.3.7.2.3.情况三：主、副链路故障情况三：主、副链路故障数据流程如下图所示：. 彎彎 4 4 彎彎 4 4 彎彎 4 4 彎彎 4 4 獐 S 彎彎 4 43 3 1) 发送到路由器 1，这是因为路由器 1 是清算的主网关（HSRP） ；2) 路由器 1、2 和拨号路由器之间运行动态路由，主副链路均失效，清算网段只有拨号链路这一出口；3) 数据在路由器 1 通过 LAN_A 发送到路由器 3，这是因为路由器 1 通过动态路由得到了路由器 3 上重分布进来的路由，且路由器 1与路由器 3 连接的链路中 LAN_A 的优先级最高；4) 发送到拨号链路，这是因为路由器 3 的静态路由指向拨号链路。中国建设银行二级骨干网络改造 详细设计方案第 29 页，共 37 页7.2.4.7.2.4.情况四：路由器情况四：路由器 1 1 以太网（业务）故障以太网（业务）故障数据流程如下图所示：. 彎彎 4 4 彎彎 4 4 彎彎 4 4 彎彎 B B 4 4 2 臷 臷 S 彎彎 A A 4 4 1) 路由器 1 以太网故障，HSRP 促使清算网段的网关切换到路由器 2；2) 发送到路由器 2，这是因为路由器 2 成为清算网段 HSRP 的ACTIVE 网关；3) 发送到副链路，这是因为路由器 2 上的到省行的路由指向副链路。7.2.5.7.2.5.情况五：两台路由器以太网（业务）故障情况五：两台路由器以太网（业务）故障数据流程如下图所示：中国建设银行二级骨干网络改造 详细设计方案第 30 页，共 37 页. 彎彎 4 4 彎彎 4 4 彎彎 4 4 彎彎 B B. .4 4猄 1 d 1 臷 2 2 S 彎彎 4 4 1) 路由器 1、2 以太网故障，HSRP 协议促使清算的网关切换到拨号路由器（网关的逻辑地址不变） ；2) 数据发送到拨号路由器，这是因为拨号路由器成为清算的 ACTIVE 网关（HSRP） ；3) LAN_A、LAN_B 用于传送路由，因为拨号路由器上只有 LAN_A，所以拨号路由器与路由器 2 之间通过 LAN_A 学习路由，所以此时拨号路由器通过 LAN_A 得到当前的路由信息，而下一跳指向路由器 2；4) 数据发送到副链路，这是因为路由器 2 的路由指向副链路。中国建设银行二级骨干网络改造 详细设计方案第 31 页，共 37 页7.2.6.7.2.6.情况六：一台交换机故障情况六：一台交换机故障数据流程如下图所示：LAN交换机1路由器1清算交换机2路由器2拨号路由器主链路副链路拨号链路情情况况6 61) 交换机 1 故障，清算 HSRP 主网关切换到路由器 2；2) 发送到路由器 2，这是因为路由器 2 切换为清算的主网关（HSRP） ；3) 发送到副链路，这是因为路由器 2 上的到省行的路由指向副链路。中国建设银行二级骨干网络改造 详细设计方案第 32 页，共 37 页8. QoS 设计设计8.1. 业务分类及特点业务分类及特点 我行的业务主要有营业类业务、管理类业务、语音类业务和视频类业务。营业类业务指与柜面业务密切相关的业务，如储蓄、会计业务、外接在线业务和 Internet 在线服务等。管理类业务指与银行管理有关的业务，如行内的MIS/OA、Internet 信息服务、外部管理信息交换等。语音类业务有行内的 IP 电话等，视频类业务有视频会议系统、远程教育系统等。其中营业类业务、管理类业务属于数据信息，语音和视频类业务属于多媒体信息。各类应用对网络的需求体现在实时性、带宽需求、多种接入方式、安全性、数据分布特征转化等方面。营业类业务的特点是交易包长度固定，交易时限要求实时，上下行数据流量基本对等。其中柜面业务数据分布在总行、一级分行、二级分行，是逐级上传，总行是交换中心，均属于在线业务。外接在线业务和 Internet 在线服务在进入我行内部网后与传统的柜面业务的特点一致。 管理类业务的特点是数据包不定长，突发性强，大部分业务为批量上传，上传数据量较大，下传数据量较少，对实时性要求不高。其中行内管理信息业务在管理上为逐级管理，数据分布在总行、一级分行和二级分行。Internet 信息服务（即通过内部网对 Internet 的访问）和内部 WEB 浏览的时效性要求较高，上传数据量小，下传数据量大。外部管理信息交换以文件传输为主，对实时性要求不高。语音类、视频类业务的特点是数据量大，对时延敏感，对实时性和带宽要求高。中国建设银行二级骨干网络改造 详细设计方案第 33 页，共 37 页8.2. QoS 实施策略实施策略根据这些业务类型及特点，为建立统一的 QoS 策略，简化 QoS 配置，二级骨干网采用的 QoS 策略与一级骨干网的基本一致，具体如下：IP Precedence的设置通过Policy-Based Routing实现；拥塞避免机制采用WRED- Weighted Random Early Detection实现；队列输出管理机制采用CBWFQ- Class Based Weighted Fair Queuing或者WFQ实现。带宽控制机制采用CAR- Committed Access Rate实现8.2.1.8.2.1.IPIP 优先级优先级所谓的 IP Precedence 指的是在 IP 包头中预留的 Type of Service3 位比特，3 位比特从 000 到 111 共可设置 8 个有效值，权值越低，优先级越低。我们一般可以使用其中从 000 到 101 六个级别，110 和 111 用来保留给网络内部其它信令等通讯使用。在 RFC791 中，给每个 IP Precedence 值定义了一个名字。在具体配置中，我们经常会应用这些名字来标识相应的 IP Precedence 值。每个 IP Precedence 值的相应名字在下表中列出。IPIP PrecedencePrecedence ValuesValuesNumberNumberNameName0 0RoutineRoutine1 1PriorityPriority中国建设银行二级骨干网络改造 详细设计方案第 34 页，共 37 页2 2ImmediateImmediate3 3FlashFlash4 4flash-overrideflash-override5 5CriticalCritical6 6InternetInternet7 7NetworkNetworkIP 优先级可以控制 IP 包在路由器中被处理的优先程度，可以和各种队列技术结合起来使用，比如 WRED 在发生阻塞时，先丢弃优先级低的 IP 包。针对我行的应用情况，我们建议使用以下的优先级划分方法：业务应用类型IP Precedence 值Name其它应用（如 FTP 和 HTTP）0routineroutine管理信息系统2immediateimmediate营业业务3flashflash视频/语音4flash-overrideflash-override注：由于语音和视频所能承受的时延远小于营业系统的要求（营业时延 3-5秒，语音视频小于 150 毫秒） ，在设置 IP Precedence 时，设置语音视频优先级比营业稍高，为保证营业类数据的可靠传输，利用 CBWFQ 技术为营业数据设置最小带宽保证。中国建设银行二级骨干网络改造 详细设计方案第 35 页，共 37 页数据包的分级最好在一进入局域网交换机时就实现，也就是在网络的边缘实现 IP 优先权设置，以减轻核心网络设备的负担，同时也可以实现局域网中的QOS 控制。如果交换机不支持这一功能，可以在 CISCO 骨干路由器上实现。IP 优先级的设置可以通过多种技术机制来实现，如 CAR(Commited Access Rate)、Policy-Based Routing（策略路由）等，根据我行的网络结构和线路情况，我们建议采用 Policy-Based Routing 来实现这一功能。8.2.2.8.2.2.拥塞避免机制拥塞避免机制WREDWRED数据包被设置 IP 优先权后，通过路由处理被送到相应的端口等待传输。为实现 QoS 控制，数据包将被根据它的 IP 优先权值被送入不同的队列，按照 WFQ设定的策略进行传输。但假如网络拥塞造成排队数据包超出缓存，所有的数据包在进入队列前就都会被丢弃，QOS 的控制就无从谈起，所以在排队数据包超出缓存前就应进行拥塞避免机制的控制，而 WRED 技术则可根据 IP 优先权丢弃数据包。因此，我们采用 WRED 技术作为拥塞避免控制机制。由于发生阻塞最可能在广域网，所以，我们在广域网端口上配置 WRED。8.2.3.8.2.3.队列管理机制队列管理机制CBWFQCBWFQ 和和 WFQWFQ在经过拥塞避免机制 WRED 的处理后，数据包在输出端口根据其优先级被分配至不同的队列排队等待输出，由于广域网带宽有限，同时只能有一个数据包被发送，那么它们按照怎样的顺序输出成为 QOS 保证的关键。控制队列输出的机制也就是拥塞管理的机制，也就是我们常说的队列技术(Queuing)。在我们的实现方案中，推荐使用 CBWFQ 和 WFQ 技术作为输出端口的拥塞管理机制，优先考虑 CBWFQ。CBWFQ 和 WFQ 的主要区别在于 CBWFQ 可以根据优先级或类别设置最小带宽保中国建设银行二级骨干网络改造 详细设计方案第 36 页，共 37 页证，而 WFQ 不具有这个功能。需要注意的是，当采用 CBWFQ 时，分配给某一队列的带宽，在该队列没有数据传输的时候，其带宽会按照设置的比例分配给其它队列使用。从而最大限度地提高了网络利用率。8.2.4.8.2.4.带宽控制机制带宽控制机制CARCARCommitted Access Rate-CAR 是一种基于软件带宽控制机制，它可以根据多种标准和策略，在同一条链路上，来对不同的应用限制使用不同的带宽。如果超过其最大限制，则将其数据包丢掉。在网络中有一些数据对网络的冲击很大，包括 FTP、HTTP 等，因此，针对这些数据我们可采用 CAR 来限制其最大占用的带宽。8.2.5.8.2.5.SNASNA 的的 QoSQoS对于有 SNA 的分行，建议采用以下的 QoS 策略：设置 IP Precedence（通过 CAR）应用类型IP Precedence 值Name其它应用（如 FTP 和 HTTP）0routineroutine管理信息系统2immediateimmediate非 SNA 营业业务3flashflash视频/语音4flash-overrideflash-overrideSNA 营业业务5criticalcritical中国建设银行二级骨干网络改造 详细设计方案第 37 页，共 37 页在广域网端口上采用 CBWFQ 保证 SNA 和视频数据的带宽在广域网端口上采用 WRED中国建设银行二级骨干网络改造 详细设计方案第 38 页，共 37 页9. 网络安全设计网络安全设计安全是银行网络建设中要考虑的一个关键因素，建立完善的安全体系是一个复杂的过程，为了便于理解与实施，我们建议在本次网络改造过程中，先考虑以下两方面内容：9.1. 对网络设备和服务的保护对网络设备和服务的保护包括：在所有路由器上设置控制台口令在所有路由器上设置特权用户口令在所有路由器上设置远程登录口令在拨号接入路由器上为远程拨号访问设置不同的用户和口令，而且要求CHAP 验证所有口令加密在所有路由器上只允许从网管远程登录到网络设备，而且及各分行不能越级登录9.2. 对应用系统的保护对应用系统的保护包括： 营业类网段不允许其他网段访问 营业类网段和管理类网段之间不能互访中国建设银行二级骨干网络改造 详细设计方案第 39 页，共 37 页 营业类网段中不允许 FTP、Telnet、Rlogin 等访问 对其他网段的保护根据具体情况所需设置