国家电力调度数据网组网研究.doc

国家电力调度数据网组网研究作者：彭清卿，向力，卢长燕，邹国辉，孙炜 摘要：综合考虑调度管理体制，探讨网络应用特性，有效分析了国家电力调度数据网的组网需求。在综合电力通信的现状和深入研究目前IP技术的基础上，对电力调度数据网组网研究中的相关问题进行了探讨。 0引 言 随着计算机与网络技术的发展，数字化电网的新时代正在向我们走来。电网调度系统是引入数字化电网应用较早的领域之一。目前，在电网调度自动化领域已建立了比较完善的能量管理系统(EMS)、调度员培训模拟(DTS)系统、电能量计量(TMR)系统、水调自动化系统等。尽管在应用层面取得了实效，但在数据传输网络化方面，仍然是局部的、不完整的和初级的。因此，针对调度系统的特点，适应各应用系统的需要，建设满足实时性要求、安全可靠的数据网络，为调度各应用领域数据传输提供网络平台已成为当前调度系统中的一项重要任务。 本文通过对目前IP网络技术的深入分析，在调度业务需求和电力通信实际情况的基础上，综合考虑目前调度管理体制，结合国家电力调度数据网的网络设计，提出调度数据网的组网研究方案，该方案将在工程实施中进一步优化。1电力调度数据网要考虑的因素 调度数据网的建设必须考虑调度数据业务的特点，这些特点是组建调度数据网应考虑的基本要素。1.1 数据信息是网络承载的主要业务 目前调度系统数据通信业务大致可分为2类，即以EMS、广域相量测量系统等为代表的实时监控业务和以电力交易支持系统、调度日报传输、TMR等为代表的调度运行管理的相关业务。这两类业务的共同特点是以数据处理为主，周期性传输，所占用信道带宽不大。数据具有分布采集、分层传输、集中汇聚的特点。数据一般在调度对象(发电厂、变电站)产生，送至对其直接调度的上一级调度部门，处理后按需向更高一级调度转发。1.2 实时性要求 实时监控业务的数据传输周期为秒级。例如按设计规定，遥测数据传送时间不大于3s，遥信数据变化传送时间不大于2s，遥控、遥调命令传送时间不大于4s，自动发电控制命令发送周期为3s15s。这些实时性要求，除了数据网必须具有较短的延迟，还需要有优先级机制来保证这些时间敏感数据的可靠传输。1.3 可靠性要求 实时监控业务除了反映电网运行工况外，更重要的是控制电气设备的投入和退出，下达功率调节命令，对电力系统运行产生直接影响。这类业务的可靠性至关重要，因此数据网络必须满足所承载业务可靠性的要求。在网络设计时应该考虑单点设备或通道故障时网络不分裂，不影响业务系统的数据传输。1.4 安全性要求 调度系统相关业务的安全是调度安全生产的基础，部分业务具备实时监控功能，直接关系到调度生产安全，此类业务对网络的安全性提出了高要求。按照国家经贸委200230号令电网和电厂计算机监控系统及调度数据网络安全防护规定以及“全国电力二次系统安全防护总体方案”的要求，承载调度业务的调度数据网应通过SDH/PDH的n2 Mbit/s专线组建，实现与其他网络系统的物理隔离，成为调度业务可信赖的网络。1.5 数据通道现状 目前电力通信网提供的数据通道以微波通道为主，日后将逐步发展为以光通信为主。现阶段物理通道不算充足，难以完全保证迂回路由与电路的无关性要求。个别电路转接较多，通道质量难以满足网络通信的要求，另外，部分边远厂站的电路质量更难以保证，这些因素在组网设计时应给予充分重视。2 组网基础研究2.1 技术体制的选择 纵观骨干数据网络技术体制，存在4种典型模式：IPSDHATMFibre,IPATMFibre,IPSDHFibre和IPFibre。4种体制在技术发展的不同暑期各占有一定的主导地位。从目前的趋势来看，IPSDHATMFibre和IPSDHFibre并存的时代即将过去，现已逐步发展为以IPSDHFibre为主的局面。从长远来看，随着光通信技术的发展，IPFibre将是IP骨干网的发展方向。 对于调度组网的技术体制选择，从技术的成熟性和建网的经济性上讲，采用IPSDHFibre模式更适合调度业务的需求和电力通信的现状。华东电力设计院进行的国调业务流量分析表明，国调总业务数据流量为15318.2kbit/s(峰值)，带宽需求在n2Mbit/s水平，因此IP overSDH更有利于基于2Mbit/s带宽的扩充，使投入产出比处于最佳状态。另外，电力通信通道正处于微波通道为主向光纤通道为主的发展过程，对于偏远电厂、变电站，可利用原有的PDH通道，无须另外增加通道投资。同时，该模式对IP业务的“物理隔离”能较好满足调度业务的总体安全要求。2.2 拓扑结构的几点考虑2.2.1 总体结构 国家电力调度数据网节点多，网络规模大，其总体结构应采取分级、分层、多自治域设计；总体结构拟以省调为分界点分为2级，即国家电力调度数据骨干网和省调度数据网(以下简称为骨干网和省网)，两级网络相对独立。骨干网和省网内部均按标准IP网络分层设计，可分为核心层、骨干层和接入层。核心层为网络业务的交汇中心，通常情况下只完成数据交换功能；骨干层位于核心层和接入层之间，负责层内数据交换以及层间业务的汇聚、分发；接入层将用户业务接入网络，实现质量保证和访问控制。骨干网为一个自治域，每个省网分别为各自独立的自治域。 结合目前调度管理体制，调度数据网的骨干网可由国、网、省调节点构成，省网可由省、地调组成。骨干网核心层节点包括国调、网调及部分省调，骨干层由省（市）调节点构成，接入层为电厂和变电站。2.2.2 骨干网拓扑设计 骨干网拓扑设计主要是基于电力通信传输网络的结构，兼顾调度管理体制，立足于方便网络建设、运行和管理的原则；同时应满足调度业务的可靠性、实时性要求。骨干网网络拓扑示意图如图1所示。2.2.2.1 可靠性设计 为提高网络运行的可靠性，避免通道中断导致网络故障，从电路组织看，电路的无关性应至少满足N-1原则，即应避免由于通信电路单点故障导致网络多条链路的同时中断，从而造成数据网络分区分裂或迂回链路过载使网络瘫痪。 核心层是网络拓扑的中心，既是路由交换的核心，也是跨区信息流的骨干通道，应具有较高的拓扑冗余度。另外，核心层节点之间、核心层与骨干层之间、骨干层节点之间的链路连接均应满足无单点故障，即均有两条路由不同的电路和以保证层内、层间的迂回路由。接入层节点可视通道情况采用双归或单归拉入到骨干层节点。2.2.2.2 实时性保障 根据调度业务目前的信息量要求，调度组网的基础带宽可定为n2Mbit/s，在运行中可根据网络流量的增加，适时扩容链路。鉴于网络核心层信息流量大于骨干层，为避免网络拥塞，核心层的链路带宽设计至少应是骨干层带宽的2倍4倍。 为满足业务的实时性要求，避免节点间跳数太多导致时延过长，拓扑中任两节点间的最大跳数原则上不应超过3跳。2.2.2.3 拓扑设计 对于骨干网，为方便管理，同时考虑电路的走向，可选择国调、网调以及部分地理位置较核心的省(市)调(如三峡、四川、山东)作为核心层节点，各网调及网内省调形成本区域的骨干层，同时选择网内的某一省调(该省调应是本区通信枢纽中心)作为本骨干层的第2出口与核心层相连。.3.1 域间路由 国家电力调度数据网采用何种路由结构，即是穿越自治域接入自治域，还是单自治域，抑或多穿越自治域的方式，与IP网络设计能力有很大关系，网络规模对路由结构起决定性作用，除技术因素外，调度管理体制也是考虑因素。 调度数据网的规模，地埋上覆盖全国。从节点个数来讲，若国、网、省调按双节点配置，设备总数不超过80台，各省网内部(含地、县调)的网络设备估计不超过100台；全国网络设备(不包括厂站节点)约3000台。 单自治域的方式，即国、网、省、地、县调均处于单一路由策略和统一的技术模式下，从现实意义来讲，网络建设和管理存在较大困难，同时该自治域内路由器总数较多，受IP网技术限制，域内路由器数目、路由条目过多将极大地影响网络性能，设备、链路多会降低路由协议收敛速度而导致网络效率降低，故障概率升高会导致全网经常处于路由震荡状态中，影响网络运行。 多穿越自治域的模式，即国、网、省调各自为政，自成体系，网络划分粒度较细，缺乏整体性的网络规划设计，没有规模效益，网络效率难以达到最优。国、网、省、地、县的分治，对厂站的两点接入带来困难。分散的结构，使综合网络管理难以部署，并给网络故障诊断带来较大困难。同时，各自治域需分别设计，多头重复建设，各自运行，难以降低建设、管理、运行成本。 穿越自治域接入自治域模式，即国、网、省调构成调度数据网骨干网，形成穿越自治(路由)域；省、地、县调节点构成各省内部的调度数据网(简称省网)，形成接入自治(路由)域；各省网与骨干网通过两点互联，省网之间不设直接通道。在组网初期，网络规模较小，网架尚未完善，业务需求也不高，可先采用静态路由和单点接入方式实现省网与骨干网的域间互联。 相对于单自治域及多穿越自治域方案，该方案网络结构简单，层次清晰明了，在网络效率、稳定性、可扩性、可管理性以及建设和运行成本等方面具有综合优势。 国家电力调度数据网网络结构如图2所示。2.3.2 域内路由2.3.2.1 路由规划 按现调度网络的规模，自治域内采用链路状态协议开放式最短路径优先协议(IS-IS)，整个路由域设计为层次结构，分为2层，即一个主干区和若干子区，各子区相对独立，网络路由分为区内和区间，每个区内路由的变化仅在区内完成收敛，不会影响到其他区。采用分层协议能增强网络稳定性，使网络具有弹性，便于扩展。同时，分层协议隐藏了其他层次的拓扑结构，降低了路由计算的复杂度，既增强网络的安全性，也提高路由收敛速度。层次化路由，也使层间可以进行网络地址汇聚，缩短路由表长度，提高网络寻址效率。 在目前网络规模及路由分区组织的情况下，OSPF与IS-IS协议均可满足调度网络总体技术要求。鉴于在企业组网设计中OSPF较IS-IS更为通用，工程和维护经验更丰富，在方案设计、工程施工阶段更易实施，运行维护人员也较易掌握，因此，本次骨干网组网协议选用OSPF。2.3.2.2 路由区域设计 按OSPF的设计要求，内部为分层、分区设计，可分为骨干区域(0区)和子区，0区包含所有的边缘区域路由器(ABR)，子区区域号需统一定义，子区间的流量均经过骨干区。 调度数据网的区域划分考虑如下：国调、备调路由器广域口为0区。骨干层出口路由器的外联口(与其他核心层节点的互联口)属于0区，内联口(与本骨干层节点的互联口)属于本骨干网子区。骨干层的出口路由器是ABR，有“双重身份”，隔离0区和子区，并发布聚合后的子区内路由到0区。第1出口(网调)与第2出口(网内某省调)的互联口既可定义为0区，起核心层路由迂回作用，又可定义为子区号，为骨干层路由迂回、数据传递所用。如果链路充裕，可一条链路定义为0区，另一条链路定义为子区。2.3.2.3 厂站路由接入设计 骨干网拓扑为3层结构，而OSPF为2层设计，无法将OSPF延伸至网络接入层厂站节点；厂站路由器属于网络“叶子”节点。为减少网络路由的复杂度，避免动态路由协议的相互引入，骨干网与厂站路由器之间采用静态路由，并将链路、LOOP路由发布OSPF，传递至网内其他节点，实现互通。2.4 地址编码 地址编码的基本原则是满足地址的惟一性，调度数据网的IP地址应依据全国电力系统信息网络IP地址编码规范(试行)集中管理，统一分配。为使寻址更加有效且保证地址唯一性，网络地址编码应与网络拓扑(分区)及路由结构相结合，充分考虑自治域间及域内分片分区地址聚合的可能，使路由精简有效。同时，网络地址和应用地址应有所区别，方便管理和网络扩展。2.5 网络接入2.5.1 调度中心应用系统接入 调度中心须接人的应用系统较多，按照安全级别的不同，各应用系统划分为不同的虚拟专用网(VPN)，由通信网关分别接人不同的3层交换机。目前主机可以静态、动态或默认路由的方式接入网络。2.5.2 厂站接入2.5.2.1 厂站节点接入骨干网 厂站节点应依据调度关系、网络拓扑和链路状况，就近接入骨干节点;为保障接入的可靠性，应视厂站的重要程度采取两点或单点接入骨干网，两点接人应由不同物理路由接入骨干网不同节点;厂站为网络的接入层节点，采用静态路由方式，以不影响骨干网路由为原则。2.5.2.2 厂站应用系统接入 按不同的安全级别，厂站应用系统分别接入不同VPN，即通过各自通信网关分别连接不同的接人交换机，由路由器接人骨干网，实现VPN隔离。3 部署VPN的几点考虑 调度数据网承载的业务较多，为保证安全等级不同的应用业务之间的相互隔离，调度数据网需部署VPN以满足业务系统的网络及信息安全要求。3.l VPN的部署方式 根据路由信息交换方式可将VPN分为2类:覆盖VPN和对等VPN;覆盖VPN可通过2层交换技术(X.25、帧中继、ATM)或3层隧道技术(IpSeC等)来实现，缺点是VPN路由复杂、扩展困难。对等VPN可通过传统的复杂路由策略或IP访问列表来实现，缺点是VPN用户共享地址空间、缺乏隔离性、维护困难。而MPLS VPN则是兼顾了覆盖VPN和对等VPN的优点，满足不同VPN业务的隔离性和安全要求，并简化了路由工作，能较为灵活地满足多种拓扑需求。 BGP/MPLS VPN通过BGP发布VPN路由信息,并使用MPLS转发VPN流量。一个BGP/MPlS VPN网络由客户边缘设备(CE)、业务提供商边缘设备(PE)和业务提供商骨干网设备(P)组成。在调度数据网内，CE为各调度节点的3层交换机以及各厂站接人交换机,PE为各调度节点和厂站的路由器。 骨干网内全网部署MPLS VPN，需要在全网PF上运行MP-IBGP;为降低网络复杂度，避免全 状IBGP会话,减少IBGP的链接数,可通过建立 级的路由反射器来实现IBGP的路由交换。3.2 多VPN结构设计 电力调度生产业务可分为2类:实时监控和非控制生产类。2类业务按安全要求纵向上划分为不同的VPN，实现安全隔离。对于同一业务，即使安全等级一样，由于地理位置、所属行政管理区域不一致，业务上没有互通的需要，也采取一定的隔离措施，横问上划属为不同的VPN，获得更多的安全性。3.3 分层技术部署厂站VPN 常规技术部署MPLS VPN之后，整个VPN内部路由为平面结构，无层次概念，网内路由任何变化将会导致全VPN路由震荡和收敛;对于骨干网应用点涉及国、网、省调及厂站，即VPN业务需部;到厂站，而厂站一般采用低端网络设备，其处理能;与国、网、省调的中、高端设备相差较远，全网路由户同步将依赖于低端设备的计算能力，势必减慢VPN内路由收敛速度，降低网络稳定性，甚至产生循环路由，导致通信异常。 分层PE技术可减少厂站路由器的VPN路由处理压力，符合网络总体层次结构设计:连接厂站的国、网、省调节点设备称为上层PE(SPE)，厂站路由器称为下层PE(UPE)，其他核心和骨干层路由器为普通PE。UPE仅维护其直接连接的VPN节月的路由，不维护VPN中其他远程节点的路由器SPE维护VPN中的所有路由，SPE只发布VRF黑认路由给UPE。 采用分层PE，VPN路由信息更新仅在核心不骨干层路由器(SPE和PE)间进行，收敛时间更快各厂站路由器(UPE)仅需知道直连的VPN路由不需要知道和处理所有的VPN的信息，大大减4了直调厂站节点路由器的处理压力。 鉴于分层VPN技术尚处于网络技术文件草案阶段，同样为减少低端厂站PE路由器的VPN路由处理压力，加快全网路由收敛速度，对于那些不支持分层VPN的网络节点，可采用标准的VRF-to-VRF方式实现厂站PE路由器的接入:在2台PE上为每个VPN分别建立VRF，在每个VRF中，将对方PI看做CE，PE之间通过物理接口或逻辑接口方式区分不同的VPN。该方式采用多自治域，适合在规模较大的接人网络中部署VPN。4 其他几点思考4.1 网络管理 网络管理可通过带内和带外2种方式实现，从成本和技术角度考虑，调度网宜采用带内管理方式。 从调度管理体制出发，调度骨干网宜采用分级管埋模式，可设置1个全域管理中心和6个分区管理中心，全域管理中心设在国调，分区管理中心设在6个网调，即国调负责骨干网主干区的管理，各网调负贡相关子区的管理。 除满足ISO标准五大基本功能(配置、性能、故障、安全、统计计费管理)外，根据调度具体的运行管理需求，网管还应该包括其他一些功能，如报表管理、告警输出等。4.2 网络性能指标 衡量网络的性能指标大致分为网络延迟、网络收敛时间、包丢失率、可用率;性能指标与网络规模、拓扑设计、传输质量、链路带宽、设备配置、设备性能等多种因素有关，在网络设计时需权衡利弊，综合考虑。4.3 QoS 标准IP网络对数据传输提供尽力而为的服务，基于先进先出机制转发，对所有的报文同等对待，对报文传送的可靠性、传输时延等性能不提供保证。 在网络稳定、流量恒定时，调度组网的性能指标符合目前的业务要求。即使业务量增加导致网络流量增加，也可通过带宽扩充解决。但在网络部分故障导致拥塞或有突发流量时，实时性强的调度业务仍要求得到可用性保障，需要网络提供端到端的QoS。 电力调度专网上部署QoS，应以不过多增加系统的复杂度，保证网络的可维护性、可管理性为原则。若能做到网络核心简洁，仅在边缘略微复杂，也是较为理想的解决方案。如何在IP网行之有效的部署QoS仍是业界探索的课题。目前一般采用DiffSer实现QoS。Diffserv体系是否能完全满足调度业务的实时性需求，在工程实施时仍需进一步验证和测试。4.4 网络安全 电力二次系统安全是全方位的整体工程，网络安全是系统安全的一部分。电力调度数据网内部由于网络覆盖面大，承载业务较多，需有相应的安全设计和相应措施，做到有备无患。网络安全主要考虑以下几个方面: a.路由安全:路由协议在对等体之间的认证;关闭网络边缘动态路由协议;确保VPN内部路由和骨干网路由不能相互泄露。 b.业务隔离:通过VPN对安全等级不同的业务进行纵问有效隔离。对于同一业务，即使安全等级一样，由于地理位置、所属行政管理区域不一致，业务上没有互通的必要，也可采取一定的隔离措施，划属为不同的VPN。 c.接入安全:接入端口是网络安全中的薄弱环节，应采用必要的接人认证机制和流量控制手段。 d.访问控制和监测:限定用户的访问级别，只寸网管、远程登录用户应有监控的手段。 e.网络管理:应采用安全增强的SNMPv2及以上版本网管系统。 尺应用系统:应用系统本身应该是安全、可控的，由专用的通信网关接人网络;通信网关的动态路由功能应关闭。5 结语 国家电力调度数据网是为保障三峡工程和全国联网工程的顺利实施，本着统一规划设计、统一技术体制、统一路由策略、统一组织实施的原则而组建，节点覆盖全国大部分网省调。该工程是电力系统第一个全国性规模的lP数据网络，目前工程已进入安装调试阶段，具体实施方案仍在进一步的优化和完善中。该网投运后，全国调度系统(省调以上)将实现IP互联，必将促进各地调度自动化业务的发展，并为日后全国电力市场支持系统的建立打下坚实的基础。