第三讲-IP网络测量课件

本章内容v一、网络测量的概念一、网络测量的概念v二、测量方法二、测量方法v三、网络性能测量结构三、网络性能测量结构v五、测量实现五、测量实现v 1、时延测量、时延测量 v 2、带宽测量、带宽测量 v 3、流量测量、流量测量 v 4、拓扑测量、拓扑测量v六、时钟同步方法六、时钟同步方法本章内容一、网络测量的概念1一、网络测量的概念 v1、概念、概念v网络性能是一系列对于运营商和用户有意义的、可用于系统设计、配置、操作和维护的参数进行测量所得到的结果。v网络测量就是遵照一定的方法和技术，利用软件和硬件工具来测试或验证表征网络性能的指标的一系列活动的总和。v网络测量包含以下三个要素：测量对象，也就是被测量的节点和链路，以及待测量节点、链路或网络的某种或某些特性；测量环境，包括测量点的选取，测量时间的确定，测量设备、通信链路的类型等；测量方法，也就是针对某一具体的网络行为指标，选取合适的测量方法。一、网络测量的概念 1、概念2网络测量的概念v测量方法应该满足三个方面的要求：稳健性，即被测网络的轻微变化不会使测量方法失效；可重复性，即同样的网络条件下，多次测量结果应该一致；准确性，即测量结果应该能够反映网络的真实情况。v网络实体是网络测量的对象。网络实体可分为节点和路径。一个节点并不一定是一个简单的物理实体,它可以是一系列的设备(包括一个自治系统、一个交换机或一个虚拟的节点)。一跳路径是从一个节点到另一个节点的单向连结，在2个节点中的路径作为测量端点。网络测量的概念测量方法应该满足三个方面的要求：稳健性，即被测3网络测量的概念v2、测量的参数定义、测量的参数定义v网络性能参数在国际标准化组织 ITU-T（国际电信联盟远程通信标准化组织(ITU-T for ITU Telecommunication Standardization Sector)和 IETF 的 IPPMWG（IP Performance Metric Working Group）工作组分别进行。v(1)ITU-T 定义的 IP 网络性能参数v IP 包传输延迟（IPTD：IP Packet Transfer Delay）v IP 包延迟变化（IPDV：IP Packet Delay Variation）:参考一个估计值v IP 包误差率（IPER：IP Packet Error Ratio）v IP 包丢失率（IPLR：IP Packet Loss Ratio）v 虚假 IP 包率（SIPR：Spurious IP Packet Ratio）v IP 包吞吐量（IPPT：IP Packet Throughput）v 基于字节的 IP 包吞吐量（IPOT：Octet based IP packet throughput）网络测量的概念2、测量的参数定义4网络测量的概念v(2)IETF 定义的 IP 网络性能参数v IP 连通性：连通是网络服务的基本假设。v 单向延迟v 回路延迟v IP 包丢失率v IP 包的延迟变化：IP 包的延迟变化是在RFC3393 中定义的。它基于度量值单向延迟，定义为同一数据流中的 2 个包的单向延迟之差。v 从定义可看出，2 个标准化组织制定的网络性能参数包括：延迟，延迟变化，丢包率等。网络测量的概念(2)IETF 定义的 IP 网络性能参数5网络测量的概念v3、测量的误差、测量的误差v（1）网络测量中的误差v 精度表示测量工具设计时所允许的最大误差。v 准确性是由于测量设备本身固有的局限，而在其结果中引入大量的人为的各种不同类型的偏差。v（2）测量误差的修正与校准v寻找一些有助于在数据分析中检测误差、错误和错误概念的技术对于测量来说是非常重要的研究方向，这些即为修正或校准技术。网络测量中有四种基本的校准方法：检验特殊数据；自一致性检查；采用多种不同的方法来检验特殊数据；自一致性检查；采用多种不同的方法来测量一个对象并比较测量结果；利用人工合成的数据对测量一个对象并比较测量结果；利用人工合成的数据对测量分析系统进行评估。测量分析系统进行评估。网络测量的概念3、测量的误差6网络测量的概念v4、网络测量的应用、网络测量的应用v(1)故障诊断v(2)协议排错v(3)网络流量特征化v(4)性能评价或QoSv(5)其他用途网络测量的概念4、网络测量的应用7二、测量方法二、测量方法v1、拓扑测量与性能测量、拓扑测量与性能测量v 拓扑测量指的是测量网络的拓扑结构或者逻辑拓扑关系图，以及具有地理信息的拓扑图。v 性能测量的内容包括时延、吞吐量、丢包率等，同时可以分析网络的可靠性、稳定性和有效性。v2、单点测量和多点测量、单点测量和多点测量v根据测量环境中地点的分布，可以把网络测量分成单点测量和多点测量。二、测量方法1、拓扑测量与性能测量8测量方法测量方法v3、主动测量与被动测量、主动测量与被动测量v 主动测量向网络中传送特定的探测包，通过对探测数据包所受网络影响而发生特性变化的分析，得到网络性能参数和网络行为参数。v 被动测量通过在网络中的一个或多个网段上借助包捕获器（如sniffer）捕获数据的方式记录网络流量，并对流量进行分析，被动地获知网络行为状况。被动测量不必主动发送测量包，不会对网络的正常流量带来影响，因此又被称为非侵扰式测量。测量方法3、主动测量与被动测量9三、网络性能测量结构 v网络性能测量平台采用分层结构进行组建。分为四层如图所示。三、网络性能测量结构 网络性能测量平台采用分层结构进行组建。10网络性能测量结构v1、数据采集层：、数据采集层：v 负责完成各种网络基本性能数据的采集工作。数据采集层实体向被测网络发送探针/记录相关信息，根据需要有选择地从网络中抽样采集数据，并在必要时与路由器进行通信获取相关数据。网络性能测量结构1、数据采集层：11网络性能测量结构v2、数据存储层：、数据存储层：v 完成网络性能相关数据的分布式存储。不同类型的数据需采用不同的存储策略。v 网络拓扑数据，在测量任务生成、测量结果数据后处理及其展现等工作中都会被使用，需集中存储，并保证其具有很高的访问效率。v 网络基本性能数据，如每个探针在网络中经历的时延记录等(数据量非常大）经过汇总分析后可以得出更能说明网络性能状况的统计数据。因此，对于基本性能数据，可以将其存储在采集数据的主机上，并在适当的时候删除。网络性能测量结构2、数据存储层：12网络性能测量结构v3、数据处理层：、数据处理层：v 在测量平台采集到的基本性能数据基础上，利用多种算法从时间尺度、空间尺度等多个方面对数据进行分析与处理，完成误差纠正、异常数据过滤、统计计算等功能，将网络基本性能数据抽象为便于用户分析网络行为、定位网络故障、解决网络性能问题的测量结果数据。如根据测得的端到端路径性能数据推测各链路的性能，便于用户寻找网络性能瓶颈等。网络性能测量结构3、数据处理层：13网络性能测量结构v4、数据展现层：、数据展现层：v 将测量平台测量所得的数据、分析所得的结果，以更加人性化的方式展现给用户，并根据需要将相互关联的数据以多种形式综合表现出来，便于用户发现数据间深层次的关联关系，以解决用户所关心的问题。网络性能测量结构4、数据展现层：14五、测量实现五、测量实现v1、时延测量 v 影响网络传输时延的因素很多，主要分为三大类：v 网络本身的性能网络本身的性能；v 测量数据包的特定性能；测量数据包的特定性能；v 当前的网络流量。当前的网络流量。v 时延测量首先要消除测量中出现的随机性。如同任何测量一样，对网络的时延测量存在很大的随机性。其次是对单向时延的测量，必须保证网络入口点和出口点的时钟同步。如果时钟不同步，则单向时延测量会有很大的时钟误差。五、测量实现1、时延测量 15测量实现测量实现v网络分组的时延Dtotal是一个随时间变化的随机变量，由固定时延Dfix和可变时延Dvar两部分构成。固定时延Dfix是基本上不变的，它由传播时延dp和传输时延dtran构成。传播时延dp由固定的物理传输介质确定并且是固定的。传输时延dtran由分组大小和链路的容量决定，一个分组的大小一旦固定，通过的链路容量便是固定的，其传输时延dtran也是固定的。因此分组时延Dtotal可以用公式描述：vDtotal=Dfix+Dvar=dp+dtran+Dvar测量实现网络分组的时延Dtotal是一个随时间变化的随机变量16测量实现测量实现v固定时延可以看成与分组大小成线性的关系。假设网络入口和出口之间由N条链路构成，第i条链路的容量为Ci，分组的大小为s，链路i的传播时延为dip，则固定的时延可以用下式描述：v 测量实现固定时延可以看成与分组大小成线性的关系。假设网络入口17测量实现测量实现v分组时延中的可变时延是由很多因素造成的。它可以分成：v 中间路由器处理时延v 排队等待时延v 分组的时延具有突发性和偶然性，为了能够使测量结果尽可能地反映网络的真实情况，可以采用低通滤波的方法来消除随机性。测量实现分组时延中的可变时延是由很多因素造成的。它可以分成：18测量实现测量实现v2、可用带宽测量、可用带宽测量v带宽的概念包括链路带宽和有效带宽。v 链路带宽是链路自身的容量，不因链路中其他流量的存在而改变。v 有效带宽是某一时刻在给定链路上发送数据可用的最大带宽，会随该链路中背景流量的变化而变化。有效带宽是动态的，因此对它进行测量比较困难。v对网络带宽测量的研究上作主要集中在两个方面：v 端到端(end-to-end)带宽测量：端到端带宽测量是对源、宿两端之间的网络路径的带宽参数进行测量，包括端到端的瓶颈带宽测量和端到端的可用带宽测量；v 逐跳(per-hop)带宽测量：主要是测量网络路径上各段链路的带宽参数，着重于测量逐跳链路的带宽值 测量实现2、可用带宽测量19测量实现测量实现v 可用带宽通常是指一段时间内的平均可用带宽。v测量困难：没有统一的可用带宽的准确定义；可用带宽随时间不断变化；长时间内,它的变化范围比较大。v 目前测量可用带宽的几种方法通常都做了如下假设：时间平均后的链路使用率是一个常数。网络路径上的业务负载相对稳定、这个假设在短时间内相对合理 测量实现 可用带宽通常是指一段时间内的平均可用带宽。20测量实现测量实现vSLoPS技术技术v SLoPS（Self-Loading Periodic Stream,自加载的周期性探测流技术）的基本原理为：源端发送数目为K的等长探测分组到接收端(分组流以一定的速率持续)，然后监测探测分组单向时延的抖动。这里假设链路遵循先来先服务的规则。如果以T为周期发送长度L的K个分组，那么发送速率R=L/T。如果流发送速率R比路径的可用带宽A高(R A)，会导致探测分组流在可用带宽最小链路中排队而造成短时过载，发送分组的排队时延呈上升趋势，因此接收端监测的单向时延Di(i=1，2，,K)呈上升趋势，如果流发送速率R比路径的可用带宽A低(RA，发送者下一个周期发送数据流的速率R(n+1)R(n)。vR(n+1)可以采用如下方式计算：v IF R(n)A,Rmax=R(n)；v IF R(n)=A,Rmin=R(n)；v R(n+1)=(Rmax+Rmin)/2v Rmax和Rmin分别是第n+1次探测流之前的发送速率上限和下限，最初Rmin=0，Rmax设置为端到端路径带宽或者某一较大值。测量实现发送者用不同的速率R(n)发送一系列分组来探测路径，22测量实现测量实现v3、流量测量、流量测量v 目前的研究中，网络流量的测量多采用被动方式，其数据采集主要有两种方法：直接读取MIB对象的流量信息和网络侦听。v这里介绍基于 SNMP 的被动流量测量。v 基于 SNMP 的被动流量测量方法，通过设置一定范围内的管理站，按一定频率收集网络上各设备代理的信息。该方法只要求确定合理的需要查询的网管代理，故当网络拓扑发生改变时可及时更新。测量实现3、流量测量23测量实现测量实现v SNMP 由管理站（Manager）、代理（Agent）、管理信息库（MIB）以及 SNMP 协议 4 个部分组成。Agent 是常驻在被管对象上的软件，它接收来自Manager 的指令和发送响应信息，操作 MIB 并对网络设备进行监控和配置。Manager 和 Agent 通过发送 SNMP 消息进行通信。SNMP 协议提供了 Get，Set 和 Trap 三类操作：Get 操作实现对被管对象所表示的管理信息的读操作；Set 操作实现对被管对象的管理信息的写操作，从而实现对设备的控制和配置；在被管设备出现异常时则使用 Trap 操作，实现 Agent 向 Manager 报告异常事件。SNMP 协议运行在 UDP 协议之上，利用 UDP 协议的 161/162 端口进行通信。测量实现 SNMP 由管理站（Manager）、代理（Age24测量实现测量实现测量实现25测量实现测量实现测量实现26测量实现测量实现v 被管设备将管理对象信息存放在管理信息库MIB（Management Information Base）中。MIB 遵从管 理 信 息 结 构 SMI（Structure of Management Information），存放设备或者网络运行状态的信息。MIB 以树状分层结构组织和管理代理中的各种被管对象，管理对象被定义为树中相应的叶子节点。而且 OSI 为树中每个节点定义一个唯一的数字标识，每层中的数字标识从 1 开始递增，这样树中的每个节点都可用从根到目的节点的相应标识对应的一连串数字来表示，称为对象标识符（Object Identifier，OID）。测量实现 被管设备将管理对象信息存放在管理信息库MIB（Ma27测量实现测量实现测量实现28测量实现测量实现测量实现29测量实现测量实现v4、拓扑测量、拓扑测量v 可可用用于于拓拓扑扑测测量量的的协协议议：Ping、Tracert、SNMP、DNS、ARP、OSPF、RIP 和BGP 等。v以SNMP为例：v SNMP MIB-II(RFC 1213)提供了访问路由表的方法，而且几乎所有的路由器都支持MIB-II，从而可以利用SNMP MIB来实现网络拓扑的自动搜索。MIB-II中与网络拓扑有关的组和对象如下。测量实现4、拓扑测量30测量实现测量实现Interfaces组组v (1)ifNumber对象:记录着一个网络设备所具有的接口总数。v (2)ifTable对象;则是一张表，表内的每一个记录表示一个接口，每一个字段表示某一个接口属性，包括接口索引(ifindex)，接口类型(ifType），接口的最大协议数据单元大小(ifMtu)和接口物理地址(ifPhysAddress)等。测量实现Interfaces组31测量实现测量实现IP组组v (1)ipForwarding:用于表示网络设备是否被设置为IP网关。v (2)IP地址表(ipAddrTable):包含了与本地IP地址有关的信息。表中的每一行对应一个IP地址，由ipAddrEntIfIndex作为索引项，其值与接口表的ifIndex一致。利用该表可以获取被管设备所有的IP地址，同时结合interfaces组的ifTable表，可以把接口和其IP地址一一对应起来。v (3)IP路由表(ipRouteTable):保存着当前路由设备中的路由信息，它是进行网络层拓扑结构搜索时主要使用的一张表，通过对该表的分析即可得出子网一路由器以及路由器一路由器的关系。测量实现IP组32测量实现测量实现v(1)缺省路由器或默认网关的搜索v 首先，访问拓扑测量程序所在计算机的SNMPMIB-II中的ipRouteTable，如果发现有ipRouteDest值为0.0.0.0的记录，则说明程序所在的计算机设置了默认网关，该记录的:pRouteNextliop值即为默认网关的地址。检查默认网关的ipForwarding值。如果为1，则表明该默认网关确实是路由设备，否则不是。测量实现(1)缺省路由器或默认网关的搜索33测量实现测量实现v(2)子网的搜索v 遍历路由器MIB-II的IP管理组中管理对象ipRouteDest下的所有对象，以每个路由目的网络号为索引，查询ipRouteType字段的值。若该值为3(direct)，则表明这条路由为直接路由;若该值为4(indirect)，则为间接路由。间接路由表明在通往目的网络或目的主机的路径上还要经过其它路由器，而直接路由表明目的网络或目的主机与该路由设备直接相连，这样就得到了与路由器直接相连的网络号。再以这组网络号中的每个为索引，查询其路由掩码(ipRouteMask)。根据路由掩码，就可以确定这组网络中每一个的IP地址范围。测量实现(2)子网的搜索34测量实现测量实现v(3)其他路由设备的搜索v 对于除了默认网关之外的路由设备，查询默认网关MIB-II的IP管理组路由表中类型为间接路由的路由表项，得到路由的下一跳地址(ipRouteNextHop)。下一跳地址给出了与该网关相连的路由设备，仍可以利用上面的方法搜索这个设备的路由表。这样，该方法可以搜索出多个路由设备，并要求将它们所存储的路由表信息进行整合，得到更大的网络拓扑。测量实现(3)其他路由设备的搜索35测量实现测量实现v(4)节点间连接关系的确定v 子网和路由器的连接关系可以在发现与路由器直接相连的子网时得到，路由器和路由器的连接关系可以通过路由表中的ipRouteNextHop得到。v v根据上述方法，可编制深度优先或广度优先算法，发现网络拓扑。测量实现(4)节点间连接关系的确定36六、时钟同步方法六、时钟同步方法v多点合作进行端到端测量时，收发端时钟不同步成为误差来源之一。vVern Paxson利用在一对节点之间进行正向、反向时延测量来确定收发时钟的误差，包括相对偏移(relative offset)和频差(skew)。v线性回归算法(linear regression algorithm)v分段最小算法(piece wise minimum algorithm)v基于线性规划的算法(linear programming)等。六、时钟同步方法多点合作进行端到端测量时，收发端时钟不同步成37看文章看文章v通过SNMP进行流量测量v通过SNMP进行拓扑发现v讲解。vEnd.看文章通过SNMP进行流量测量38