第3章网络流量监控技术与方法课件

第3章 网络流量监控技术与方法 概述 本章首先在第2章SNMP相关知识的基础上，介绍远程监视（RMON）、交换机的远程监视（SMON）等技术规范，然后再结合SNMP的网络管理特性，介绍目前在网络流量采集和分析中应用最为广泛的MRTG软件的安装、部署和使用方法。3.1 RMON规范 3.1.1 RMON产生的原因 SNMP轮询存在以下两个明显的不足：一是没有伸缩性。在大型网络中，轮询会产生巨大的网络管理通信量，因而导致通信拥挤情况的发生，严重时还可能会产生网络阻塞；二是收集数据的任务由管理进程来完成，但管理计算机（运行管理进程的计算机）的资源也是有限的。因此，缩短轮询时间间隔不是解决问题的首选方法。RMON规范提出的目的是解决SNMP存在的这一问题。远程网络监视（Remote Network Monitoring RMON）是对SNMP标准的重要补充，是简单网络管理向互联网管理过渡的重要步骤。RMON扩充了SNMP的管理信息库MIB-2，可以提供有关互联网管理的主要信息，在不改变SNMP的条件下增强了网络管理的功能。3.1.2 ROM应用的网络模型 RMON使用SNMP的操作，使用专用于子网监视的监视器收集子网的流量信息，并响应管理站的调用。如图3-1描述了RMON的一个应用实例。图3-1 RMON应用实例RMON的基本概念 通常用于监视整个网络通信情况的设备叫做网络监视器（Monitor）、网络分析器（Analyzer）或探测器（Probe）等。监视器观察LAN上出现的每个分组，并进行统计和总结，给管理人员提供重要的管理信息。通常每个子网配置一个监视器并与中央管理站通信，因此也称其为远程监视器。监视器可以是一个独立设备，也可以是运行监视器软件的工作站或服务器等。监视器可以是一个独立设备，也可以是运行监视器软件的工作站或服务器等。中央管理站具有中央管理站具有RMON管理能力，能够与各个监视器交换管理信息。管理能力，能够与各个监视器交换管理信息。RMON监视器或探测器（RMON Probe）实现RMON管理信息库（RMON MIB）。这种系统与通常的SNMP代理一样包含一般的MIB。另外还有一个探测器进程，提供与RMON有关的功能。探测器进程能够读写本地的RMON数据库，并响应管理站的查询请求，也把RMON探测器称为RMON代理。远程网络监视的功能远程网络监视的功能 RMON定义了远程网络监视的管理信息库以及SNMP管理站与远程监视器之间的接口。一般来说，RMON的目标就是监视子网范围内的通信，从而减少管理站和被管理系统之间的通信负担。更具体地说，RMON有下列功能：离线操作、主动监视、问题检测和报告、提供增值数据、多管理站操作。1 离线操作离线操作 在大型网络中，考虑到网络带宽的利用率，管理站不可能持续对监视器进行轮询操作，必要时管理站可以暂时停止对监视器的轮询。另一方面，当网络发生故障时，也可能导致管理站与监视器之间的通信中断。2 主动监视主动监视 如果监视器具有足够的资源且通信带宽允许时，为了获得准确的流量监控制信息，监视器要能够持续地对网络进行监视和信息记录。3 问题检测和报告问题检测和报告 如果主动监视会占用较多的网络资源，监视器也可以被动地进行监视。4 提供增值数据提供增值数据 在RMON系统中，由监视器收集每一个子网中的数据，并上报给管理站，而管理站并不直接管理子网中的设备，这种方式既有利于实现监视的实效性，也可以减轻管理站的负担。5 多管理站操作多管理站操作 在大型的网络中可能同时存在多个管理站，一方面提高可靠性，另一方面可分散地实现各种不同的管理功能。3.1.4 RMON的工作机制 RMON监视器可以采用两种方法收集数据：1、通过专用的RMON探测器（probe），管理站直接从探测器获取管理信息并控制网络资源，这种方式可以获取RMON MIB的全部信息；2、将RMON代理直接植入到网络设备（路由器、交换机、防火墙、集线器等）之中，使它们成为带RMON probe功能的网络设施，管理站用SNMP的基本命令与其交换数据信息，收集网络管理信息。通过运行在监视器上的支持RMON的代理，管理站可以获得与被管网络设备接口相连的子网上的整体流量、错误统计和性能统计等信息，从而实现对网络的管理。为此，在RMON中，监视器、代理、探测器（probe）的角色是相同的。具体来讲，RMON由以下3部分组成：以太网底层驱动：监视器的工作基本上是对子网上的数据包进行监视。网络底层的工作由端口控制芯片完成，通过底层驱动程序为上层软件提供两种接口：获取数据包和获取以太网统计数据。SNMP、UDP、IP：RMON只是对SNMP的功能扩展，一个基本的SNMP代理及SNMP下的各层协议都是必不可少的。RMON与SNMP通过MIB进行交互，管理站对监视器的配置和对收集的数据的获取都是通过SNMP完成的。当某些异常情况发生时，代理需要主动向管理站报告，因此SNMP还要提供发送SNMP陷阱（Trap）消息的接口。管理信息库：为实现RMON功能，管理信息库应包含MIB所定义的各个对象。RMON所使用的MIB对象必须是SNMP能够识别的，MIB为SNMP和RMON提供读写的接口。3.1.5 RMON MIB RMON MIB由一组统计数据、分析数据和诊断数据组成，不像标准MIB仅提供被管对象大量的关于端口的原始数据，RMON MIB提供的是一个子网的统计数据和计算结果。RMON MIB实际上就是在SNMP MIB中添加了10个对象组，其中9个是针对以太网的，1个是针对令牌环的。以太网统计信息（ethernet statistics）、历史控制（history control）、警报（alarm）、主机（host）、主机排名（hostTopN）、矩阵（matrix）、过滤器（filter）、包捕获（packet capture）、事件（event）和 令牌环（Token ring）。3.1.6 RMON 与RMON相比，RMON的功能特点如下：（1）RMON提供对OSI数据链路层以上的监控。如图3-2所示，RMON对OSI的数据链路层（更确切地说是数据链路层的“MAC子层”）的通信进行监控，而RMON可以对数据链路层以上的通信进行监控。图3-2 RMON和RMON适用的OSI层次 （2）RMON仅可以分析和统计MAC层的通信，监测的是从一个端口流向另一个端口的流量。而RMON可以分析MAC层以上各层的通信，如传输层的TCP或UDP，RMON的范围比RMON增大了。（3）RMON只能监控网络的通信流量和流量占用带宽的情况，而RMON还可以提供不同层的网络应用所占用的带宽情况。（4）RMON可以监控某一个节点使用何种通信协议将数据发送到另一个节点，这样就能够分别统计不同节点之间以及不同应用协议的数据流量分布情况。RMON已深入到了通信过程的深层，可以观察到是哪一个服务器发送数据包，哪一个用户预定要接受这一数据包，这一数据包表示何种应用。（5）RMONII没有取代RMON，而是对RMON的补充。RMONII在RMON标准的基础上提供一种新层次的诊断和监控功能。事实上，RMONII能够监控执行RMON标准的设备所发出的意外事件报警信号。3.1.7 RMON在网络设备上的应用实例1 支持嵌入式RMON的SmartAgent软件 当RMON嵌入到网络设施（如集线器）之中时，它的作用效率更高、经济上更划算。比如通过Smart-Agent软件，3COM公司将RMON代理直接植入进集线器管理模块来自动监控流经集线器的网络会话，而不用将单独的设备（专门的监视器）接入到连通的网段上。2 3COM公司的RMON ASIC 3COM公司通过ASIC（专用集成电路）将RMON的监控功能直接植入到网络基础设施之中。由于3COM公司专门设计的ASIC的主要功能是提高整个集线器的性能，使用ASIC技术的另一个好处是在不用增加额外成本的情况下，就能在硬件上集成其它的先进功能。3.2 面向交换的SMON标准3.2.1 RMON在交换式网络中的限制 如图3-3所示，在共享式网络中所有的端口都连接到同一网段上，网络中任何一台主机发送的数据，都会广播到其他的主机上，因而网络数据的获取比较容易，网络管理相当简单。只要将一个网络分析仪或RMON探测器（probe）像普通主机一样连接到网络上，就可以主动地监控到整个网络中的流量。图3-3 共享网络的管理特点 为了监控整个网络，网络管理员只能在重要的网段上设置一些探测器（带有几个端口），通过这些端口可以同时监控几个网段，如图3-4所示。图3-4 将RMON探测器放置在与多个共享网络互连的网桥或交换机上 如图3-5所示，RMON探测器只有“看到”自身网段的通信情况，而无法获取交换机其他端口上的网络流量。图3-5 交换机上的RMON探测器只能“看到”本端口的流量3.2.2交换式网络中的新技术交换式网络中的新技术 在交换式网络中，RMON探测器除了对连接端口的通信进行监控外，在交换式网络中还提供了VLAN、QoS、链路聚合等技术。VLAN：VLAN（Virtual Local Area Network，虚拟局域网）是在一个物理网络上划分出来的逻辑网络。这个网络对应于OSI模型的第二层（数据链路层）。VLAN的划分不受网络端口的实际物理位置的限制。QoS：QoS(Quality of Service)，中文名为服务质量。它是指网络提供更高优先服务的一种能力，包括专用带宽、抖动控制和延迟（用于实时和交互式流量情形）、丢包率的改进以及不同WAN、LAN 和 MAN 技术下的指定网络流量等，同时确保为每种流量提供的优先权不会阻碍其它流量的进程。QoS是网络的一种安全机制,是用来解决网络延迟和阻塞等问题的一种技术。在正常情况下，如果网络只用于特定的无时间限制的应用系统，并不需要QoS，比如Web应用，或E-mail设置等。但是对关键应用和多媒体应用就十分必要。当网络过载或拥塞时，QoS 能确保重要业务量不受延迟或丢弃，同时保证网络的高效运行。链路聚合（Trunk)：就是构建交换机的冗余链路,达到负载均衡和高带宽的利用的目的.简单的说就是把几个以太网接口捆绑在一起,当作一格通道来利用,不过链路聚合要损失掉物理接口作为代价的,一般不能构建太多.特点：1、提供负载均衡，避免链路出现阻塞现象 2、高带宽 3、增加交换机的可靠性 4、所有VLAN数据都会通过交换机之间的聚合链路。对于聚合链路的通信情况，网络管理员都能了解到。3.2.3 面向交换的SMON 针对上述交换式网络中存在的问题，早期的解决方案主要有两种：1 在交换模块中增加端口复制特性 这种方式是通过在交换模块中增加一种端口复制（Port-Copy）或端口镜像（Port-Mirroring）的特性，将一个或多个端口（源端口）的流量镜像到另一个端口（目的端口，或镜像端口）。在目的端口上连接一个标准的RMON探测器。如图3-6所示，将运行RMON的管理站直接连接在交换机的复制端口上，将交换机与Internet连接的端口设置为被复制端口，这样企业内部局域网中凡是访问Internet的流量都会被镜像到复制端口，并发送给管理站进行分析。图3-6 端口复制应用实例如图3-6所示，将运行RMON的管理站直接连接在交换机的复制端口上，将交换机与Internet连接的端口设置为被复制端口，这样企业内部局域网中凡是访问Internet的流量都会被镜像到复制端口，并发送给管理站进行分析。2在交换机内部使用特殊的计数硬件和开发相应的收集流量信息的软件 在交换机内部使用特殊的计数硬件和开发相应的收集流量信息的软件是早期SMON的另一种有效解决方法。如图3-7所示，其中SMON模块的一个特殊目的是监听交换机背板的数据流量。图3-7 交换监控实体结构示意图3.2.4 SMON的实现 SMON MIB的结构如图3-8所示，其中图中虚线箭头表示了控制表和结果表之间相互作用的过程。图3-8 SMON MIB结构示意图3.2.5 SMON 针对三层交换机的应用，IETF（互联网工程任务组The Internet Engineering Task Force）提出了SMON标准。它可以实现第三层及更高层交换环境的监控，SMON不仅能够对主机的IP分组流量独立进行统计，且能够统计位于其他子网中的IP主机的流量，另外SMON还可以对每一种应用协议进行流量监控。如图3-9所示，在交换机转发表的每一个转发入口处都有一个SMON计数数据块的索引，当使用转发表转发一个分组的时候，SMON计数器库里的计数器就记录这个分组的信息。更具体来讲，在SMON的网络管理环境中，网络管理员可以完成以下的几项工作：定义所要监控的OSI模型层次和应用协议。对整个交换机内不同协议的流量分布情况进行统计。对与交换机相连的IP和IPX子网上的流量进行监控。对主机之间（同一网段或不同网段）的通信流量进行监控。图3-9 计数器模块工作示意图3.3 实验操作1：利用MRTG进行网络流量监测3.3.1 MRTG简介 MRTG（Multi Router Traffic Grapher,多路由器流量图显示器）是一款免费软件，目前最高版本为2.16.3，可以从MRTG的网站（）上下载。MRTG具有以下特点：可移植性、源码开放、高可移植性的SNMP支持、支持SNMPv2c、可靠的接口标识、常量大小的日志文件、自动配置功能、性能、PNG格式图形、可定制性。目前，MRTG广泛应用于各高校、企业的网络设备流量监测中，如图3-10所示。图3-10 某高校防火培流量监控图 3.3.2 方案设计 考虑到可操作性，在本例中我们将对运行Windows Server 2003的一台主机的通信流量进行监测，实验拓扑如图3-11所示。若没有两天计算机进行本实验，可使用虚拟机软件VMware来搭建实验平台。图3-11 实验环境搭建3.3.3 被监测设备的配置 Windows Server 2003的服务器上的具体操作如下：（1）选择“开始设置控制面板添加/删除程序添加/删除Windows组件”，在打开的如图3-12所示的对话框中选取“管理和监视工具”。图3-12 选取“管理和监视工具”组件（2）单击“详细信息”按钮，在打开的如图3-13所示的对话框中选取“简单网络管理协议（SNMP）”子组件。图3-13 选取“简单网络管理协议（SNMP）”子组件（3）单击“确定”按钮，返回图3-12所示的对话框。单击“下一步”按钮，系统开始从Windows Server 2003安装光盘复制所需要的文件，直到安装结束。（4）选择“开始设置控制面板管理工具服务”，在打开的窗口中选择“SNMP Service”，并确保“状态”为“已启动”，如图3-14所示。同时，也使“SNMP Trap Service”为“已启动”状态，以接收和发送Trap事件。图3-14 启用SNMP Service（5）打开“SNMP Service”的属性对话框，选取“安全”标签项，在打开的如图3-15所示的对话框中配置SNMP。首先单击“接受团体名称”下的“添加”按钮，设置SNMP的共同体（团体，community）名称，这里设置为通用的“public”（在真实的网络环境中配置时，建议读者不要这样设置），权限为“只读”；然后选取“接受来自这些主机的SNMP数据包”选项，单击“添加”按钮，在打开的对话框中添加网管工作站的IP地址（172.16.2.15，见图3-11）。这样设置的目的是增加服务器的安全性，SNMP仅接受来自网管工作站的SNMP查询信息。图3-15 配置SNMP的安全属性（6）单击“确定”按钮，Windows Server 2003上SNMP的安装和配置操作全部结束。其他选项建议使用系统默认的设置。3.3.4 MRTG网管工作站的安装和配置MRTG网管工作站的安装需要三个步骤：安装IIS、安装ActivePerl软件、安装和配置MRTG软件。1 安装IIS2 安装ActivePerl软件3 安装MRTG软件（1）在IIS安装目录的c:inetpub目录下创建一个目录mrtg，用于存放MRTG的监测信息。（2）由于MRTG是一个采用Perl编写的程序，所以不需要进行安装，可以将下载的文件解压到某个目录下，本实验为C:MRTG。（3）选择“开始运行”，在打开的对话框中输入“cmd”命令，进入“命令提示符”窗口。（4）由于MRTG软件已释放在c:mrtg目录下。所以需要在C:提示符下输入“cd mrtgbin”进入c:mrtgbin目录。然后，输入“perl mrtg”命令，如果Perl和MRTG软件运行正常，将出现如图3-20所示的提示信息。图3-20 使用perl mrtg命令测试Perl和MRTG软件（5）执行cfgmaker，生成cfg文件。这一步的操作非常重要，而且涉及到了许多配置信息，希望读者在了解本实验环境的基础上，认真输入。为此，对主要配置信息进行如下规划和说明：被监测设备的IP地址为172.16.2.10，SNMP的共同体名（community）为public。cfg输出文件放置在c:mrtgbin目录中（系统默认），名称为win2003.cfg（用户自定）。MRTG的监控页面文件放置在c:inetpubmrtg目录中，主页面文件名为index.htm。为了便于查看，生成的MRTG页面图是以bit为单位进行显示的，系统默认以Byte为单位显示。可通过“options_:growright,bits”来实现。MRTG的统计分析界面使用中文（language:chinese）。在此基础上，在c:mrtgbin目录下进行如下的操作（注意斜体字部分）：C:mrtgbinperl cfgmaker-global“WorkDir:c:inetpubmrtg”-global“language:chinese”-global“options_:growright,bits”-ifref=nr-ifdesc=nr-noreversends win2003.cfgIfref：用来设置用什么选项来识别接口：nr,ip,eth,descr,name nr:用MIBII库中的Interface接口的ifIndex来识别接口 ip：使用IP地址来识别接口 eth:使用MAC地址来识别接口 descr:使用接口的描述信息来识别接口 name:使用接口名来识别接口Ifdesc：设置用什么选项来进行端口描述 ifdesc=nr 表示interface description uses Interface Number ifdesc=alias 表示将端口描述description作为图片提示语 图3-21是以上操作的截图。图3-21 perl cfgmaker操作的截图如果被监测的设备有多台时，可以同时将被监测设备的SNMP共同体名及IP地址的对应关系以“共同体名IP地址”的形式加入到以上命令行中，如：C:mrtgbinperl cfgmaker-global“WorkDir:c:inetpubmrtg”-global“language:chinese”-global“options_:growright,bits”-ifref=nr-ifdesc=nr-noreversends win2003.cfg（6）设置MRTG网管工作站对被监测设备的SNMP轮询时间。需要在c:mrtgbin目录下进行：C:mrtgbinecho RunAsDaemon:yeswin2003.cfgC:mrtgbinecho Interval:5win2003cfg在以上配置命令中，其中“RunAsDaemon:yes”是让系统一天24小时不间断监测，并自动刷新，“Interval:5”是让网管工作站每隔5分钟对被监测设备进行一次SNMP轮询操作，即每隔5分钟从被监测设备读取一次数据。（7）使用indexmaker生成报表的首页文件，文件名为index.htm，存放在c:inetpubmrtg目录下。具体操作为：C:mrtgbinperl indexmaker win2003.cfgc:inetpubmrtgindex.htm（8）运行MRTG：C:mrtgbinperl MRTG logging=win2003.log win2003.cfg其中，win2003.log为生成的日志文件。（9）进行测试。经过以上的操作后，MRTG网管工作站的主要功能已经配置完成了。这时，在任何一台与网管工作站相连的计算机的IE的地址栏中输入，就可以打开如图3-22所示的报表页面。图3-22 MRTG分析页面（10）将MRTG配置为系统服务。由于MRTG需要由Perl编译执行，不能直接添加成为Windows的系统服务，所以要用到Windows的两个附加程序Srvany.exe和Instsrv.exe，其中Srvany.exe用于将一个程序注册为一个服务，而Instsrv.exe用于创建系统服务。这两个文件可在Windows XP Professional Resource Kit中找到。具体操作如下：首先将Srvany.exe和Instsrv.exe两个文件复制到c:mrtgbin目录下，接着执行以下的操作将MRTG添加为系统服务：C:mrtgbininstsrv MRTG“C:MRTGbinsrvany.exe”然后运行regedit命令，打开注册表编辑器，在HKEY_LOCAL-MACHINESYSYTEMCurrentControlSetServicesMRTG中添加一个parameters子健。在该子健中添加以下的内容（具体配置情况如图3-27所示）：Application字符串值，内容为c:perlbinperl.exe，目的为运行perl程序。AppDirectory字符串值，内容为C:MRTGbin，目的为设置MRTG程序目录。AppParameters字符串值，内容为MRTG-logging=win2003.log win2003.cfg。图3-27 在注册表parameters子健中添加的内容p经常不断地学习,你就什么都知道。你知道得越多,你就越有力量pStudyConstantly,AndYouWillKnowEverything.TheMoreYouKnow,TheMorePowerfulYouWillBe写在最后感谢聆听不足之处请大家批评指导Please Criticize And Guide The Shortcomings结束语讲师：XXXXXX XX年XX月XX日