流量控制和应用识别技术详解ppt课件

流控和应用识别技术详解2017年3月22日张茂流控和应用识别技术详解2017年3月22日张茂|2流控技术概述1.应用识别2.流量控制ACE/EG四种应用识别技术：a.DPI技术b.DFI技术a.流控基本概念b.带宽租用c.带宽嵌套d.双速三色令牌桶算法流控技术概述1.应用识别2.流量控制ACE/EG四种应用识别|3基于特征字的DPI识别技术n不同的应用通常会采用不同的协议，而各种协议都有其特殊的指纹，这些指纹可能是特定的端口、特定的字符串或者特定的Bit序列。基于特征字的识别技术，正是通过识别数据报文中的指纹信息来确定业务流所承载的应用。通过对指纹信息的升级，基于特征字的识别技术可以很方便地扩展到对新协议的检测。n下面以Bittorrent协议的识别为例可以对Bittorrent协议的对等协议进行分析来识别，所谓对等协议指的是peer与peer之间交换信息的一种协议。对等协议总是由一个“握手”开始，后面是循环的消息流，每个消息的前面，都有一个数字来表示消息的长度。协议规范中定义：握手是必需进行的，它是由客户端发送的第一条消息。基于特征字的DPI识别技术不同的应用通常会采用不同的协议，而|4Bittorrent协议“握手”消息分析由于对等协议消息是由每个消息的前面一个数字来表示消息的长度，可以确定“19BitTorrentProtocol”就是Bittorrent协议的特征字。因此只要匹配“19BitTorrentProtocol”关键字符串的数据流就可以识别为BitTorrent协议。Bittorrent协议“握手”消息分析由于对等协议消息是由|5DPI识别原理分析DPI识别本身分多个阶段来完成的日常特征收集更新专门的特征收集团队实时跟踪所有要识别的应用，关注应用特征是否变更，并生成新特征库进行发布。设备上会自动更新最新的特征库设备起机初始化阶段设备在起机后，会解析特征库，将所有的特征加入AC状态机。同时每个特征的私有描述符也会形成我司特有的精确匹配状态机用于精确匹配设备转发识别阶段针对进来的报文，首先通过AC状态机匹配，找出多条在特征字符上相匹配的特征针对找出的特征进行精确匹配，确定最终命中的规则。例如：特征字符的位置，同一报文中多个不同特征字符的相对位置等DPI识别原理分析DPI识别本身分多个阶段来完成的|6DPI识别原理分析针对前页“19BitTorrentProtocol”特征字的过程如下日常特征收集阶段分析BT的报文找到改特征，加入特征库在这个阶段，可能有多个应用有类似的特征，例如还有迅雷、电驴也有类似特征。假定区别如下BT的这个特征偏移在UDP载荷的前面，偏移为0的位置迅雷的这个特征在UDP载荷中，偏移10的位置电驴的这个特征在偏移20的位置将上述所有特征用私有描述符写成规则。设备起机初始化阶段设备在起机后，会解析特征库，将所有的特征加入AC状态机。同时每个特征的私有描述符也会形成我司特有的精确匹配状态机用于精确匹配设备转发识别阶段在AC状态机中会匹配命中三条规则在精确匹配阶段，会逐一按照描述符对报文内容进行比对，最终发现特征位置在偏移0的位置，所以命中BT的规则，最终识别成BT。DPI识别原理分析针对前页“19BitTorrent Pro|7内页:标题前红色竖条可自由移动标题(1级):22-24pt标题(2-5级):20-22pt正文:12-18pt颜色:R89 G89 B89中文字体:微软雅黑 英文字体:Arial配色参考方案：建议同一页面内不超过三种颜色，以下是10组配色方案，同一页面内只选择一组使用。（仅供参考）插曲-正则表达式正则表达式是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串正则表达式可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等举例1：如果你想查找某个目录下的所有的Word文档的话，你会搜索*.doc。在这里*会被解释成任意的字符串。举例2：查找所有电话号码b0ddd?-dddddddd?b以0开头，然后是两或三个数字，然后是一个连字号“-”，最后是7或8个数字配色参考方案：插曲-正则表达式正则表达式是指一个用来描述或者|8内页:标题前红色竖条可自由移动标题(1级):22-24pt标题(2-5级):20-22pt正文:12-18pt颜色:R89 G89 B89中文字体:微软雅黑 英文字体:Arial配色参考方案：建议同一页面内不超过三种颜色，以下是10组配色方案，同一页面内只选择一组使用。（仅供参考）DFI技术n与DPI进行应用层的载荷匹配不同，DFI采用的是一种基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态各有不同。例如，网上IP语音流量体现在流状态上的特征就非常明显：RTP流的包长相对固定，一般在130220byte，连接速率较低，为2084kbit/s，同时会话持续时间也相对较长。nDFI识别技术是通过分析应用流量的特征，从流量行为模型特征库中查找匹配相应的规则，从而识别具体应用。n流量模型的建立有两种方法：人工经验建模、机器学习建模。人工经验建模即通过人去观察、分析数据流的统计特征，然后手工建立起数学模型来识别数据流。机器学校建模，即基于机器学习的识别研究的识别规则都是从训练数据中自动学习得到，该类方法有比较坚实的理论基础，同时避免了人工经验的主观性以及观察能力的局限性。配色参考方案：DFI技术与DPI进行应用层的载荷匹配不同，D|9内页:标题前红色竖条可自由移动标题(1级):22-24pt标题(2-5级):20-22pt正文:12-18pt颜色:R89 G89 B89中文字体:微软雅黑 英文字体:Arial配色参考方案：建议同一页面内不超过三种颜色，以下是10组配色方案，同一页面内只选择一组使用。（仅供参考）DFI识别过程DFI识别，是分析数据流的统计特征，通过机器学习的方法建立起数学模型，然后该模型对未知数据流做出相应的判别。主要分为如下几个过程：把已识别数据流作为样本，进行样本数据采集，提取已识别数据流统计特征。对样本数据进行训练，产生分类器。根据训练产生的分类器对实际数据流进行分类，实现对P2P下载流，加密语音流等数据流的模糊识别。配色参考方案：DFI识别过程DFI识别，是分析数据流的统计特|10DPI与DFI识别对比由于DPI技术与DFI技术实现机制不同，故它们在实现效果上各有优点，表现在如下几个方面：nDFI处理速度相对快：采用DPI技术由于要逐包进行拆包操作，并与后台数据库进行匹配对比；采用DFI技术进行流量分析仅需将流量特征与后台流量模型比较即可。nDFI维护成本相对较低：基于DPI技术的带宽管理系统，总是滞后新应用，需要紧跟新协议和新型应用的产生而不断升级后台应用数据库，否则就不能有效识别、管理新技术下的带宽，提高模式匹配效率；而基于DFI技术的系统在管理维护上的工作量要少于DPI系统，因为同一类型的新应用与旧应用的流量特征不会出现大的变化，因此不需要频繁升级流量行为模型。n识别准确率方面各有千秋：由于DPI采用逐包分析、模式匹配技术，因此，可以对流量中的具体应用类型和协议做到比较准确的识别；而DFI仅对流量行为分析，因此只能对应用类型进行笼统分类，如对满足P2P流量模型的应用统一识别为P2P流量。如果数据包是经过加密传输的，则采用DPI方式的流控技术则不能识别其具体应用，而DFI方式的流控技术则不受影响，因为应用流的状态行为特征不会因加密而根本改变。DPI与DFI识别对比由于DPI技术与DFI技术实现机制不同|11流控基本概念n流控通道设备端口、用户组、用户和应用在流控中都被抽象为一个流控通道，上下级流控通道是父子关系，所有流控通道组成一棵分层的流控通道树，设备端口作为抽象出来的顶级流控通道称为根通道。流控通道是流控的基本单位，其一方面是一个缓存队列，用于缓存网络流量，另外一方面可以配置带宽参数，从而决定网络流量的转发量(取决带宽配置)和转发处理顺序(取决流控通道优先级)。n承诺带宽承诺带宽(CommitInformationRate,CIR)为分配给流控通道的带宽额度，即便在拥塞情况下也能保证的带宽大小。子流控通道的承诺带宽之和不能大于父流控通道的承诺带宽，例如某企业出口带宽10M，分配到各个部门后，各个部门的承诺带宽之和不能大于10M。n峰值带宽峰值带宽(PeakInformationRate,PIR)为流控通道最大可以达到的带宽，必须大于等于承诺带宽。如果峰值带宽大于承诺带宽，大于承诺带宽部分即可以借用的带宽大小。n共享池流控通道可以加入和退出共享池，而共享池可以配置带宽限速，用于限制加入共享池的流控通道带宽。对流控通道而言，共享池是除承诺带宽和峰值带宽外，额外的一种带宽限制机制。由于处于不同分组的流控通道可以加入同一个共享池，给流控的带宽限制增加了极大的灵活性。n流控通道调度算法流控通道调度用于决定各个流控通道是否允许转发报文，以及转发报文的顺序。流控通道调度基于两个原则：先保证承诺带宽，然后再进行带宽借用；高优先级流控通道优先调度，相同优先级流控通道轮转调度。流控基本概念流控通道|12带宽租用用户/应用A（不在线）用户/应用B用户/应用A用户/应用B用户/应用B用户/应用A用户/应用B1、当用户/应用A不在线，B可以租用ACE为A保留的带宽！2、用户/应用A上线，B将之前租用A的带宽返还给A！带宽租用用户/应用A（不在线）用户/应用B用户/应用A用户/|13一个带宽租用的例子某企业出口10M，内部划分部门一和部门二，要求：n保证每个部门基本可用带宽5M；n不希望出现带宽的浪费，部门一未使用网络，或者流量未达到5M时，部门二能够充分利用部门一未使用的带宽；一个带宽租用的例子某企业出口10M，内部划分部门一和部门二，|14带宽嵌套解决限速后，全速迅雷下载时，网页基本打不开的问题网页浏览100K迅雷下载900K全网100M带宽（CIR/PIR：100M/100M）二级嵌套：组内每个用户1M保证带宽（CIR/PIR：1M/20M）一级嵌套：用户组分配10M保证带宽（CIR/PIR：10M/100M）三级嵌套：网页浏览保证带宽100K（CIR/PIR：100K/2M），迅雷下载保证带宽900K（CIR/PIR：900K/2M）带宽嵌套网页浏览100K迅雷下载900K全网100M带宽二级|15双速三色令牌桶双速三色令牌桶算法是锐捷改进后的流控技术：n双速双速的含义是指流控支持两个速度设置，CIR(CommitInformationRate)，承诺带宽，为分配给流控通道的带宽额度，即便在拥塞情况下也能保证的带宽大小。PIR(PeakInformationRate)，峰值带宽，为流控通道最大可以达到的带宽，必须大于等于承诺带宽。n三色三色的含义是指RFC2698定义的通道颜色标记方法，当接收到报文的时候，根据报文的字节长度和当前通道的令牌情况，给通道打上不同的颜色标记，根据不同的颜色标记将当前这个报文放入不同的发包队列。最终呈现的效果是对报文的优先级进行分类，不同报文在发送的时候优先级不一样。流控通道状态绿、黄、红，分别代表CIR和PIR划分的三个区间：绿色状态：通道速率小于承诺带宽；黄色状态：通道速率大于等于承诺带宽，但小于峰值带宽；红色状态：通道速率大于等于峰值带宽；双速三色令牌桶双速三色令牌桶算法是锐捷改进后的流控技术：|16双速三色令牌桶实现原理锐捷改进后的算法中，令牌桶和通道是一个类似的概念，算法的核心就是流控通道的调度n调度原则n先保证承诺带宽，再允许带宽借用n内部实现的大概要点n通道状态绿、黄、红，分别代表CIR和PIR划分的三个区间n流控树为一棵倒挂的树，叶子通道为Level0，根通道为Level7，每层都有一个发包链表，链接该层绿色状态，且有报文需要发送的通道n只有叶子通道缓存报文，因此所有调度最终需要走到叶子通道n黄色通道下发包链表，加入父通道的令牌借用链表，然后父通道根据本身状态加入发包链表或者祖父的令牌借用链表n红色通道既不在每层发包链表，也不在令牌借用链表，从而被禁止参与调度n调度上，从Level0往Level7，调度每层发包链表；如果得到调度通道非叶子，通过其令牌借用令牌查找叶子通道，进行调度发包双速三色令牌桶实现原理锐捷改进后的算法中，令牌桶和通道是一个|17双速三色令牌桶实现原理通道调度图解假设当前有5个通道，其中A是根通道，B和C是A的子通道，D和E是B的子通道。其中C通道的优先级设定的比D通道搞。在这个例子里，CDE都是最末端的叶子通道，只有这3个通道才会真正发送报文。n在如上的假设场景中，此时优先级不同的通道C和D有报文要发送，在Level0的不同发包链上，那么如下图所示双速三色令牌桶实现原理通道调度图解假设当前有5个通道，其|18双速三色令牌桶实现原理通道调度图解n通道D变成黄色后，加入父通道B的令牌借用链，同时通道B加入Level1的发包链表。注意：根据调度原则，始终从Level0开始调度，通道C会始终得到调度，直到其变成黄色或者红色状态。双速三色令牌桶实现原理通道调度图解通道D变成黄色后，加入|19双速三色令牌桶实现原理通道调度图解n这幅图是上面经过怎么样的过程来的呢？双速三色令牌桶实现原理通道调度图解这幅图是上面经过怎么样THANKS锐捷网络股份有限公司地址：北京海淀区复兴路29号中意鹏奥大厦东塔A座11层邮编：100036OfficeTel:010-51715999Fax:010-流量控制和应用识别技术详解ppt课件