前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇网络流量分析的方法范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
【关键词】流量 分析 抽样 分类 统计
路由器、交换机、宽带接入服务器是构成宽带网络的主要网络设备,一般数据网管系统可以看到每一台设备的CPU、内存、端口流量、路由数据库等网络信息,但这些流量是怎样构成的,会对网络产生怎样的影响,我们无从知晓。对宽带网络流量的深入分析,使网络设备流量监控系统可以监测的数据包括:网络流量构成分析、使用的协议、系统负载、端口分布情况、数据应用统计、数据安全性、发送时间等。网络流量分析应用可以接收来自网络的各种信息,通过对这些数据的分析,网络管理员可以深入了解网络当前的运行状况。下面从几个方面对宽带网络流量分析方法进行探讨:
1 数据抽样
抽样是指从原始数据集中按一定原则抽取部分实例,构成数据子集作为观察对象。抽样的目的是为了代表原始数据集特性的较小的数据集上获得对原始数据集特性的推断。数据抽样的方法包括简单随机抽样,即按照1/k的频率,随机进行抽样;系统抽样按数据包生成的时间顺序,在抽取第一个数据包后,每隔k个包抽取一个包;分层抽样可对标注过的每类应用采用简单随机抽样或系统抽样方式抽取数据包;集群抽样可从多个子数据集中再随机抽取若干个子数据集。
为对数据分布进行准确的分析,要用到几个简单的度量指标,包括算数平均值Mean、算数和S、计数C、最小值Min、最大值Max、极差Ed、中列数Mr、第一个四分位数Q1、第三个四分位数Q3、中位数Median、众数Mode、离群点Outlier等。设n个排序后的观察:
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=(Max-Min)/2
Q1=xn/4
Q3=x3n/4
Median=(x[n/2]+x[(n+1)/2])/2
另外,众数是指数据集中出现频率最高的数;离群点有时又称为歧异值,通常是指数据集中与数据一般行为不一样的样本。
2 流量分类
网络流量分类是依据网络应用协议对应的某些参数或特征,自动将网络流量分成不同流量种类的过程。流量分类一般指将网络流量分为多类,如果是二类分类,则可以使用流量检测、流量识别、流量鉴别等方法。
从网络流量分类针对的目标粒度,由细到粗又可以进一步分为包级(packer-level) 、流级(flow-level)和会话级(session-level)。包级分类基于网络数据包所具有的特征,如包长、包到达间隔时间等,对每个数据包进行分类;流级分类基于五元组(源IP地址、源端口号、目的IP地址、目的端口号和协议)进行分类,除关注包级特征外,通常会进一步考虑流级得指纹特征,统计特征或行为特征;会话级分类基于三元组(源IP地址、目的IP地址和协议)进行分类,适用于简单网络服务环境的流量粗分类。
基于DPI(深度包检测)的流量分类方法通过分析特定应用在通信过程中的传输协议特征串实现流量分类,DPI一般是在应用层内容搜索特征串,如BitTorrent的某个TCP数据包中包含特征串”0x13BitTorrent”。在基于载荷进行DPI的流量分类中,DPI流量分类需要解决如下几个问题:非标应用和私有协议越来越多,它们多缺乏公开可用的协议规范,导致特征串难找易变;某些特征模式的代表性较差,仅能匹配到部分流量,导致检全率较低;随机加密流可能匹配若干模式,导致误检率较高;基于协议语法或数据语义分析需要进行大量计算,导致系统时间和空间开销较大。
3 基于统计学习的流量分析
基于统计学习的流量分析方法通过计算特定应用流量的统计信息,利用各种机器学习算法,包括有监督学习算法和无监督学习算法,对捕获的网络数据包进行鉴别。基于机器学习的网络流量分类通常包含三个步骤:统计特性抽取,单包特征如包长,复合流统计如均值或标准偏差;分类器构造及训练;新流量分类。
基于机器学习的流量分类方法面临以下几个方面的问题:难以确定最有效的特征集,既要选择最佳的n个特征,使分类算法得到最大的分类准确率,同时要求n的值最小;高维特征导致某些算法收敛时间长,计算复杂性较高,若仅参考从数据包头导出的分类特征,如果每个流用于抽取特征的包数为n,则收集每个特征的计算成本将接近n.log2n;某些算法模型可能陷入局部最优;分类准确率高度依赖于样本的先验概率,而训练和测试样本对某类流量可能是有偏样本。
4 总结
宽带网络流量分析是网络运营管理,网络发展规划,网络流量调度和高效能业务前瞻的依据。网络流量分析也是网络攻击和恶意代码检测以及流量清洗的重要手段。随着宽带网络流量的快速增长,骨干网体系架构不断演进、扁平化、网状化、动态自适应成为网络发展的趋势,宽带网络流量分析再次面临巨大挑战,包括:高速网络数据实时无损采集、单向流、协议私有化、加密、P2P、隧道传输、缺乏可信数据集和评估标准,网络流量分析研究工作仍然需要不断深入与创新。
参考文献
[1](美)Nader F.Mir,潘淑文.计算机与通信网络[M].北京:中国电力出版社,2010(01).
[2]余浩,徐明伟.P2P流检测技术研究综述[J].清华大学学报,2009(49).
[3]彭芸,刘琼.Internet 流分类方法的比较研究[J].计算机科学,2007(34).
[4]汪立东,钱丽萍.网络流量分类方法与实践[M].京:人民邮电出版社,2013.
关键词:网络管理;网络流量;监测
中图分类号:TP393 文献标识码:A文章编号:1007-9599 (2010) 14-0000-01
The Flow Monitoring Method of Network Management
Li Jiabin
(Ocean University of China,Qingdao266100,China)
Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.
Keywords:Network management;Network flow;Monitoring
企业局域网的广泛应用为广大企业带来了快速的信息响应、办公效率的大幅提升、经营成本的降低等众多好处。但同时,随着网络技术突飞猛进的发展,网络应用五花八门,企业也不得不面对越来越多的恶意网络攻击与黑客入侵。目前,企业局域网网络安全综合应用了防火墙、入侵监测、漏洞扫描、补丁分发等安全产品,致力于建设集访问控制、流量监测、带宽管理及终端管理等功能与一体的安全管理平台。通过对网络流量的监测,及时发现企业局域网内流量异常的主机,或者根据系统设置的阈值提前预警,从而更好的保护正常业务对网络带宽的需求。所以,网络流量监测是实现对企业局域网运行状况掌握与管理的有效手段。
一、网络流量的特征
(一)数据流是双向的,但通常是非对称的。互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。(二)大部分TCP会话是短期的。超过90%的TCP会话交换的数据量小于IOK字节,会话持续时间不超过几秒。虽然文件传输和远程登陆这些TCP对话都不是短期的,但是由于80%的www文档传输都小于IOK字节,WWW的巨大增长使其在这方面产生了决定性的影响。(三)包的到达过程不是泊松过程。大部分传统的排队理论和通信网络设计都假设包的到达过程是泊松过程。简单的说,泊松到达过程就是事件按照一定的概率独立的发生。泊松模型因为指数分布的无记忆性也就是事件之间的非相关性而使其在应用上要比其他模型更加简单。(四)网络通信量具有局域性。互联网流量的局域性包括时间局域性和空间局域性。用户在应用层对互联网的访问反映在包的时间和源及目的地址上,从而显示出基于时间的相关和基于空间的相关。
二、网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
(一)基于硬件的测量和基于软件的测量。基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。(二)主动测量和被动测量。被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。(三)在线分析和离线分析。有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线地显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。(四)协议级分类。对于不同的协议,例如以太网,帧中继,异步传输模式,需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
三、网络流量的监测技术
根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
(一)基于网络流量全镜像的监测技术。网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。(二)基于Netflow的流量监测技术。Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。(三)基于SN的流量监测技术。基于SNMP的流量信息采集,实质上是通过提取网络设备Agent提供的MIB中收集一些具体设备及流量信息有关的变量。基于SNMP收集的网络流量信息包括:输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数、输出字节数、输出非广播包数、输出广播包数、输出包丢弃数、输出包错误数、输出队长等。在此基础上实现的流量信息采集效率和效果均能够满足网络流量监测的需求。
在综合比较三种技术之后,不难得出以下结论:基于SNMP的流量监测技术能够满足网络流量分析的需要,且信息采集效率高,适合在各类网络中应用。
参考文献:
电力综合数据网的深化应用对异常流量的检测和分析提出了更高的要求。本文通过对电力综合数据网的流量数据结构进行分析,验证了电力综合数据网正常单位流量具有稳定的信息熵。在此基础上,提出了通过对数据流量五元组熵值的分析来判断异常流量的方法,并对综合数据网流量结构进行建模,提出应用支持向量机的算法对异常流量进行识别。
【关键词】综合数据网 异常流量 支持向量机
1 某电网综合数据网流量分析现状
目前某电网公司综合业务数据网以主数据中心和同城灾备中心为核心,与全省各地供电局的综合数据网络核心形成互联,互联链路采用万兆以太网传输技术,形成一个电网综合数据业务传输的承载网平台。具体网络拓扑如下所示:
该电网公司综合数据网络核心日常数据流量已超过1GB,流量监控使用ARBOR流量分析设备来完成,通过Netflow的方式监测骨干层各中心汇聚设备连接到省中心的端口。
目前,该电网公司流量分析系统具备的主要功能包括:
(1)能够得到端到端用户体检的量化数据,包括端到端的全过程响应时间。
(2)能够得到网络传输时延的数据,并考虑到不同数据包大小情况的网络传输时延。
(3)能够得到应用系统各个交互过程的响应时间的数据。
(4)能够根据时间迅速定位流量,并根据地址、端口等信息迅速将所需网络流量数据包检索并抽取出来进行分析。
由以上功能点的统计分析,可以得知,目前该电网的流量分析系统能做到对网络流量的统计及性能分析,但对网络流量异常的做不到良好的预警。
2 流量异常检测方法
自Denning研究异常检测模型以来,网络异常检测方法的研究就一直受到学术界的极大关注。白玉峰研究致力于利用流量大小(如流数、分组数或字节数)来检测网络异常并获得巨大成功,但是这类方法面临的问题是:并非所有的异常都会引起流量大小的显著变化;此外,采用不同的流量测度可能会识别出不同的流量异常,因此仅仅采用一种流量测度并不能识别蕴含在流量数据中的所有异常。
近年来的大量研究表明,不管是局域网还是广域网,网络流量都具有明显的突发性和长相关性,而网络的自相似性特性可以很好地描述流量这些特性,所以,自相似性已成为网络流量的重要特性并以此作为流量异常检测的基础。现今已有大量计算机学科领域的算法和模型被使用在网络流量的异常检测方面,文献采用小波分析方法利用网络流量在时间尺度上的多重分形,在小波域内对网络流量进行分解,通过计算网络流量的Hurst指数,根据正常与异常流量Hurst指数的偏差来检测异常,但该方法Hurst指数与时间尺度紧密相关,只对突发性的流量具有较好的检测效果;文献[1]提出一种融合k-means的聚类检测算法,该文增量地构建流量矩阵,增量地使用PCA主成分进行异常检测,这些方法在全网流量异常时检测效果非常明显,但算法相对过于复杂使其在实时性上较差;文献[2] 使用一种基于信息熵的特征选择算法,降低了检测数据的维数,但增量学习的限制条件比较多,增量学习效率较低。
3 综合数据网流量异常检测
通过上述分析可以看出,数据流五元组的熵值较为稳定,可以通过熵值的变化情况来区分正常流量和异常流量。因此综合数据网异常流量的检测问题也就是通过对数据流量五元组熵值的分析来做出正常或异常的判断。
3.1 异常流量检测模型
针对上文中对流量特性的分析,综合数据网异常流量的检测问题可以理解为通过已有的流量特征据,将现有的流量分类为正常或异常。模式识别理论是利用已有的信息,按照某种特定的规则确定未知的样本的类别属性,模式识别往往被看作是分类问题,让机器自身从环境中分离出某种模式并对未知样本的归类做出合理的判断。因此,可以将模式识别应用于综合数据网的异常力量检测,通过对己有的数据流量的熵值样本进行学习,建立规律模型,利用该模型对未知样本进行分类。
3.2 异常检测算法
首先使用一定数量的正常流量和异常流量数据作为训练样本输入到支持向量机之中,根据这些训练数据输出一个模型,这个模型实际上就是通过样本构造的决策函数。然后将测试数据输入该模型进行分类。
3.2.1 训练阶段
根据信息熵的定义,对样本流量的五元组分别求熵,建立样本流量的五维熵值向量。使用核函数将向量从五维变换到高位,再将数据作为训练样本输入到支持向量机之中,根据这些训练数据构造的一个决策函数。
3.2.2 检测阶段
将检测流量输入模型进行检测,分类结果为1则为正常流量,分类结果为-1即为异常流量。
4 结束语
本文通过对电力综合数据网的流量数据结构进行分析,验证了电力综合数据网正常数据符合重尾分布,且正常单位流量具有稳定的信息熵。在此基础,对综合数据网流量结构进行建模,采用支持向量机的识别算法对异常流量进行识别。实验结果表明,在异常流量比例大于5%的条件下,算法能够检测出网络中的异常数据。
下一步的工作是深入研究电力综合数据网异常流量的类型以及各种异常流量对流量结构的影响,改进检测算法,进一步提升算法的精度。
参考文献
[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering,1987,13(2):222-232.
[2]TORRES R,HAJJAT M,RAO SG,et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA,2009,231-242.
[3]GU G,PERDISCI R,ZHANG J,et al.BotMiner:clustering analysis of network traffic for protocol and structure-independent botnet detection[A].USENIX Security[C].USA.,2008,67-76.
结合校园网络实际面临到的问题,我们应借助网络应用层监测技术,使用相关流控设备,做好流量管控,既可让教育公众双网运作顺畅、有限带宽资源得到有效应用,又可提高网络性能。
关键词:DPI;智能流量管理系统;管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
随着大学校园上网规模的增加,BT、P2P、视频下载等应用风行,尽管已经多次升级线路带宽,却发现上网还是卡,带宽还是不够用。各式病毒攻击也伴随而来,更是恼人的问题。使得校园网流量管理变得异常困难,大量带宽被非核心业务占用,而传统的基于端口和IP的流量管理难以满足要求;面对众多的用户及复杂多元的网络应用,给校园网络管理带来很大的威胁,网络管理人员经常遭遇下列问题:网络占用率较高不能查明原因、带宽不足需优化而缺乏统计数据、网络突然中断不能查明原因等、希望获得详细的网络管理报表用来网络优化或升级需要而没有现成资料。
针对上述校园网络实际面临到的问题,我认为追根究底是要做好流量管控,使用应用层流量分析管理技术和产品,即可实现这方面的管理效果,这就需要做到:1) 了解网络应用流量监测技术;2) 合理的使用流量管理产品。下面,分别就这两方面做以阐述:
1 网络应用流量监测原理及办法
我们知道,传统的流量和带宽管理是基于OSI L2~L4层,通过IP包头的五元组(源地址、目的地址、源端口、目的端口以及协议类型)信息进行分析,通常我们称此为“普通报文检测”。“普通报文检测”仅分析IP包的4层以下的内容,通过端口号来识别应用类型。而当前网络上的一些应用会采用隐藏或假冒端口号的方式躲避检测和监管,造成仿冒合法报文的数据流侵蚀着网络(例如P2P下载软件大多采用动态协商端口机制),此时采用L2~L4层的传统检测方法就无能为力了。
为了识别诸如基于开放端口、随机端口甚至采用加密方式等进行传输的应用类型,网络流量应用识别基本技术DPI、DFI技术应运而生。也有文献称之为业务识别技术。
1.1网络流量应用识别基本技术
1.1.1 DPI
DPI全称为“Deep Packet Inspection”,称为“深度包检测”。DPI技术在分析包头的基础上,增加了对应用层的分析,是一种基于应用层的流量检测和控制技术。当IP数据包、TCP或UDP数据流经过基于DPI技术的流量管理系统时,该系统通过深入读取IP包载荷的内容,来对OSI 7层协议中的应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。
DPI技术通常采用如下的数据包分析方法:
传输层端口分析。许多应用使用默认的传输层端口号,例如HTTP协议使用80端口。
特征字匹配分析。一些应用在应用层协议头,或者应用层负荷中的特定位置中包含特征字段,通过特征字段的识别实现数据包检查、监控和分析。
通信交互过程分析。对多个会话的事务交互过程进行监控分析,包括包长度、发送的包数目等,实现对网络业务的检查、监控和分析。
DPI技术是达到应用层流控目标的基本方法,通过DPI技术,把流细分为对应具体的应用流,在分离流量的基础上,定义带宽通道,从而使网络中的流量根据应用各行其道,优化宽带服务,提高网络运行效率和服务品质,保障关键应用,获得更好的用户体验。
DPI实现应用粒度控制的流程是:识别分析控制报告,其中识别准确度是关键,是评估流控产品的重要指标。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/动态流检测)与DPI进行应用层的载荷匹配不同,采用的是一种基于流量行为的应用识别技术,即不同的应用类型体现在会话连接或数据流上的状态各有不同。DFI更关注于网络流量特征的通用性,因此,DFI技术并不对网络流量进行深度的报文检测,而仅通过对网络流量的状态、网络层和传输层信息、业务流持续时间、平均流速率、字节长度分布等参数的统计分析,来获取业务类型、业务状态。
2 网络流量管理产品
2.1 智能管理
早期的网络流量管理方式是在路由器、防火墙或局域网交换机上使用简单的带宽管理或QOS来实现(至今一些单位的简易流控需求仍沿用这种方式),但这种控制方式需要人为干涉,操作复杂,无法做到智能管理,所以不能满足网络管理中复杂策略的精细程度和灵活程度需要。
智能流量管理系统是一款专业的L7应用层流量管理产品,适用于大中型企业、校园网、城域网等流量大、应用复杂的网络化境;通过监控网络流量,分析流量行为,设置流控策略,分时段、按用户、按应用实现流量控制和带宽保障,全面提升带宽利用价值。智能流量管理系统融合了DPI和DFI两种技术,具有四个显著特征。
1) 精确而广泛的应用识别能力:对应用的识别是进行流量控制的基础。智能流量管理系统应用识别库能覆盖各种主流应用,特别是结合国内网络应用的实际情况,提供对迅雷、QQ等本土应用的识别。另外,智能流量管理系统能够对诸如QQ这种具有即时消息、文件传输、音频视频、游戏等多种子协议的网络应用,提供精细化的子应用识别。
2) 优异的产品性能及安全性保障:智能流量管理系统对用户网络中的所有流量进行处理,能够承受巨大的流量压力,特别是在配置复杂策略情况下,不会造成设备性能的下降。另外,设备是以串接方式接入用户网络,具有良好的安全性,在设备出现运行断电或异常情况时,能够保障用户业务的畅通。
3) 强大的控制能力:智能流量管理系统能够根据用户的实际需求,提供强大而完善的控制手段。通过不同时间段、不同用户、不同网络应用、不同控制动作等条件,实现不同情景下的策略配置。我们知道任何网络流量的使用都和人的因素密不可分,智能流量管理系统能够对用户进行灵活的分类管理,从而使控制策略更加符合实际需要。
4) 清晰而全面的信息查询:智能流量管理系统不仅能实现对网络流量的控制,而且能帮助网络管理者对异常问题进行定位,以及通过网络应用现状的分析实现对网络的优化。智能流量管理系统通过柱状图、饼状图、走势图等图表,以及从不同的分析角度,可向用户提供清晰而全面的实时信息查询、历史日志查询、以及自动生成报表等功能。
2.2 国内外产品介绍
国外厂商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。产品特性能好,解决方案和产品成熟,均有用户管理系统(可能为动态IP环境中使用,将用户帐号和流量策略结合来控制流量),除ACENET外,其主流产品功能相对单一,但非常专业。
国内厂商中,比较优秀的有畅讯信通的QQSG、南京信风、宽广、华为SIG、金御等,国内产品适合国情,国内应用的识别率相对国外产品高,存在问题是产品性能宣传强,但实际使用,尤其是在策略较多情况下性能差,个别产品有POS接口(适合部分国内运营商),价格较国外厂商有较大优势,功能较多,但在流量管理领域,属于发展期,不够成熟。
2.3 设备的选择
2.3.1 硬件技术
流量管理设备硬件技术主要有三种:Intel X86架构、ASIC技术和NP技术,由于X86架构处理速度相对较慢,单个芯片的可扩展性较差,所以大部分厂家的低端产品采用X86架构,高端产品采用ASIC或NP技术,以适用于不同的网络环境需求。
2.3.2 工作模式
1) 路由模式:通过网关模式串接在用户网络链路中,所有流量都通过网关处理,对内网用户上网行为和数据包实施控制、拦截、流量管理等功能。若将设备作为Internet 出口网关,设备的防火墙功能保障组织网络安全,NAT功能内网用户上网,实现基本的路由功能等。
2) 网桥模式:同样串接在用户网络链路中,如同连接在出口网关和内网交换机之间的“智能网线”,对流经流控设备的所有数据流进行控制、拦截、流量管理等操作。网桥模式主要适用于不希望更改网络结构、路由配置、IP 配置的用户。
3) 旁路模式:即在出换机中配置镜像端口,将流控设备的广域网口同镜像端口相连,实现对内网数据包的监听。
采用旁路模式部署的流控设备,将与交换机的镜像端口相连,部署实施简单,完全不影响原有的网络结构,降低了网络单点故障的发生概率。
2.3.3 性能要求
1) 应用协议的识别与分类(种类和准确性),流控策略的普适性及长效性;
有些通过应用层特征码来控制P2P的流控策略,如果不能及时更新特征码或特征码变得不可知,就可能导致流控失败,一个近期的例子:BT通讯协议加密及迅雷通讯协议发生变化导致专门的P2P流控设备失效。好的流控设备不依赖于应用的特征码,因此可以经得起时间及应用软件协议变化的考验。
2) 流控策略的全面性
普通设备的只对P2P应用做控制,好的设备对所有流量的带宽、会话数、总流量和应用做控制。由于流量的多样性,单靠一两种策略是不能管理好的,必须实行全面的流控策略才能达到流量管理的目的。
3) 看监控对象及流控策略的精细度
好的设备既可以监控出口网关处的流量又可以监控来源网络的流量分布;
普通设备的控制精度只能达到IP一级或网关一级,好的设备可以对每一源IP的不同应用分别做带宽及会话数的控制,而且只有这样才能保障关键应用及其它应用的服务质量以及相同等级用户上网体验的一致性。
4) 看流量数据存储及处理方式
好的设备可以将流量数据输出到专门的流量分析工作站,将流量存储、分析、统计、查询功能和流量捕捉功能分开,保证了流量分析设备的运行效率和流量数据存储的可持续性。
5) 应尽可能使用性能可靠、管理方便、特别是在有故障时能够自动旁路的设备,避免故障点的出现。
2.4 设备优缺点
流控设备不是万能的,还要了解其缺点。
首先,因为它的工作原理和防病毒一样属于事后起作用,所以其优点是精准,其缺点是:1) 总有部分(10~30%)流量不可识别,例如IP碎片、加密流量等;2) 性能会持续下降,当特征码越来越多时,性能就会越来越低,这种趋势发展到一定程度就会使流控设备成为网络中新的性能瓶颈;3) 由于要频繁更新特征码,因此一、设备后期维护难度大,总体拥有成本高;二、对厂家的依赖程度高,厂家停产、倒闭等不可抗力因素使得购买其产品成为一种赌博行为。其次,要区别对待基于应用层的带宽分析技术和控制技术,确定有未知流量的存在对于7层带宽分析技术来说是一种间接的成果,但是对于基于其上的带宽控制技术来说就是现实的噩梦,因为它要先识别再做控制,所以这部分流量永远无法得到有效的控制,当某种未知流量短期内突然增大时,流控措施就会马上失效,例如,08年新版迅雷的快速普及就导致了不少流控设备失效,特别是一些国外的设备。
3 总结
综上所述,只有做到网络应用流量监测技术和网络流量管理设备的深入了解,才能针对校园网所面临的问题,选择好适合自己需要的网络流量管理设备,做到“心中有数、有的放矢”。
参考文献:
[1] 聂瑞华.基于DPI技术的校园网络带宽管理[J].计算机技术与发展,2009(4).
[2] 马科.业务识别与管理系统和网络流量的管理[J].现代电信科技,2008(4).
关键词:IP;网络;流量控制;应用
对宽带信息流量进行必要的控制能够保障整个网络平稳、高速的运转,也是开展各种高质网络服务的前提。目前互联网上的大多数流量是基于TCP协议和UDP协议进行传输的,TCP是一种面向连接的传输协议,具有安全可信的特点,而UDP协议是一种无连接的传输协议,适用于一些高效的信息传送任务。UDP因为缺乏传输层的流量管控体制,容易导致对宽带资源的不合理的使用,对TCP传输性能也造成了一定影响。通过IP流量控制技术可以有效的做好基于TCP及UDP协议的流量管理工作,维护信息网络的良好秩序。
1 IP流量去向的分析
IP流量的控制与IP流量的分析密切相关,只有做到良好的流量分析,才能实现对流量的有效管理和控制。目前主要有以下几种常用的流量分析方法。一是以简单网络管理协议为基础的流量分析,这是目前最普遍的一种流量统计手段,它借助于收集网络节点等关键位置的数据流量信息,得知网络重要节点的数据流量的大小,对流量大小的掌握较为精确,但是对数据的出处和流向无法进行有效地监控。二是以DFI为基础的流量分析,它是通过抽样的手段,以一定的比例来采集和记录网络流量信息,可以准确得到各流向数据的比例关系,其缺陷是需要设备开放某些特殊的功能,并在一定程度上降低了设备的性能;三是以DPI为基础的流量分析,它是通过广泛布置的DPI设备获得全面、丰富的流量统计信息,其缺点是投入的成本太高、统计的信息比较繁杂。通过以上三种手段,可以对网络流量的分布、流向和大小都有一个比较具体的了解。
2 IP流量控制的方法
目前存在多种IP流量控制技术,但是根据作用对象的不同,可以将其分为宏层控制和微层控制两大类,宏层控制是一种对全网资源的统筹调控,其技术手段复杂,触及的层面较多,本文着重对微层控制的相关技术手段和原理进行讲述。微层控制面向的对象是数据包,它通过对网络中各节点数据的调动、舍弃和拦截,实现对流量的有效控制。
2.1 对数据的调动
在网络信息传输中,每个端口对信息的吞吐速率都是有限的,当多个数据流共享同一端口时,可能出现输入的数据总量超过端口容纳上限的情况,此时端口对信息的输出速率落后于数据的输入速率,便会采取一种排队处理的机制对数据进行有效的管理。在传统的IP流量控制中,对数据采取的是先来先服务的调动模式,即以时间的先后顺序为优先级对数据进行划分,对先到达的信息进行优先处理,这是一种笼统的数据管理模式,存在一定的缺陷。首先它无法兼顾数据的重要性,如果后到达的数据中包含重要信息,会因为排队等待而增加其延迟,降低数据处理的效率,其次这种数据管理模式对有害数据的侵袭缺乏有效的抵抗力。目前比较流行的是一种基于数据优先级的排队处理机制,这是一种对数据进行“插队”的灵活处理方式,是对传统列队处理机制的一种改进,他在对数据进行排队管理的基础上兼顾数据的重要性。当一些数据包进入端口之后,端口设备首先根据各数据包的重要性确定他们的优先级,然后根据优先情况将他们放至队列中不同的位置,排队等待处理。在这种模式下,优先级越高的数据包越靠前,其延迟就越低,传输性能越高,从而实现了对宽带资源的充分利用。虽然采用优先级的排队处理机制仍然寻在一定的缺陷,但经过不断的技术改进和创新之后,它已经越来越完善和合理,能够实现对网络IP流量的有效控制。
2.2 对数据的拦截和丢弃
在数据的排队处理机制中,队列的长度是有上限的,即端口对数据的缓存能力是有限的。当网络阻塞的情况比较严重时,排队等候的数据总量有可能超过端口的最大缓存,此时端口必须拦截和舍弃部分的数据来维持正常的数据队列。一般会舍去优先级较低的数据,保留优先级较高的数据,虽然这种情况造成了部分数据的丢失和浪费,但是从整体上讲,它维护了网络的畅通,有效保障了整个网络的良好运转。
3 总结
随着信息网络突飞猛进的发展,网络信息流量呈爆炸式的增长,又因为IP网络无固定连接的特性,使得整个宽带信息资源的流动充满无序性和混乱性,宽带资源的合理利用和通讯信息的正常传输正面临着巨大的挑战。本文就IP流量控制技术在宽带中的应用进行了分析,希望能够对我国的宽带网络建设起到一定的指引和帮助作用。
[参考文献]
[1]欧亮,陈迅,沈晨,黄晓莹,吕屹.IP网络流量流向分析与预测技术研究[J].电信科学,2013(07).