大数据网络应用

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇大数据网络应用范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

大数据网络应用范文第1篇

>> 数据挖掘技术在网络入侵检测中的应用 数据挖掘在网络入侵检测中的应用分析 浅析数据挖掘在网络入侵检测中的应用 基于蚁群聚类算法的数据挖掘技术在网络入侵检测中的应用 数据挖掘技术在网络入侵检测系统中的应用 入侵检测技术在网络安全中的应用 数据挖掘在网络入侵检测系统中的应用研究 神经网络在网络入侵检测中的应用 应用于网络入侵检测的数据挖掘技术 神经网络技术在网络入侵检测模型及系统中的应用 入侵检测系统在网络信息安全中的应用 基于孤立点挖掘的入侵检测技术在网络安全中的应用 入侵检测技术在网络安全中的应用与研究 人工免疫技术在网络入侵检测系统中的应用 浅谈协议分析技术在网络入侵检测系统中的应用 入侵诱骗技术在网络安全中的应用 大数据技术在网络招聘中的应用研究 基于神经网络的BP算法研究及在网络入侵检测中的应用 数据挖掘技术在计算机网络入侵检测中的应用 基于主机和网络入侵检测的数据挖掘技术 常见问题解答 当前所在位置：，2016，5.

[2] 陈春.基于数据挖掘技术的计算机网络病毒防御分析[J].信息通信，2015（05）.

[3] 黄霜丰.基于大数据分析的通信网络监控体系[J].广西通信技术， 2015（01）.

大数据网络应用范文第2篇

对于传统企业来说，大数据是传统企业往互联网+方向改造的必经之路，可是传统企业如何将业务、产品、管理等进行数据化改造成为企业关注的焦点。对于互联网企业来说，数据就是石油。诸多企业都意图通过内部数据的深入挖掘，进而获得更好、更明智和更有效的商业决策，然而现实是企业内部的庞大数据还处于相互割裂状态，其价值很难得到挖掘和体现。只有打破这种数据沉睡、割裂的状态，营造出大数据的生态环境，才能真正把大数据的价值体现出来。

奥维云网（AVC）董事长喻亮星在2016中国大数据创新应用大会上表示，现在所有的大数据公司都面临着一些变现的问题，其实大数据变现是业界的一个共同难题，奥维云网结合自身优势去转化，从而形成多款大数据产品。涵盖了家电、家庭互联网用户、酒店、金融四大领域，研发出市场罗盘、产品指南、价控卫士、评价管家、直播收视监测平台、酒旅魔方、动产融资等产品，当然，这仅仅是“奥维大数据战略”的冰山一角。奥维云网（AVC）开发的大数据产品，具有很强的延展延伸性，后续可以延伸到更多业务场景，接下来还会开发更多跨领域的应用场景的大数据产品，目前已经列出20个大数据产品开发计划，预计2016年再上线8？10款大数据产品。

彩电业机遇与挑战并存

大数据网络应用范文第3篇

本文通过对云计算以及4G网络的定义和特点进行分析，提出了在4G移动网络平台上采用云计算技术处理城市智能交通系统中的大数据问题，主要是结合二者的优势分析智能交通系统的功能，并加以实现，这将给缓解交通压力、提高行车效率等提供便利。最后对未来智能交通系统开发与应用进行展望。

关键词：4G网络；大数据；云计算；智能交通；交通云

随着人们生活水平的提高，汽车逐渐进入到普通家庭，这无疑对道路交通的要求也越来越高，为提高道路行车效率，迫切需要建设一个高性能的智能交通系统（IntelligentTransportationSystems，ITS），以满足大家的需求。

1智能交通系统的概念

智能交通系统（IntelligentTransportationSystems，ITS）指的是建立在较完善的基础设施之上，将先进的信息技术、计算机处理技术、数据通讯传输技术、电子传感技术及电子控制技术等有效组合在一起，并运用于整个交通运输管理体系中，从而能够在大范围、全天候发挥作用，建立起的一种准确、实时、高效的综合运输和管理系统[1]。依据智能交通系统的概念，我们可以看出，为了解决社会不断增加的交通需求与有限的道路资源之间的矛盾，使有限的道路资源能被充分利用，提高人们的出行效率，保障人们出行安全，智能交通系统作为信息、通信、传感与控制技术综合运用的产物，能给人们带来便捷。但目前，我国城市交通仍面临着许多严重问题，如成都，作为西南地区的一个大型城市，虽然其承载能力越来越强，路网体系也日趋完善，但随着汽车保有量的强劲增长，道路供需关系依然非常严峻。据成都市交管局数据显示，截至2014年3月，成都地区的汽车保有量突破268.59万辆大关，中心城区突破114.18万辆，这个数据仅次于北京。而且成都已月均增2万新车，并持续了62个月。一天就会产生数百亿条GPS数据，而车牌识别信息、交通监控视频信息等数据量更大，交通相关的数据量也早以从TB级跃升到PB级[2]，因此，如果要实现对城市道路的交通流量信息、交通状况、交通违法行为等的全面监测，特别是承担在交通高峰期采集、处理及分析大量的实时监测数据的工作，整个平台的运行压力将会非常巨大，大数据（bigdata）就此产生，大数据分析交通除了流量及车辆的相关信息外，还必须包括路面情况、天气、突况、周边环境等诸多因素，传统的交通数据分析法已很难有效处理如此庞大的数据的问题。城市智能交通应具备的特点和需求分析如下。

1.1数据信息海量化

整个城市的交通行为主体作为城市智能交通的分析对象，海量数据必然成为固有特性。

1.2应用负载变化大

城市交通流特性呈现出区域关联性强，随时间变化大的特点，系统需要根据实时的交通流数据，做出全面采集、分析、处理等。而传统的智能交通方案由于无法在全局上统筹，往往会因此陷入彼此孤立的情形。

1.3高稳定性和高可用性

只有要求城市智能交通系统具有高可用性和高稳定性，才能更好地、更快捷地提供畅通、安全、高品质的行程服务，以保障交通运输的高安全、高时效和高准确性，让政府、社会和公众感觉到方便。而目前的很多方案中，由于各生产厂商繁杂、设备类型众多、质量参差不齐，而国内也缺乏统一的标准，这样不仅系统维护成本高，而且也很难做到保持智能交通系统的高稳定性。

1.4数据共享需求

目前，正在建设中的智能城市交通系统，大量的终端设备出自不同的厂商或不同平台，这样就形成了许许多多的信息孤岛，彼此间很难实现共享数据。这在很大程度上影响了系统功能的充分实现，智能交通系统在硬件、接口上应做的统一，从而使行业信息资源的全面整合与共享成为智能交通发挥整体方案优势、整体统筹资源、统一协调的基础。

1.5信息实时处理性能要求高

随着城市交通的拥堵日趋严重，人们在出行时要求能随时随地通过熟悉的方式获取所需的出行计划和实时的出行信息，因此，未来的智能交通需要满足高效性、实时性的要求。

2大数据与云计算技术对智能交通系统的影响与应用

云计算（cloudcomputing）是将计算任务分布在大量互联的计算机构成的资源池上，使各种应用系统能够根据需要获取存储空间、计算力和各种软件服务，该资源池被称为“云”。“云”是指一些可以自我管理和维护的虚拟计算资源，通常包括宽带资源、计算服务器、存储服务器等大型服务器集群[3]。而云计算（cloudcomputing）是一种基于互联网平台的计算方式，为计算资源提供全新的计算模式，其服务方式可动态、伸缩且虚拟化，云计算技术还会将所有的计算资源汇集在一起，并通过软件实现对资源的自动高效管理。这使用户能更加专注于自己的业务，无需为繁琐的处理细节感到烦恼。云计算技术之所以能有效处理和应对交通数据量大、可用性高、稳定性要求高、信息实时处理要求高、应用负载波动大、数据共享需求大等问题，并能实现应用的灵活性，高效整合资源，降低运维成本和总能耗，很大程度上是源于其自身的高可靠性、弹性扩容性好、快速部署及按需服务的特性。云计算技术以其高度的信息部署、优异的扩展性以及自动化IT资源调度，成为解决智能交通面临的问题的关键技术手段，成为一种全新概念的信息服务模式，有助于智能交通系统的快速实现。建设基于“云计算”的智能交通系统，要实现交通信息的动态采集、分析、处理及，并及时向用户提交动态交通信息，报告路况动态变化信息，指导用户出行计划，规划用户行车线路，从而有效提前进行分流拥堵流量，从而提高交通通行效率[4]。其具体应用如下。

（1）城市中的车、人或设备等每个交通终端节点，均可以实时地通过交通云得到基于整个城市交通信息智能分析后提供的服务。

（2）通过综合整个城区的交通流信息及汽车的运行计划信息，每个交通信号灯都得到高效控制，并在面控、立体多维的基础上进行相关预测；城市交通引导系统也可以与交通信息个性化服务进行无缝结合。

（3）为了更智能地提高交通运行效率，拓展一个智能交通信息服务市场，运营商要相应地通过手机基站定位，向用户提供实时的交通信息服务，这些信息与交通控制、引导相结合。随着移动通信网络的发展，从早期的2G网络到3G网络，再发展到当前的4G移动通信网络，4G网络使图像视频传输更加稳定，决策也更具有时效性，并为智能交通系统提供了更多应用的可能，移动网络在智能化交通信息系统中的运用日趋娴熟、准确，使智能交通系统真正、全面、高效地服务于社会，为缓减交通压力做出了更大的贡献。移动网络技术还有效地为智能交通系统的发展提供了新的发展思路。

34G移动网络的网络结构的核心技术及优点

3.14G移动网络的网络结构的核心技术

4G移动网络体系结构从下往上可分为物理网络层、中间环境层、应用网络层。正交频分复用（OFDM）技术是这一代移动通信网络的核心技术，该技术可以为用户提供速率高、时延小的数据交换服务，能达到下行50Mbit/s与上行100Mbit/s的峰值速率。OFDM技术特点包括：具有良好的抗噪声性能及抗多信道干扰能力，可扩展网络结构。

3.24G移动网络的优点

3.2.1通信速度高、灵活性好4G移动通信系统速率可以高达到l00Mbps，甚至是150Mbps。由于4G网络不仅是面向手机，还面向智能手表、控制器、眼镜等移动智能终端设备，这些终端设备极大丰富了人们的生活，使通信变得更加灵活多样。

3.2.2系统兼容性好未来的4G移动网络要面向全球发展，可以预测4G移动网络一定会开放出更多标准化的接口，并与全世界各种网络进行高速通讯、互联。

3.2.3网络采用宽频谱4G移动网络的每个信道会占有100MHz的频谱，是3G移动网络的20倍左右。

3.2.4通讯费用低目前，很多3G移动网络用户之所以能方便地过渡到4G移动网络进行通信，是因为4G移动网络与3G移动网络的兼容性较好，且4G移动网络的系统采用灵活的操作方式。在加上4G移动网络通讯费用相对较低，为4G移动网络的快速部署创造了条件。

3.2.5网络通信质量高4G移动网络通信时代是高质量通信的时代，与3G移动网络通信技术相比，4G移动网络通信技术将在很大程度上提升大数据的交互、处理能力，特别是跟云计算技术的结合，大大提高了效率，4G移动网络让广大人们拥有了前所未有的、便捷的移动网络交互体验，面对越来越复杂的网络环境，通信质量也得到了较好的保障，4G移动网络通信也能满足3G移动网络通信尚不能覆盖的区域。

4基于云计算的智能交通的关键技术

上述的需求，使大数据与云计算技术成为城市智能交通系统的重要支撑。为了有效地将云计算技术与跟4G网络相结合，提升信息传递的准确性和可达性，还需解决以下几个主要技术问题。

4.1最优路径规划问题

云计算技术在智能交通系统中的另一个重要应用是智能交通系统中的最优路径规划，它在各类应急系统及车辆路径导航系统中具有重要作用。智能交通最优路径规划是以交通运行数据为基础，在云计算数据中心对各交通影响因素进行分析、处理和判断后，再通过短讯、车载终端、GIS电子地图等各类终端帮助信息，为道路的使用人员提供最优路径，引导信息及各类实时交通帮助服务信息，以提高车辆的通行效率及行车安全。

4.2智能交通流预测与出行引导问题

基于云计算的智能交通流预测与出行引导可通过物联网对交通流量数据进行实时采集，对这些数据进行分析和快速处理，以便对道路交通流进行实时动态判别和准确预测，从而正确指导用户出行，这样必须建立起智能交通流量采集数据库及非结构化的数据库。

4.3智能交通事故预警处理问题

道路交通中的突发事故严重影响城市道路交通运行的安全性和可靠性，因此，面对突发事故，必须快速做出反应，提出处理预案，然后对其进行有效、及时地处置。基于大数据分析的交通事故应急处置方案的形成，是通过物联网技术快速采集和分析交通突发事件及整个道路流量信息，迅速地进行事故故障处理，并及时发出预警信息，提前、有效和安全地疏散车流，达到不影响交通正常运行的目的。

5我国智能交通系统发展趋势

众所周知，我国4G移动网络牌照已经发放，围绕4G移动网络的各项业务也快速展开，但目前，网络通讯费用并没有下降，这对基于4G移动网络智能交通系统的开发与使用具有较大影响，相信随着4G网络的普及、通信环境的改善、资费的下调，大数据的交互平台将有望在许多移动设备（如手机、平板电脑）上实现，云计算技术也将得到更广泛的应用。例如，未来的智能交通系统将会出现自动驾驶系统、大数据与智能交通、生态智能交通系统、移动互联网与智能交通等。近年来，基于移动网络智能终端的与交通相关的APP得到飞速发展，因而，移动互联网技术在人们出行中的作用将越来越大。

6结语

基于4G移动网络的大数据和云计算技术的智能交通系统是一个复杂的系统工程，它涵盖了网络构建、信息采集、系统集成及应用开发等多方面内容，同时也涉及城市交通运行管理中的许多领域。要在4G移动网络平台上加快推进大数据和云计算技术在城市智能交通系统中的研究及应用，必须不断加强技术革新、保障云安全、完善基础设施建设，并将政府构建的基础性开放平台与引导科研机构、高校、企业参与应用研发相结合。

参考文献

[1]吴忠泽．迎接中国智能交通的新时代[J].科学,2010(1):3-6．

[2]毕然,党梅梅．智能交通系统标准化现状及发展趋势[J]．电信网技术,2011(4):44-47.

[3]赵娜,袁家斌,徐晗.智能交通系统综述[J].计算机科学,2014(11):7-11.

大数据网络应用范文第4篇

[关键词]探地雷达 神经网络 自组织特征映射

[中图分类号] TN95 [文献码] B [文章编号] 1000-405X（2015）-3-131-3

1前言

在探地雷达的数据处理中，通常采用的是类似地震数据处理中的一些手段和方法，比如去除零漂、增益处理、带通滤波、道均衡等等，这些方法均是对整个剖面进行操作的，而我们可以通过神经网络方法，对数据体中某几个区域进行选取，对比研究，以判断其存在的雷同性或者差异性，来达到分类的目的，用以不同深度和区域地质体的判别和认定。

2神经网络结构及算法

2.1神经网络结构

神经网络系统是用数学思维模拟人脑神经信息处理方式的一种人工智能网络，它是一个高度复杂的非线性动力学系统，由大量简单的神经元广泛相互连接而成。神经元一般是一个多输入单输出的非线性器件，它是神经网络的基本处理单元，结构模型见图1所示。神经网络因其具有大规模并行计算、容错性强、分布式存储及超强学习能力等优点，被广泛应用于诸多领域，并取得了引人注目的成果。

经过多年的发展，已经发展出感知器网络、BP网络、径向基网络、Hopfield网络、自组织网络和LVQ网络等等。

在已知目标向量的情况下，可以采用由导师的训练方法，然后针对探地雷达数据的特点，这里没有采用BP神经网络等需要导师的网络进行训练学习，而采用了无需提供导师信号的神经网络――自组织神经网络。

2.2自组织特征映射神经网络算法

自组织神经网络的无导师学习方式更类似于人类大脑认知过程，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自适应地改变网络参数与结构。自组织神经网络又分为几个内容，自组织竞争网络、特征映射网络、共振理论模型等。本文采用的自组织特征映射（SOM）神经网络，是由芬兰神经网络专家Kohonen于1981年提出的。SOM网络共有两层―输入层和输出层，分别模拟感知外界输入信息的视网膜和做出响应的大脑皮层，对于某个特定的输入模式，输出层会有某个节点产生最大响应而获胜，获胜神经元对其邻近神经元存在侧拟制机制。

SOM网络采用的学习算法称为Kohonen算法，采用优胜域思想，模拟生物区域神经兴奋竞争机制，其算法过程按如下步骤进行：

2.2.1初始化

给定初始学习率η（0）；建立初始优胜邻域Nj*（0）；给输出层各神经元对应的权向量赋小随机数，并进行归一化处理得到Wj。

2.2.2输入模式

自组织网络中选取一个输入模式，并进行归一化处理得到X。

2.2.3寻找获胜神经元

将X与输出层所有神经元对应的权向量Wj进行相似性比较，最相似的神经元获胜，权向量为Wj*：

2.2.4确定优胜邻域Nj*（t）

以j*为中心确定t时刻的权值调整域，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同调整权值，随着训练次数的增加，优胜邻域半径不断收缩。

2.2.5调整权值

只有获胜神经元才有权按下式学习调整其权向量Wj*：

其中η（t）随时间变化逐渐下降到0，一般取 或

2.2.6重新归一化处理

对经学习调整后的权向量重新进行归一化处理，循环计算，直到学习率η衰减到0。

3理论数值模拟应用

3.1区分方波函数

首先通过方波函数，用有导师的神经网络进行训练，对神经网络的使用加以试验说明。

原始数据共48道，400ms采样时间的方波数据，200-400ms的振幅2倍于0-200ms，如图2中a所示，将0-48道的0-100ms和300-400ms的数据拼接构成网络输入信号，目标函数为一个长度为201的向量，0-100为0，101-201为1；测试数据选取为原始数据中100-350ms部分的数据，测试目标函数为一个长度为251的向量，0-100为0，101-251为1。

通过神经网络训练，得到图2中b中所示结果，星号为目标曲线，红色为输出曲线，绿色为误差曲线，可以看出误差为零，训练结果还是令人满意的。

3.2判别模拟数据

对一个模拟数据的某一块数据体（图3（a）），我们采用自组织特征映射网络对其进行训练分类。

根据上述的算法，对18-37道、15-50ms采样时间的数据进行训练分类，在分成5类的情况下，从18道至37道网络自动识别成为以下情况：4 4 4 5 5 5 2 2 2 2 2 2 3 3 3 3 1 1 1 1，其中一个数字代表一类情况，用其他道的数据测试该网络时可以得到如下结果：40道返回数字1，15道返回数字4，与实际情况相符合。

可以看出SOM算法对不同的波形分类的情况还是比较理想的，当然这个分类情况和事先给定的种类也有关系，给定的种类越多，分的越细，给定的种类越少，分的越粗。对于图3（b）中40ms附近的反射异常，在2个分类的情况下，可以方便的与围岩分辨出来，反射异常区的各道为一个类别，围岩区域为一个类别。

4实际数据应用

下面我们通过实际采集到的雷达数据进行训练处理。

野外作业主机为美国GSSI公司的SIR-20型，天线为40M低频组合天线，数据共70道，采样长度1024ms，0.2m点测采集，64次叠加，数据为在灰岩地区获取。

数据剖面见图4，由于工作环境为灰岩地区，初步判断B区域为反射异常，对A区域存有疑虑。现根据SOM算法，应用神经网络对其进行分类辨别，通过训练归类，得出以下结论：A区域49-55道与B区域62-70道属于同一类别的，56-61道属于另外一个类别。因此认定A区域与B区域应为同一类地层反射引起，由于振幅较强，判断为一个埋深较大的溶洞，56-61道可能由于区域含水吸收导致能量较弱，后经开挖验证，A区域与B区域确实为一个连通溶洞，且规模很大。

5结论

通过对方波函数的判别、模拟数据的训练分类以及实际数据异常反射区的分类判定，可以看出神经网络方法作为一个手段来对探地雷达数据处理还是很有效果的，在一定程度上能够满足剖面处理的要求，达到使用的目的。本文使用无导师的网络进行训练的目的就是为了能够自动判别分类，避免人为干预的影响，当然某些情况下以可以采用有导师的网络，有针对性的进行识别。

本文得到中国地质调查局基[2014]01-034-013项目资助。

Abstract： Get across the introduce of neural network， using the characteristic than training the network to classified， after the experimentation on square function and simulation data， finally carry on real acquisition data， identify and class the choosed area， achieve the aim to distinguish and cognizance about structure in different area on profile，satisfy the require of data process.

Keywords： GPR Neural network Self-Organizing Feature Map

参考文献

[1]飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].北京：电子工业出版社，2005.

Fei Si Technology R & D center. Neural Network Theory and MATLAB7 Implementation[M]. Beijing： Electronic Industry Press，2005.

[2]李大心.探地雷达方法与应用[M].北京：地质出版社，1994.

Li Da-xin. Method and application of ground penetrating radar [M]. Beijing： Geology Press， 1994.

[3]翟波，杨峰，孙水明.基于二维滤波的探地雷达数据去噪研究[J].南京师范大学学报，2007，7（3）：80.

Zhai Bo， Yang Feng， Shui Ming-sun. Based on two-dimensional filtering of ground penetrating radar data denoising [J]. Nanjing Normal University， 2007，7 （3）： 80.

[4]杨峰，彭苏萍，张全升. 地质雷达精细处理技术方法的应用研究[J].工程勘察，2007，（4）：70-74

Yang Feng， Su Ping-peng， Zhang Quan-sheng. Ground Penetrating Radar Method for fine processing technology applied research [J]. Engineering Survey， 2007 （4） ：70-74.

[5]郝建新，魏玉峰，林雄斌，地质雷达探测干扰因素及图像识别研究[J].工程勘察，2008（11）：73-75.

Jian-Xin Hao， Yu-Feng Wei， Lin Xiongbin， ground penetrating radar interference factors and image recognition research[J]. Engineering Survey， 2008 （11） ：73-75.

[6] David. J. Bescoby， Gavin C. Cawley， and P. Neil Chroston. Enhanced interpretation of magnetic survey data from archaeological sites using artificial neural networks[J]. Geophysics，2006， 71，H45.

[7] Zhengping Liu and Jiaqi Liu. Seismic-controlled nonlinear extrapolation of well parameters using neural networks. Geophysics，1998，63：2035.

大数据网络应用范文第5篇

Abstract： Network security in the enterprise information is more and more important， and more and more network and systems need firewall security for security protection. The level of security policy deployment quality is a key for whether the firewall device play the role of security protection. But for many complex applications in enterprise network， its data flow is often more complicated. According to the problems of enterprise network firewall policy， this paper proposes a method that using network device log analysis to identify the traffic flow. The method can discovery network traffic with low-cost， high-efficiency， and thus provide the basis for the deployment of firewall policy.

关键词： 防火墙；网络安全；安全策略

Key words： firewall；network security；security policy

中图分类号：TP393 文献标识码：A 文章编号：1006-4311（2014）10-0223-02

0 引言

在企业网络的网络管理及项目建设上，防火墙的应用越来越广泛。在一张网络中部署的防火墙数目小到五六台多则十几台、几十台。为了使每台防火墙真正起到安全控制的作用，每台防火墙都要根据实际的访问需求制定出成百上千条安全策略。每条安全策略都要有针对性的对合法的数据流予以允许通过，对非法的数据流予以拒绝。在网络应用日益复杂的今天，如何对现网数据流进行识别（统计、分析）是摆在工程技术和网络维护人员面前的一个重要课题。

1 目前的识别方法及问题

目前，数据流的识别主要采用的技术有Netflow/Sflow和SPAN技术。

Netflow/Sflow技术主要是支持该技术的数据节点设备上启用该特性，通过采集服务器到节点设备上采集数据，然后对数据进行分析整理得到网络中的数据流信息。Netflow/sFlow技术能对数据网络的通信流量进行详细的行为模式分析和计量，并提供网络运行的详细统计数据。但是，NetFlow/sFlow支持情况受设备类型、板卡类型、软件版本、软件授权等条件制约，某些厂商设备甚至需要采购专用硬件。

SPAN技术（镜像抓包）是一种基于被动侦听原理的网络分析方式。使用这种技术，可以监视网络的状态、数据流动情况以及网络上传输的信息。当信息以明文的形式在网络上传输时，可以使用网络监听的方式来进行记录、分析。将网络接口设置在监听模式，可以将网上传输的源源不断的信息截获。但是，这种技术需要把整个数据包的信息都记录下来，包含对于数据流分析基本没有用处的data信息，这样就需要处理大量的无关信息，分析效率比较低，而且对于已经部署IDS、流量清洗等设备的节点，受到网络端口镜像SESSION数量的限制，而无法实施。

2 解决办法

利用在路由器、交换机、防火墙设备普遍支持的访问控制功能，在设备上部署开放的数据流抓取策略（所谓开放的数据流抓取策略，就是采用允许数据流通过的访问控制列表或策略，以便在不影响现有业务流通过的前提下生成数据流日志），生成表1所示的数据流向日志（Cisco设备产生的log节选）。

由表1可以发现，每条日志中记录了数据流的协议类型、源ip、源端口、目的ip、目的端口等信息。以上日志信息可以提取如表2所示的信息。

部署周期内形成的日志文件记录了本时间段内所有数据流访问信息。通过软件工具对日志进行分析、抽取、统计、整理，就可以得到通过某一网络节点的数据流信息。

利用得到的数据流信息，通过甄别、筛选、汇总，就可以形成该节点正常业务流信息，为安全策略的制定、实时维护提供依据。

由于绝大多数厂商（Cisco、Juniper、华为等）的数据网络设备（防火墙、路由器、交换机）都支持这种通过部署开放策略生成数据流向日志的功能，因此，通过该方法可实现对多厂商、异构数据网络数据流识别。

此方法相比Netflow、SPAN等数据流分析技术，特点是支持设备更广泛、部署位置灵活，无需改变现网结构，实现容易、成本低，并支持海量数据的分析整理。

3 具体实施方案

①确定数据流分析方案。获取数据流分析需求，根据需求选择开放策略所部属的网络节点部署位置，同时编写开放的访问控制策略。

②部署开放控制策略并采集日志。在数据网络的节点上部署开放的安全策略，数据流流经该节点就可以生成数据访问日志。日志采集服务器负责收集节点生成的日志，并按照预定格式生成日志文件。

③从日志文件中分析数据流。日志分析程序从日志文件中分析数据流的协议、源目的IP、端口等信息，以及节点的位置。由于每种设备的日志格式各不相同，并且中间可能夹杂其他无关冗余的日志信息，这就要求关键信息的提取既要准确又要快速，以便适应大数据量的计算。另外，客户端发起源端口是可变的，能够根据服务端的端口识别数据流，并能够准确分析、剔除重复数据，进而统计出准确的数据流信息，并生成数据流结果文件。

本方法可对现网中的业务流进行有效的分析，并能根据所得的结果生成合适的安全策略，而且对数据网中的节点设备要求较低，无需支持Netflow/sFlow等高级特性。

笔者在实际工程中，采用本方法和自主软件，搜集并分析了上百GB的日志文件，并把得到的结果运用在实际的网络安全项目中的多种类型的防火墙的策略部署工作中，大大提高了工作效率和准确性，对今后实施此类工程中的安全策略部署具有极强的指导和借鉴意义。

4 结论

本文分析了在企业网络中采用网络设备日志分析，实现识别业务数据流的方法，并为制定满足系统防护需求的防火墙安全策略提供了一套切实可行的方案。在企业信息化系统中部署和维护防火墙策略的过程中，可以借鉴和参考。

参考文献：

[1]乔辉.浅谈多重异构防火墙网络环境下的安全策略管理[J].中国电子商务，2012（2）.