神经网络的复杂度

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇神经网络的复杂度范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

神经网络的复杂度范文第1篇

通信技术的快速发展引发了对短数据信号检测问题更为苛刻的要求。该文根据通信信号星座的固有特点，从泛函网络角度出发，提出短数据信号盲检测的泛函网络方法。设计一种基于多输入多输出泛函网络框架下的信号盲处理方法的基本思路，预计为通信系统的信号直接盲检测提供一种崭新思路，为实际通信系统开发提供借鉴。

【关键词】盲检测 泛函网络 MIMO

1 引言

随着下一代网络、物联网等通信技术日益创新和迅速发展，促使信号盲检测技术研究者不断探索更新的技术满足当前不断提高的无线信号传输速率和增强的传输信道的时变性。对新技术的研究主要在于加强盲检测算法的适用性和自适应能力、增强降噪性能、误码性能、降低系统开销减少能耗、降低运算复杂度和加快收敛速度等方面。基于这些工作，国内外发展了一些性能优秀的盲检测算法。

有一种是基于二阶统计量的盲均衡算法（Second Order Statistics， SOS）[1][2]，这类算法在计算过程中涉及信道阶数，要求对信道阶数的可辨识性非常敏感，而实际运用中容易受到干扰和噪声影响影响算法稳定性。

另一种是基于有限字符集约束的直接利用字符集盲检测算法[3]，该种盲算法对于复杂信号算法复杂度较高、实用性较低，未见相关文献对复杂信号情况的讨论。

还有是基于人工神经网络的盲检测方法[4-10]，在文献[5]中提出和发展了支持向量机框架下的MPSK信号盲检测算法，该算法能够简化信号检测域值的选择。然而，在复数域信号检测中算法复杂度极高。在文献[6]中介绍了采用有限脉冲响应滤波器和泛函连接人工神经网络联合的方法设计自适应非线性均衡器，有效改善算法复杂度、误码性能较好。该方法取消了传统的人工神经网络中的隐层，结构相对简单，在训练过程时的计算负载较低。文献[7][8]分别提出了两种基于反馈神经网络的盲均衡方法，并发展了一种低复杂度的流水线（Pipelined）判决反馈神经网络均衡器的设计方法。文献[9]提出了基于反馈网络模型的Hopfield神经网络的信号直接盲检测的初步思路，但是对于密集信号的盲检测能力未作相关论述。当然除了列举的一系列文献中提及的方法外，基于神经网络的通信信号盲检测方法还有很多种，不再一一列举。

根据以上研究，目前基于传统人工神经网络的信号盲处理方法对于通信信号检测中存在的局部极小化、收敛速度慢、自适应性能差等问题还没有能够很好的解决，而且在多值复数域信号的研究领域中还涉及较少。

泛函网络[13]（Functional Networks， FN）是一种基于人工神经网络的新兴的研究方向。是人工神经网络的拓展，通过学习过程中神经元之间自适应调整提高系统的适用性和自适应性能。对FN神经元优化的问题是目前研究的热点。目前，FN在很多领域都得到很好的应用。比如在线性及非线性回归、非线性系统辨识和混沌时间序列预测，以及泛函方程求解等领域[10]；特征选择问题[11]；分类及回归问题[12]；植物生长动态建模[13]；软件可靠性分析[14]。文献[15]通过对比FN和人工神经网络ANN在捕鱼的渔获量预测中试验表明，证明了FN比人工神经网络在学习和泛化能力均强[16]。

通过以上研究，表明泛函网络可以用于优化传统人工神经网络，解决一些传统人工神经网络难以解决的问题。

无线通信信号在传输过程中受到气候、电磁环境等各种干扰。本文根据通信信号星座的固有特点，结合FN模型结构特征，提出一种短数据信号检测的FN方法。提出一种基于多输入多输出泛函网络（MIMOFN）框架下的信号盲检测方法的基本思路。

2 系统模型

为实现无线通信信号直接盲检测，首要的条件就需要设计一个多输入多输出（MIMO）的模型。FN各个神经元之间的连接没有权值，每个神经元都可以独立学习，互不相同，可相互间可以输出不同的数据，之间的连线用来表示数据的流动方向。FN的函数结构存在多样性，没有唯一的结构可以描述所有的泛函网络，同样也没有唯一的函数可以表示所有的泛函网络。不过为保证整个系统有较好的泛化能力，根据每个系统自身的特点都能找到一个最优的网络结构。在这个网络结构系统中，根据结构几何参数对系统输入输出的影响，设计神经元的输入输出的流向和数量。尽可能减小函数基规模。根据这些特点将单输入单输出（SISO）泛函网络模型进行拓展推广。设计一个多输入多输出的泛函网络拓扑结构如图1。

如图1所示，第一层和最后一层分别是是输入、输出层。第二层为第一神经函数处理层，包含F，G，J，K等神经元。第三层为第二神经函数处理层，包含L，N，P，Q等神经元，第三层包括若干个中间存储单元层，用来存储由第二层神经元产生的信息。根据该拓扑结构，大致推出用于信号盲盲检测的MIMOFN框图如图2。

本文关于MIMOFN输入方面主要基于矩阵分解理论。这里设计输入信号W，通过网络的运行使得待检测信号在其真实信号空间中再现。本文假设接收端信号为经过模数转换和数字正交混频、数字下变频和匹配滤波后所得标准信号。通信信号接收方程、盲检测方程可表述如下：

（1）

XN=SΓH （2）

神经网络的复杂度范文第2篇

关键词： 设施蔬菜病害； 预警； LVQ神经网络； BP神经网络； 黑星病

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）10-0189-03

Abstract： In order to make better in early warning of facilities vegetable diseases， two kinds of algorithms of LVQ neural network and BP neural network are used to construct static early-warning models of facilities vegetable diseases. In order to test the feasibility and applicability of two models， this paper takes cucumber scab for example and makes comparation of the two models. The result shows that two kinds of models are both able to better and accurately realize the forecasting of cucumber scab. It turns out that BP neural network model， which costs less time， is more effective in practice.

Key words： facilities vegetable diseases； early warning； LVQ neural network； BP neural network； cucumber scab

预警是一个军事术语，指用来对付突然袭击的防范措施，是组织的一种信息反馈机制，后来逐步引申到现代政治、经济、技术、医疗、灾变、生态、治安等自然和社会领域[1]。当下，预警在重大气象灾害方面起到重要作用。而创新地把预警应用于设施蔬菜病害方面，利用数据挖掘方法，探寻设施环境条件与病害的关联关系，把以诊治为主的设施蔬菜病害防控模式转变为以预防为主，降低了病害防控成本，减少了农药污染，大幅度地提高蔬菜产量和质量，在农业科技和食品安全方面发挥重要作用[2]。文中以棚室黄瓜为例，构建黄瓜病害静态预警模型。通过实时地对温度，湿度，土壤酸碱度等自然条件的测量，对病虫害的发生进行预测，再根据预测结果调整当前环境，从而达到黄瓜病害预警的目的。运用LVQ神经网络、BP神经网络两种算法建立黄瓜黑星病静态预警模型并比较两种模型的优劣。结果表明，在以黄瓜黑星病为例的蔬菜病害静态预警实验中，运用BP神经网络算法所构建的模型优于LVQ神经网络，在实际的蔬菜病害静态预警的应用中更有参考价值。

1 模型的构建及分析

以黄瓜黑星病为例，分别使用LVQ神经网络、BP神经网络两种算法构建黄瓜黑星病静态预警模型，并从时间、空间复杂度和模型预测的确诊率三个方面对两种模型的适用性和可行性进行比较分析。

1.1 样本指标的选取与数据收集

构建基于LVQ神经网络和BP神经网络算法的黄瓜黑星病静态预警模型，其基础的工作是进行黄瓜黑星病样本指标的选取和对所选取的样本指标进行数据收集。这两项工作为模型的构建提供数据支持。

1.1.1 样本指标的选取

黄瓜是一种常见的蔬菜，甘甜爽口，清淡香脆，是城镇居民常备的家常菜之一。黄瓜在生长过程中容易发生各种病害而导致减产，如霜霉病、白粉病、黑星病等等。因此，在黄瓜的生长过程中，可通过对当前温度，光照，土壤ph值等环境条件的测量，预测黄瓜得病的可能性而调整当前环境。文中以黄瓜黑星病为例测试模型的性能。此病的病因为瓜疮痂枝孢菌，病菌以菌丝体附着在病株残体上，在田间、土壤、棚架中越冬，成为翌年侵染源，也可以分生孢子附在种子表面或以菌丝体潜伏在种皮内越冬，成为近距离传播的主要来源。病菌在棚室内的潜育期一般3～10天。整个生育期均可侵染发病，幼瓜和成瓜均可发病。幼瓜受害，病斑处组织生长受抑制，引起瓜条弯曲、畸形。该病菌在低温高湿等一系列复合条件下容易发生和流行。一般在2月中下旬就开始发病，到5月份以后气温高时病害依然发生[3-4]。文中选用容易感染此种病害的品种津研四号进行试验[5-6]。经查阅资料可知：黄瓜黑星病发病的因素有土壤ph值，空气相对湿度，温度，光照，黄瓜栽培品种等等。其中土壤ph值，空气相对湿度，温度这三个因素在黄瓜发病过程中起主要作用。致使黄瓜黑星病发病的各因素范围如下：ph值：2.5-7 ； 空气相对湿度：>=90；温度：15℃-25℃。

1.1.2 数据收集

黄瓜黑星病的发病是一个过程，是多个发病因素相互交叉、共同作用的产物。根据黄瓜病害书籍资料，搜集所需的数据。共330组数据，290组数据作为训练集，40组数据作为测试集。290组训练集作为样本数，每个样本数中有三个输入特征数据，即土壤ph，空气相对湿度，温度等三类，所有样本数共分为2个类别，即正常与异常。分别用LVQ神经网络、BP神经网络两种算法测试模型的可行性并对其进行比较分析，为预测模型的选择提供参考。

1.2 LVQ神经网络预警模型

构建基于LVQ神经网络的黄瓜黑星病静态预警模型，测试模型的可行性，并对模型进行优化，进而比较优化前、后的黄瓜黑星病预警模型，分析模型的适用性。

1.2.1 LVQ神经网络思想

LVQ神经网络[7-8]（Learning Vector Quantization）是在有“导师”状态下对竞争层进行训练的一种学习算法，属于前向有监督神经网络类型，在模式识别和优化领域有着广泛的应用。LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为完全连接，而在隐含层与输出层间为部分连接，每个输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。在网络训练过程中，这些权值被修改。隐含层神经元和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其他隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其他输出神经元均发出“0” 。网络结构如图1：

1.2.2 网络创建及测试

在Matlab R2012b的平台上进行预测。建立一个3层的向量量化神经网络函数，隐含层神经元首次尝试设置为15个，学习速率设置为默认值0.01，权值学习函数也设置为默认函数：net=newlvq（minmax（P_train），15，[rate_B rate_M]，0.01，‘learnlv1’）。

利用LVQ神经网络算法开始模型训练，训练结束后将会生成相应的神经网络，再通过相关验证数据的输入将计算出的预测值与期望输出进行比较分析，得出相关的结论。40组数据作为测试集进行10次预测，测试结果如表1：

经计算，当隐含层神经元为15个时，正常、异常黄瓜的平均确诊率分别为91.508%、91.05%，平均确诊率高达90%，此设定准确率较高。经过多次运行，运行时间数量级皆为1级。表明LVQ神经网络用于模式识别是有效的，在黄瓜黑星病的预警中具有很大的参考价值和指导意义。

1.2.3 隐含层神经元个数优化

在LVQ神经网络算法基础上，为了得到可靠稳定的模型，提高正确率，可使用带有交叉验证功能的LVQ神经网络程序进行预测。此功能可确定最佳的隐含层神经元个数。常见的交叉验证形式之一为K-fold cross-validation。K次交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次，平均K次的结果或者使用其他结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次。在此采用常用的5折交叉验证法进行训练。

每一次网络的训练都会产生不同的最佳隐含层神经元个数，这是由于每次训练集和测试集是由计算机随机产生，且每次训练过程都不相同造成的。经过多次实验，发现隐含层神经元个数在11～20范围内较为适宜。运行一次带有交叉验证功能的LVQ算法程序需要的时间数量级是3级。运行时间较长，但在确诊率上没有明显的改善。因此，带有交叉验证功能的LVQ神经网络模型在确定无交叉验证功能的LVQ神经网络模型隐含层神经元个数范围方面起重要的借鉴作用，但由于其所需预测时间较长，不适用于实际预测的应用。

1.3 BP神经网络预警模型

构建基于BP神经网络的黄瓜黑星病静态预警模型，调整网络参数进行仿真训练，并分析模型的适用性。

1.3.1 BP神经网络思想

BP神经网络[8-10] （Back Propagation）是一种采用误差反向传播算法的多层前向神经网络，其主要特点是信息正向传播，误差反向传播。在传递过程中，输入信号经过输入层、隐含层的逐层处理，直至输出层，若在输出层得不到期望值，则反向传播，根据预测误差调整权值和阈值，使BP神经网络的输出不断逼近预测输出值。网络结构如图2：

1.3.2 网络创建及测试

同样在matlab R2012b的平台上进行预测。在该三层网络中，第一层传递函数默认为‘tansig’， 第二层传递函数设置为‘purelin’，训练函数设置为‘trainlm'，隐含层神经元个数设置为10个，输出层神经元为1个。创建该网络，进行训练，仿真并测试返回结果。相关程序为：

net=newff（minmax（P_train），[10 1]，{‘tansig’，‘purelin’}，‘trainlm’）

net.trainParam.epochs=1000；

net.trainParam.show=10；

net.trainParam.lr=0.1；

net.trainParam.goal=0.1；

net=train（net，P_train，Tc_train）；

T_sim=sim（net，P_test）；

for i=1：length（T_sim）

if T_sim（i）

T_sim（i）=1；

else

T_sim（i）=2；

end

end

对于多层前馈网络来说，隐层节点数的确定是成败的关键。若数量太少，则网络所能获取的用以解决问题的信息太少；若数量太多，不仅增加训练时间，更重要的是隐层节点过多还可能出现所谓“过渡吻合”问题，即测试误差增大导致泛化能力下降，因此合理选择隐层节点数非常重要。关于隐层数及其节点数的选择比较复杂，一般原则是：在能正确反映输入输出关系的基础上，应选用较少的隐层节点数，以使网络结构尽量简单。隐含层神经元个数选择是一个较为复杂的问题，往往需要设计者多次试验来决定，因而不存在一个理想的解析式来表示。确定隐含层神经元个数方法可参考公式[n2=log2n1]和[n2=2×n1+1]（是输入层神经元数，是隐含层神经元数）[11]。对黄瓜黑星病预测实验而言，=3，则网络训练需要从隐含层神经元个数为=1训练到个数为=7。理论上最佳隐含层神经元个数在1～7个左右，但仍需要多次测试来确定。适当增加隐含层神经元个数可以减少训练误差。经验证，当隐含层神经元个数设为7时，进行10次预测，模型测试确诊率较高。如此既保证正确率，又能较节省时间。预测结果如表2：

如表2，经计算，在10次预测中，正常黄瓜平均确诊率为91.511%，异常黄瓜平均确诊率为94.542%。运行时间数量级为0级，速度更快。经多次运行、测试总结可得，BP神经网络模型在准确率上不次于LVQ神经网络模型，在时间上也远快于LVQ神经网络模型。由此看出，BP神经网络算法在黄瓜黑星病的预测过程中，效果更好，参考价值更高。

1.4 两种模型比较分析

算法，是预测黄瓜黑星病的核心。在评价哪种算法更适用于黑星病的预警时，应兼顾时间、空复杂度和确诊率。这两种模型空间复杂度基本相同。相比空间需求，实际操作中，我们更关注程序运行的时间和确诊率。两种神经网络算法在训练预测过程中各有利弊，但预测结果的准确性都高达90%左右。因此，时间开销便成了两种模型适用性的最重要因素。分别运行两种模型20次，得到程序运行的时间开销折线图如图3。由图3可知，运用BP神经网络可快速得到预测结果，在实际运用过程中实时性更突出。

2 总结

本文研究发现两种模型均可用于黄瓜黑星病的预警，模型预测的准确率相差无几高达90%左右。这进一步表明了数据的准确性、指标建立的合理性和模型建立的可行性。也证明把预警应用于设施蔬菜病害方面，利用数据挖掘方法，探寻设施环境条件与病害的关联关系这一构想的合理性和可操作性。

若结合结果的准确率和时间开销，BP神经网络模型在实际的黄瓜黑星病及其他病害的预测过程中比LVQ神经网络模型更胜一筹，具有更高的时效性。

参考文献：

[1] 霍松涛.旅游目的地旅游预警系统研究[D].开封：河南大学，2006.

[2] 邵峰晶，于忠清.数据挖掘原理与算法[M].北京：电子工业出版社，2003.

[3] 王生荣，杨升炯.黄瓜黑星病菌生物学特性及流行规律研究[J].甘肃科学学报，1999，11（3）：83-86.

[4] 易齐，王蔚，王传英，等.黄瓜黑星病及其蔓延为害现状[J].植物保护，1987，13（6）：40-41.

[5] 许勇，朱其杰.黄瓜黑星病抗病性离体子叶接种鉴定方法[J].北京农业大学学报，1994（1）：31-34.

[6] 朱建兰，陈秀蓉.黄瓜品种对黑星病的抗性鉴定结果[J].甘肃农业科技，1998（7）：32-33.

[7] 段明秀，何迎生.基于LVQ神经网络的手写字母识别[J].吉首大学学报，2010，31（2）：41-43.

[8] 史忠植.神经网络[M].北京： 高等教育出版社，2009.

[9] 王文剑.BP神经网络模型的优化[J].计算机工程与设计，2000，21（6）：8-10.

神经网络的复杂度范文第3篇

摘要目前，神经计算及其应用已经渗透到多个学科，并在信号处理、智能控制、模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得了丰硕的成果。神经计算不仅是科学家的兴趣所在，还受到了各国政府和军队等权力部门的密切关注，世界上许多国家和地区的政府及工业界都十分关注并积极投资神经计算技术的研究，其进展不仅将促进科学和技术的进步，还会对各国的国力产生一定的影响。

本文针对神经计算中亟需解决的5个问题进行了研究，包括加快神经网络的学习速度、增强神经网络的可理解性、设计出易于使用的工程化神经计算方法、更好地模拟生物神经系统以及将神经计算与传统人工智能技术相结合。本文的创造性研究成果主要有：

(1)提出了一个快速神经分类器FAC和一个快速神经回归估计器FANRE，实验结果表明，这两个算法学习速度快、归纳能力强，在性能上明显优于目前常用的一些神经网络分类学习算法和回归估计算法。在此基础上，成功地将FAC应用于石油勘探岩性识别领域。

(2)提出了一个神经网络规则抽取算法STARE，实验结果表明，STARE可以从训练好的神经网络中抽取出保真度高、精确、简洁的符号规则，从而较好地增强神经网络的可理解性。在此基础上，提出了一个基于神经计算的分类规则挖掘框架NEUCRUM，并成功地将其应用于台风预报领域。

(3)提出了一种基于遗传算法的选择性神经网络集成方法GASEN，实验结果表明，GASEN的性能优于目前常用的一些方法。设计了一种多视角神经网络集成方法VS，将神经网络集成应用于多视角人脸识别，不需进行偏转角度预估计就能取得很高的识别精度。设计了一种新型结论组合方法和一种二级集成结构，将神经网络集成应用于肺癌细胞识别，并嵌入到肺癌早期诊断系统LCDS中，大大降低了肺癌细胞的漏识率。

(4)针对前馈网络的单点断路故障，提出了一种基于遗传算法的进化容错神经网络方法EFANET，实验结果表明，该方法不仅可以进化出容错性好、泛化能力强的网络，还较好地保持了网络结构、训练算法与容错处理的独立性。针对前馈网络的多点断路故障，提出了一种三阶段方法T3，并将其应用于FAC网络，实验结果表明，T3方法可以较好地在网络容错能力与结构复杂度之间达成折衷。

(5)提出了一种结合决策树与前馈神经网络的混合决策树方法HDT，描述了树的生长算法和神经处理机制。对增量学习和构造性归纳进行了研究，界定了三种不同的增量学习问题的概念，并给出了HDT的增量学习和构造性归纳算法。实验结果表明，HDT及其增量学习、构造性归纳算法都具有很好的性能。此外，还成功地将HDT应用于情报软件故障诊断。

关键词：神经计算，神经网络，机器学习，快速学习，规则抽取，集成，容错神经网络，混合学习，增量学习，构造性归纳，决策树，知识获取，数据挖掘，遗传算法，进化计算，断路故障，人脸识别，计算机辅助医疗诊断，岩性识别，故障诊断

ContributiotoSeveralIuesofNeuralComputing

Neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.Ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.Thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.Thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.

Inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.Themaincontributioofthisdiertationaresummarizedasfollows:

Firstly,afastneuralclaifiernamedFACandafastneuralregreionestimatornamedFANREareproposed.Experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FACissuccefullyaliedinlithologyidentificationofoilexploration.

Secondly,aneuralnetworkruleextractionalgorithmnamedSTAREisproposed.ExperimentalresultsshowthatSTAREcanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.Additionally,aneuralcomputingbasedclaificationrulemi ningframeworknamedNEUCRUMisproposedandsuccefullyaliedtotyphoonforecastingdomain.

Thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGASENisproposed.ExperimentalresultsshowthatGASENoutperformspopulareemblearoachesatpresent.Then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.Moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.

Fourthly,ageneticalgorithmbasedaroachnamedEFANETthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.ExperimentalresultsshowthatEFANETcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedT3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFAC.ExperimentalresultsshowthatT3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.

神经网络的复杂度范文第4篇

关键词：MIS智能入侵检测；特征规则；模糊聚类

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵检测（Intrusion Detection，ID）是指通过对行为、安全日志或审计数据或其它可以获得的信息进行操作，检测到对系统的闯入或闯入的企图[1]。它通过对计算机系统或网络计算机系统中的若干 关键点收集信息并对其进行分析，从中发现系统或网络中是否有违反安全策略的行为和被攻击的迹象。

现有的入侵检测系统多数采用概率统计、专家系统、神经网络等智能化方法来实现系统的检测机制。其中，神经网络方法可以利用大量实例通过训练 的方法构造正常行为模型，能够有效预测未知的攻击，并且它有自适应、自学习、自组织、并行性等优点，在攻击类型上，则对非授权获得超级用户权限和远程到本 地的非授权访问的检测效果显著[2]。

本文使用新的聚类方法来改善神经网络，通过得到最佳的规则数来降低算法时间复杂度，简化神经网络，使之进行有效的数据提取和学习，提高入侵检测的效率和智能性。

2 MIS智能入侵检测技术

MIS智能入侵检测主要由四个主要模块组成：

1) 数据采集：主要由SQLServer跟踪日志给出，相当于事件产生器；2) 检测单元：主要由神经网络训练出一个相对稳定的正常模型，用于检测异常调用，相当于事件分析器[3]；3) 特征数据库：主要利用误用检测的特点，实现快速检测各种已知的异常调用，并直接反馈倒报警单元，相当于事件数据库，其征数据库与被监控数据库分离存储；4) 报警单元：主要是杀掉异常调用的客户端进程，反馈给系统管理员并记录到自定义日志文件，相当于响应单元。

主要流程是：首先通过采集的样本数据经过训练后形成检测单元，建立相应特征数据库并完成日志文件初始化工作；然后实时监测客户端调用，将数据直接和特征数据库进行匹配，如有匹配则送入报警单元，反之则送入检测单元；检测单元将数据作为输入向量与正常模型比较，如果泛化输出值大于期望值，则列为异常，直接送入误用数据库存储，并通知报警单元，反之继续监测各调用。

3 基于聚类方法的智能入侵检测

3.1 数据采集

入侵检测的关键是用户行为特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟踪文件，针对TSQL、存储过程、安全审核、会话等事件，选取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七个数据列作为输入向量[4]。分别表示客户端对数据库表、存储过程和视图的调用；客户数据库登陆名；CPU占用时间；对数据库的读写操作；客户端进程号和系统 分配进程号。这七种数据在对数据库的调用过程中相对稳定。LoginName中则主要考虑客户端默认调用，采集到的数据都是十进制数据，不需要额外的数据预处理，符合神经网络输入的要求。

3.2 神经网络学习

本文采用采用三层神经网络[5]：输入单元为七个，分别对应上述七个处理向量；输出层为一个神经单元，输出结果 规定在（0，1）范围内，用0表示为正常行为，用1表示为异常行为；隐层结点通过试验确定为6个；权值和阈值为小的随机数；学习率为0.1；隐含层和输出层采用Sigmoid函数f(x)=(1+e-x)－1为激发函数，该函数具有非线性放大功能，可以把输入从负无穷大放大到正无穷 大的信号，变换到0到1之间的输出，可以逼近非线性输入/输出关系。我们将七种特征向量作为神经网络的输入向量，训练的结果就是确定了B网络的权值，而 这些权值就存储了行为的特征模式，将训练后的神经网络用于实际的工作，就可以判断是否有异常的调用，如发现了新的非权限异常调用，则把检测到的模式存储到特征数据库。

3.3利用新的聚类方法提取最佳规则数

此文通过求解最佳聚类数来得到最佳规则数，首先通过构造一个新的判别准则来进行模糊分类,确定样本数据的最佳分类,从而确定最佳规则数。

可以看出,聚类判别准则Vp由2部分组成,第一部分反映了同一类中的紧凑程度。第k个样本Xk越接近模糊类中心,最大隶属度max(uik)就越接近1。因此,对每一个样本Xk来说,模糊集max(uik)被认为是一个好的分类指标,这个值越大,代表同一类的紧凑程度就越好。式(1)的第二部分体现了类与类之间的分离程度[4]。这里,用2个模糊集的交集来评价类Vi和Vj的分离程度。事实上,如果Xk接近类中心Vi,min(uik,ujk)接近于零,结果类Vi和Vj很明显被分开。

另一方面,如果min(uik,ujk)接近于1/C,Xk属于所有类的隶属度相等,此时划分的类最模糊。这个新的的判别准则Vp既考虑了同一类的紧凑程度,又考虑了类与类之间的分离程度。这样相对于最大值Vp的聚类数C就是一个最佳聚类数[6]。

3.4 调整特征提取规则

经过神经网络学习，得到了大量的特征提取规则，现在就要根据上文所得的最佳规则数来调整规则，使之达到最佳。规则的化简是基于网络权值来进行的。权值的初始值的大小代表了规则成功的概率；经过网络进行训练以后，这个概率或被增加或被减少。概率为零表示该条规则不再存在理应被去除[7-8]。1) 主要思想是将网络权值为零或很接近于零的规则视为无效的规则而被去除[9]；2) 在具有同一前件的所有规则中，将取权值最大的规则保留，而将其余的规则去除；3) 为了保持规则的一致性，在矛盾的规则中取概率最大的规则是一种良好的选择[10]。

3.5 实验结果

MIS系统在正常运行一周内，从跟踪文件中随机选取了1000个样本作为训练样本，500个样本作为检测样本。利用聚类方法的神经网络学习得到的规则数目由原来的35个减少到23个。改进前构建的正常行为模型80%以上的能够检测到未知的异常操作，误用数据库70%的可以快速检测得到各种已知的异常调用。改进后构建的正常行为模型90%以上的能够检测到未知的异常操作；而误用数据库则98%的可以快速检测得到各种已知的异常调用。

由结果可以得知，本文提出的方法，有效的提取了数据和神经网络学习，提高入侵检测的效率和智能性。

4 结论

本文介绍了神经网络实现的MIS智能入侵检测技术的简单流程，采用了新的聚类方法来改善神经网络，通过得到最佳的规则数来确定特征提取规则的界限，降低了算法时间复杂度，简化了神经网络。从而优化了特征提取规则，提高了入侵检测的效率和智能性。

参考文献：

[1] 刘美兰,姚京松.神经网络在入侵检测系统中的应用[J].计算机工程与应用,1999,(6):37-42.

[2] 撖书良,蒋嶷川,张世永.基于神经网络的高效智能入侵检测系统[J].计算机工程与应用,2004,30(10):69-70.

[3] 陈瑾,罗敏,张焕国.入侵检测技术概述[J].计算机工程与应用,2004,(2):133-136.

[4] 王士同,陈慧萍,赵跃华,等.人工智能教程[M].北京:电子工业出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神经模糊系统及其应用[M].北京:北京航空航天大学出版社,2004.

神经网络的复杂度范文第5篇

关键词:预测算法;机器学习算法;人工智能;ALZ算法;ED算法;SHIP算法

中图分类号:TP312 文献标识码:A文章编号:1007-9599 (2010) 09-0000-01

SmartHome Prediction Algorithm and Comparation

Huang Yingqi

(Guiyang College of Traditional Chinese Medicine,Guiyang550002,China)

Abstract:Smart Home project involving machine learning algorithm to predict,such as ALZ,ED,SHIP,were studied in a comparative study,as a prediction algorithm for its advantages and disadvantages research

Keywords:Prediction algorithm;Machine learning algorithm; Artificial intelligence;ALZ algorithm;ED algorithm;SHIP algorithm

DIANE J. COOK等人在美国完成的Smart Home项目,利用基于历史数据的机器学习和模式匹配的SHIP算法,成功的建立了具有预测下一步行为模式能力的聪明屋。本文就项目中涉及到的几种机器学习的预测算法进行介绍、研究与比较,对几种自适应算法进行进一步的探讨。

SmartHome的MavHome项目中使用的预测算法主要包括了三种学习算法:ALZ算法、ED算法、SHIP算法,样本输入数据均设计为把聪明屋内人一天的行为活动划分为若干个片段,不同的地点、不同的行为用不同的字母来标志和表示,例如“在主卧室中醒来”用字母“m”表示,“从主卧室走到卫生间”用字母“a”表示等,所使用的预测下一步行为的预测算法,都基于对上述历史行为数据的统计分析和学习基础上,作出进一步的预测。

ALZ算法是项目所采用的进行预测的主要算法,根据LZ压缩算法改编而来,MavHome中用于下一次行为预测的机器学习算法,以用概率预测下一个单独行为为目的。用于机器学习的数据集是以小时为基本最小单位,在相等的时间片段内,利用上述方式对不同时间地点的不同行为片段用字符编码,按时间片段顺序,依次采集读入而得。目前取得的成功之处就在于设计了一个活动的窗口,滑动窗口在数据集中逐一滑动,以控制输入数据的方式和流量,用以在生成TRIE树的同时进行模式匹配和概率统计,随着输入数据的增多,TRIE树逐渐生成,树中生成的编码和概率用字典来存储和表示。编码出现概率的计算,根据PPM状态预测机方式分配概率。PPM算法根据输入数据的不同状态,即根据状态机输入建立马尔卡夫模型,马尔卡夫链上的数据顺序对应于生成TRIE树中各层中的编码,不同层次的编码根据出现的概率不同分配不同的权值,例如输入数据集为:“aaababbbbbaabccddcbaaaa”,生成树中的字典编码“aaa”,第1层的“a”共出现10次,第2层的“a”共出现5次,第3层的“a”共出现2次,即为a(10)a(5)a(2),而在第1层中总共出现了23次编码,第1层中字符“a”的后面总共出现了8次编码,第2层中字符“aa”的后面总共出现了3次编码,因此如需预测下一次出现“a”的概率,就应为:2/5+2/5(5/10+2/10*(10/23))。ALZ算法建立trie树的时间复杂度:对于输入长度为n的系列,k-1层的每一个结点,其叶子结点最多有k个,如要增长到k+1层,则k层的结点数需达到k2,则有n=k(k+1)/2。程序所需的时间复杂度为:n*O(k)=n*O(n1/2)=O(n3/2)。

SHIP算法是项目中利用神经网络进行系列模式匹配的算法,主要采用神经网络算法的设计方法。根据历史数据提炼模式,把各个行为片段生成互相有关联的模式,并进行匹配,用于模式区分的算法。MAVHOME中此算法用数据集生成队列,第一步,按顺序生成队列,如有新的数据入队,及时更新队列数据,其中重要的一点是算法将时间与状态联系起来,组成二维数组结构,当新数据入队时,需同时更新数据的时间和频率;算法第二步为效仿其余的神经网络算法,设定一个门阀值,同时设定一个递减的步进变量,在样本数据初次生成模式后,设定权值,然后用大量检验数据来校正模式,利用步进变量逐步减小误差,到达门阀值时停止。由此可以看出,SHIP与其余神经网络算法的不同点,仅在于其采取的编码方式,和基于时间状态的预测目的,因此笔者认为,任何一种神经网络算法,只要能用于模式匹配预测和二维编码,均可改装为SHIP算法。SHIP算法的时间复杂度,和神经网络的设计有关联,网络的不同导致复杂度的不同,而算法的收敛度,也和网络的设计和算法系数的设定有关。

ED算法是利用数据挖掘的设计方法,发现行为事件间的关联并生成场景识别的模式识别算法,目的是通过关联发现模式。数据挖掘的目的是于反复出现的大量数据集中挖掘出相匹配的时间内具有联系的事件,同样采用的是时间与状态相结合的二维数据模型。ED算法的时间复杂度也取决于所采用的数据挖掘算法的设计。

三种算法各自达到的目的不同,设计思路不同,ALZ主要针对将要发生的单独行为进行预测,有固定的算法设计,是基于压缩算法和机器学习算法、PPM预测的综合算法;ED主要针对模式的匹配与识别的数据挖掘算法,侧重预测和生成将要发生的系列模式;SHIP是神经网络算法,主要用于发现事件和事件间的关联,由一事件预测下一事件的发生。三种算法共同的特点是样本数据规模越大,其准确率越高。对于ALZ算法,在750个实际数据测试下,预测准确率为47%;在2000个真实模拟数据中,预测准确率为86%。其余两种算法的预测准确率和收敛度,一定程度上还取决于所采取的具体算法设计模式。

参考文献:

[1]KARTHIK GOPALRATNAM and DIANE J. COOK,Online Sequential Prediction via Incremental Parsing:The Active LeZi Algorithm,IEEE Intelligent Systems,2007,22(1):P52-58

[2]SAJAL K.DAS等,THE ROLE OF PREDICTION ALGORITHMS IN THE MAVHOME SMART HOME ARCHITECTURE,IEEE Wireless Communications,2002,(11):P2-9