神经网络的训练方法

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇神经网络的训练方法范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

神经网络的训练方法范文第1篇

关键词：人工神经网络；前馈神经网络；递归神经网络

中图分类号： TP183 文献标识码： A 文章编号： 1673-1069（2017）06-165-2

1 绪论

人工神经网络（Artificial Neural Network， ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。ANN通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成果，实现对信息的处理，是一种新兴的交叉学科，不但推动了智能化计算的应用和发展，同时也为信息科学和神经生物学的研究方法带来革命性的变化，现已成功应用于脑科学，认知科学，模式识别，智能控制，计算机科学等多个领域。

在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法[1]。而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。所谓神经网络训练，也就是网络参数的学习和调整，是一个反复调节节点之间权值和阈值的过程，其学习可以分成三类，即有监督学习（Supervised learning），无监督学习（Unsupervised learning）和强化学习（Reinforcement learning），本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。

2 前馈神经网络

2.1 前馈神经网络的特点

前馈神经网络的主要种类包括：感知器，线性神经网络，BP网络，径向基网络（RBF）等。其训练算法主要采用梯度下降法（Gradient descent），包括：误差反向传播算法（Back Propagation， BP），改进的BP算法，Levenberg-Marquardt法（LM）等。前馈神经网络具有学习简单，收敛较快等优点，因此在实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数[2]。当网络结构已知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。

传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，目前已成为研究和应用最广泛的有监督学习算法。但BP算法存在许多问题，例如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训练[3]。改进的BP算法有多种形式，主要有通过附加动量和学习率的引入改进BP网络的自适应能力等方法，附加动量方法虽然在一定程度上改善了易陷入局部极小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率限制在一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不大，仍然导致误差较大问题。LM法具有训练时间段，收敛速度快的优点，但由于LM法需要计算误差的Jacobian矩阵，这是一个复杂的高维运算问题，需要占用大量系统存储空间，同时，LM也存在易陷入局部极小的问题[4、5]。

2.2 前馈神经网络的研究现状

在传统的神经网络训练过程中，预估校正法或者经验选择是最常被使用的网络结构选取方式[6]。在训练和优化网络权值和阈值过程中，训练算法在上述分析中已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是连续可求导的函怠R虼耍这些权值训练方法常和进化算法等全局搜索算法相结合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实数编码，克服二进制编码受到编码串长度和精度的限制。例如，Sexton等人用一种改进的遗传算法优化前馈神经网路权值，结果表明改进的算法使网路训练精度得到显著提高[3]。Abbass通过将传统BP算法和差分进化算法相结合，提出了一种的新的权值训练方法并用于乳腺癌的预测实验，取得较好结果[7]。Iionen等人使用差分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度下降的网络训练方法比较，结果表明该方法具有较好的精度[8]。更多研究成果表明，将DE、PSO应用于网络权值在线训练和优化具有明显优势，这些改进方法也成功应用在了医学和工程技术等领域[9、10]。

此外，多种优化算法相结合也被证明是有效的。例如，在文献[11]中，作者提出了一种DE和LM相结合的神经网络快速训练方法。Liu等人提出一种粒子群算法（Particle Swarm Optimization， PSO）和共轭梯度算法相结合的混合算法，并将其应用于神经网络的权值优化[12]。在优化过程中，首先确定网络结构，然后使用PSO的全局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。在文献[13]中，作者采用相反方式将基本PSO和传统BP算法相结合使用，首先用BP算法对网络权值进行计算，然后使用PSO对网络结构固定的权值进行优化和改进。有学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提出的方法具有更好的准确性。Epitropakis等人在训练离散Pi-Sigma神经网络实验中，采用一种分布式离散差分进化算法和分布式离散PSO算法相结合的方式。该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得输出，作者认为这种整数权值的离散方式更适合用于硬件实现[14]。在离散化权值方面，Bao等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效用于训练固定结构的网络权值。

在不同领域中，任务往往各不相同，因此针对不同的动态系统，不同类型的递归网络的也相继被提出并得到研究，使之成为人工智能界的研究热点之一。因其具有独特的优化能力，联想记忆功能，递归神经网络已引起AI界极大的研究和关注，并成功应用于多种模式识别问题，例如图像处理，声音辨识，信号处理等。

4 结论

本章分析和研究了神经网络的两种主要类型，前馈型和递归型，并对其特点进行了分析。前馈网络的主要特点是计算简单，运算方便，缺点是耗时较长，容易陷入局部极小；递归网络的特点是具有动力学特性和联想记忆特性，但使用时需要注意稳定性和收敛性，且对初始状态具有高度敏感特性。针对两类神经网络的特点，可通过多种优化相结合的方法解决收敛较慢且容易陷入局部极小问题，应用参数学习训练算法和网络结构优化算法对递归网络进行适当的调整，以应用于具体问题。

参 考 文 献

[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.

[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.

[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.

[4] 商琳， 王金根， 姚望舒，等. 一N基于多进化神经网络的分类方法[J]. 软件学报， 2005， 16（9）： 1577-1583.

[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.

[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.

[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.

[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.

[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.

[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.

[11] 王刚， 高阳， 夏洁. 基于差异进化算法的人工神经网络快速训练研究 [J]. 管理学报， 2005， 2 （4） ： 450-454.

[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN’07）， 2007， pp. 219-224.

神经网络的训练方法范文第2篇

[关键词] 小生境遗传算法 神经网络 股票 预测

一、引言

股票和股票市场对国家企业的经济发展起到了积极的作用，如可以为投资者开拓投资渠道，增强投资的流动性和灵活性等。但股票价格的形成机制是颇为复杂的，股票价格既受到多种因素，诸如:政治，经济，市场因素的影响，亦受技术和投资者行为因素的影响，个别因素的波动作用都可能会影响到股票价格的剧烈波动。因此，股票价格和各影响因素之间很难直接建立明确的函数关系表达式。针对这一情况，将可有效处理非线性问题的神经网络引入到股票价格的预测中来，但神经网络收敛慢,易陷入局部极小点，出现振荡，鲁棒性差。所以有的学者用遗传算法(GA)来优化神经网络，这种神经网络可能获得个别的甚至局部的最优解,即GA早熟现象。本文引进能较有效地保持种群多样性的小生境遗传算法(NGA),采用NGA优化与用GA优化的BP网络权值进行对比,证实了NGA的判别准确性和寻优能力。

二、小生境遗传算法优化的神经网络

1.BP神经网络

反向传播(BP)算法又称为误差逆传播校正方法，它是1974年P.Werbos(哈佛大学)提出的。BP算法用来训练多层前馈神经网络,属于监督学习算法。BP网络具有结构清晰，易实现，计算功能强大等特点。因而是目前最常见，使用最广泛的一种神经网络。但是在实际应用中，传统的BP算法存在以下问题:收敛速度慢;若加快收敛速度易产生振荡；存在局部极小和平台问题;泛化能力差;隐节点数和初始值的选取缺乏理论指导;未考虑样本选择对系统学习的影响等。所以很多学者提出许多改进的方法，用小生境遗传算法优化神经网络权值的神经网络来预测股票价格。

2.小生境遗传算法

小生境遗传算法(Iche Genetical Gorihm)的基本思想是:首先比较任意两个个体间的距离与给定值的大小，若该距离小于给定值，则比较其适应值大小。对适应值较小的个体施加一个较强的惩罚，极大地降低其适应值。也就是说，在距离L内将只有一个优良个体，从而既维护了群体的多样性，又使得各个体之间保持一定的距离，并使得个体能够在整个约束空间中分散开来。

3.神经网络连接权的优化

用小生境遗传算法可以优化神经网络连接权，神经网络结构，学习规则等，这里我们对神经网络的连接权进行优化，具体步骤如下：

（1）随机产生一组权值分布，采用某种编码方案对该组中的每个权值(或阈值)进行编码，进而构造出一个码串(每个码串代表网络的一种权值分布)，在网络结构和学习规则已确定的前提下,该码串就对应一个权值和阈值取特定值的一个神经网络。

（2)对所产生的神经网络计算它的误差函数，从而确定其适应度函数值，误差越大,则适应度越小。

（3)选择若干适应度函数值最大的个体,直接遗传给下一代。

（4)利用交叉和变异等遗传操作算子对当前一代群体进行处理，产生下一代群体。

（5)重复（2）（3）（4），使初始确定的一组权值分布得到不断地进化,直到训练目标得到满足为止。

这种由小生境遗传算法训练神经网络的方法也可以称做混和训练法。将基于小生境遗传算法的遗传进化方法和基于梯度下降的反传训练相结合,这种训练方法吸取两种方法的各自特点，所以收敛速度快。

三、股票价格预测仿真

根据经验选取输入预测日前四天开盘价、收盘价归一化后做为作为输入量，输出为第五天收盘价归一化数值。所以，本文采用神经网络结构为(8,5,1),即网络的输入层6个节点,隐含层9个节点,输出层1个节点。本文选择了“XDG 新梅（600732）”从2006年3月14日到2006年7月1日数据进行了仿真。利用MATLAB6.5编程，取70组训练样本和30组测试样本。如图（1）表示用遗传算法和小生境遗传算法对神经网络的权值进行优化时，误差曲线变化;从图中可以看出，小生境遗传算法收敛速度要快;图（2）表示股票预测值和实际值比较，从图中可以看出，遗传算法和小生境遗传算法对神经网络的权值的模型进行股票价格的预测，都能预测出股票走向趋势，但是，后者的预测精度显然要比前者高。

四、结束语

股票市场的不确定因素太多，股票的价格更是多种因素影响的集合体，是典型的非线性动力学问题。股票价格的中长期准确预测很难。本文建立了用小生境遗传算来优化神经网络模型来预测股票价格，结果表明，这种方法比单用遗传算法优化的神经网络收敛速度快，预测精度高。对于股票价格预测具有较好的应用价值。

参考文献:

[1]龙建成李小平:基于神经网络的股票市场趋势预测[J].西安电子科技大学学报(自然科学版.2005.3（32）:460-463

[2]王波张凤玲:神经网络与时间序列模型在股票预测中的比较[J].第27卷第6期武汉理工大学学报・信息与管理工程版.2005.9（27）:69-72

[3]张立明:工神经网络的模型及其应用[M].上海:复旦大学出版社,1995.35-76

神经网络的训练方法范文第3篇

关键词：图像复原 BP神经网络 Hopfield神经网络 应用

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2013）11-0040-02

1 引言

图像复原是一项富有现实意义的工作，它涉及到广泛的技术领域，是图像处理领域研究的焦点之一。在得到图像的过程中，由于各种各样的原因，包括与观测对象的相对运动、介质散射、成像系统缺陷和环境噪声等原因，使得最终的图像都会有一定程度的退化。图像复原就是从退化的图像中恢复图像的本来面目。传统的图像复原处理问题的关键在于建立退化模型，估计退化过程中的参数，由此通过相应的逆过程得到原始图像。获得准确的图像退化模型是比较困难的事情。大多数图像复原的实际问题是点扩展函数以及原始图像均未知的盲复原问题，这类问题具有更严重的病态性因而进一步增加了解决的难度。人工神经网络（Artificial Neural Network，ANN）为图像复原问题的解决提供了另外一条路径，这是基于人工神经网络具有的模拟人类神经的非线性、自组织、自学习、自适应特性。一般而言，人工神经网络适合于解决无法或很难精确建立数学模型、不完全清楚内部机理的问题，人工神经网络的很多特性适合解决图像复原问题。近些年来，对人工神经网络应用于图像复原的研究越来越多，形成了很多丰富的神经网络模型和算法。BP（Back Propagation反向传播）和Hopfield（霍普菲尔德）是典型的人工神经网络类型，也是在图像复原领域应用较多的神经网络类型。

2 BP神经网络在图像复原中的应用

2.1 BP神经网络的特性

BP神经网络是上世纪80年代美国加州大学的Rumelhart、McClelland及其团队研究并行分布信息处理时提出的采用反向传播算法的多层前馈网络。BP神经网络具有良好的泛化能力，其隐层的非线性传递函数神经元可以学习输入输出之间的线性或非线性关系。在1989年，RobertHecht-Nielson证明了对于任何一个在闭区间内连续的函数都可以由具有一个隐含层的BP网络来逼近，这样，一个三层（输入层、隐层和输出层）的BP神经网络即能完成对多维度函数的逼近。这些特性，使得选用BP神经网络简单地实现在未知点扩展函数的情况下，拟合原始图像与退化图像之间的关系，从而得到满意的图像复原结果成为可能。

2.2 BP神经网络应用于图像复原

BP神经网络用退化图像与相对应的原始图像进行训练，退化图像为网络的输入，原始图像为网络的输出。训练完成的神经网络会在退化图像与原始图像之间建立非线性的映射关系，使得利用这种非线性关系即可实现在只有退化图像的情况下对齐进行复原。

利用BP神经网络进行图像复原，一般用输入图像的N×N邻域内的N2个像素点对应输出图像的一个像素点。这样的对应方法会使整个运算量增大，但正由于参与运算的像素点增加，使得网络具有更好的泛化和鲁棒能力。由于三层BP神经网络可以任意精度逼近某一多维度函数，因而其应用于图像复原时使用三层网络结构。输入层和输入层节点数分别由输入图像像素数量和输出图像像素数量决定，隐层节点数量和训练方法在很大程度上决定了网络性能。

为了便于网络计算，通过神经网络计算前通常将输入图像进行归一化。以灰度图像为例，将图像数据[0～255]转换到[-1～1]或[0～1]。图像经过神经网络复原后还需进行反归一化转换，将计算得到的数据转换为图像数据，即将[-1～1]或[0～1]转换到[0～255]。

通常，运用BP网络进行图像复原算法流程包括：（1）图像的预处理，得到归一化的便于神经网络计算的数据；（2）使用退化图像与对应的原始图像（训练BP神经网络；（3）将待复原图像输入训练好的BP神经网络进行图像复原；（4）数据的后处理，将网络输出数据进行反归一化，得到复原图像。

3 Hopfield神经网络在图像复原中的应用

3.1 Hopfield神经网络的特性

不同于BP神经网络，Hopfield神经网络是一种单层反馈网络，信号在网络中不仅向前传递，还在神经元之间传递。图1是有三个神经元的Hopfield神经网络结构图。Hopfield神经网络由美国加州理工学院物理学家J·J·Hopfield在上世纪80年代提出，并首次在神经网络研究中引入了计算能量函数的概念，通过研究网络的稳定性与计算能量函数的相关性给出了网络的稳定性判据。J·J·Hopfield运用Hopfield神经网络成功地探讨了旅行商问题（TSP）的求解方法。HNN神经网络采用灌输式学习方式，其网络权值是事先按一定规则计算出来的，确定之后不再改变，各神经元的状态在运行过程中不断更新，网络稳定时各神经元的状态便是问题的解。Hopfield神经网络的这些自身特征使其适于应用于联想记忆和求解最优化问题。

3.2 Hopfield神经网络应用于图像复原

利用神经网络进行图像复原的方法分为两类：一种是用原始图像和模糊图像构成的样本训练神经网络，在训练好的网络中建立起原始图像与模糊图像的非线性映射关系，然后以带复原的模糊图像作为网络的输入，经过网络输出的图像数据就是经过复原的图像，BP神经网络就是运用这种方法进行图像复原的典型神经网络。另一种是经过神经网络反复的数学迭代计算复原，运用Hopfield神经网络进行图像复原属于这类方法。

其中是神经网络的状态向量，为网络的权值矩阵，为由网络中各神经元阈值构成的向量。Hopfield神经网络的运行结果即网络达到稳定状态就是达到最小值时的状态。由式（4）和（5）可以看出图像复原的目标函数与Hopfield神经网络能量函数具有相似的表达形式，因而可以建立两者之间的联系，从而将图像复原问题转变为神经网络的运算问题，这也就是Hopfield神经网络应用于图像复原的基本原理。

运用Hopfield神经网络解决图像复原问题首先要确定网络的权值矩阵。可以按照Hebb学习规则得出[4]。完成网络初始化后，将退化图像输入网络，从网络中选取一个神经元按照Hopfield神经网络的运算规则得出神经元的输出，将所有神经元求出输出后判断该网络是否达到稳定状态，即计算前后的网络能量函数的误差是否小于要求的范围。如果网络不稳定，需要重复迭代计算；网络达到稳定状态时，神经网络的状态向量就是要求的原始图像。经过一定的后处理就能得到具有一定精度的原始图像。

4 结语

人工神经网络在图像复原问题中的应用已经扩展到了很多方面，包括三维显微图像、高能闪光照相等领域[5-6]。神经网络在图像复原中的应用机理也不断得到深入研究。这些得益于神经网络算法不依赖求解问题本身数学模型的特点，以及自身强大的泛化能力。BP和Hopfield神经网络都能成功地运用在图像复原问题中，在选用神经网络进行图像复原研究时要注意到BP神经网络强烈地依赖退化图像与原始图像构成的样本集合对网络进行训练，这就要求得到足够的先验知识或者通过某种算法得到退化图像与原始图像相对应的样本群。Hopfield神经网络不依赖于退化图像与原始图像的先验知识，可以直接针对退化图像进行复原。这就需要根据不同的实际情况选取合适的网络类型来解决问题。

参考文献

[1]尚钢，钟珞，陈立耀.神经网络结构与参数选取[J].武汉工业大学学报，1997，19（2）.

[2]王晗.基于Hopfield神经网络的图像恢复[D].武汉：华中科技大学南京理工大学，2006年4月.

[3]席旭刚，罗志增.用Hopfield神经网络实现触觉图像恢复[J].仪器仪表学报，2008，30（10）.

[4] Bianchini M，Frasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

神经网络的训练方法范文第4篇

关键词:人工神经网络;故障诊断;水泵

中图分类号:TU

文献标识码:A

文章编号:1672-3198(2010)04-0295-02

1 人工神经网络理论应用于水泵故障诊断研究的理论意义

采用人工神经网络(ANN)技术解决机械故障诊断问题的主要着眼点在于:

(1)ANN的大规模分布式并行处理能力,适于解决复杂的诊断问题。

(2)ANN具有较强的非线性处理能力,适宜于解决故障诊断中复杂的非线性模式识别问题。

(3)ANN具有任意复杂映射的强有力的逼近能力,适宜于解决故障领域中的预测与控制问题。

水泵工作故障往往表现为工作平稳性恶化、振动加剧以及噪声增大,这往往又是衡量机器制造质量和工作性能的重要指标。本文以某型号离心泵为对象,通过测取故障振动信号来进行故障诊断。

水泵转子由于制造误差、装配不当或在不适当的条件(载荷、等)下使用,常会发生以下故障:①转子不平衡;②不对中;③油膜涡动。而这些故障将会使轴承的旋转精度降低,产生振动、噪声,增加轴承旋转的阻力,最终将使轴承受到阻滞或卡死,造成整个工业系统的失效。振动中不平衡、不对中以及油膜涡动占整个故障发生率的80%。因此对上述故障进行诊断具有非常重要的意义。

神经网络之所以适合于故障诊断,是因为神经网络具有以下优越性:自组织和自学习能力可以根据对象的正常历史数据训练神经网络,然后将此信息与当前测量数据进行比较,以确定故障;联想记忆神经网络具有滤出噪声及在有噪声情况下得出正确结论的能力,可以训练神经网络来识别故障信息,使其能在噪声环境中有效地工作,这种滤除噪声的能力使得神经网络适合在线故障检测和诊断;非线性映射能力神经网络对于高维空间模式识别和非线性模式识别问题的分类精度高,具有分辨故障原因及类型的能力,这为实现故障诊断奠定了基础。因此,神经网络理论在故障诊断领域显示出了极大的应用潜力。本文将新兴的神经网络理论应用于水泵的故障诊断和状态检测,以某型号水泵的实测数据为例,对神经网络模型进行训练分析,取得了令人满意的结果,具有实际应用价值。

2 人工神经网络应用于水泵故障诊断技术的实现

2.1 样本数据的获取

实验采用便携式Dasylab测试系统进行测试,在现场对三种故障进行模拟,将数据信号存储在磁盘中,得到水泵三种故障:(1)转子不平衡;(2)转子不对中; (3)油膜涡动的时域曲线和频域曲线。对各个故障的频域曲线,提取了五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量。

2.2 特征提取

要从样本中提取对诊断故障贡献大的有用信息,这一工作就是特征提取。特征提取就是利用已有特征参数构造一个较低维数的特征空间,将原始特征中蕴含的有用信息映射到少数几个特征上,忽略多余的不相干的信息,从数学意义上讲,就是对一个n维向量X=[x1.x2,…,xn]T进行降维变换成低维向量Y=[y1,y2,…,yn]T,m

由于水泵设备总是运行在噪声、电磁干扰等环境中,在振动信号分析与处理方法中,常用快速傅立叶(FFT)变换对振动信号进行频谱分析。

2.3 样本数据的预处理

原始样本数据不宜直接作为神经网络输入,那会使网络连接权值相差极大,使网络输出性能变得不稳定。因此在输入网络前通常需要将数据进行预处理。为了一开始就使各变量的重要性处于同等地位,神经网络学习和测试时要对提取的数据进行归一化处理,即:令

x′i=xi-xminxmax-xmin(1.1)

xi――不同频率下的幅值

xmin――最小幅值xmin=min(xi)

xmax――最大幅值xmax=max(xi)

这样,网络所有输入都在[0, 1]内。

2.4 水泵故障诊断神经网络模型结构

由于故障机理(故障征兆和故障原因之间的关系)往往隐含于故障实例之中,通过一些故障实例(称为故障样本)对神经网络进行训练学习,可以建立起系统的故障诊断模型,而故障诊断的推理规则隐含于神经网络的网络拓扑结构和网络权值之中。

多层前馈神经网络的输入和输出之间的关系,可以看成是一种映射关系,这种映射是一个高度非线性映射,如果输入节点数为L,输出节点数为N,网络是从L维欧氏空间到N维欧氏空间的映射。三层神经就已经能够逼近任意函数了,因此,水泵故障诊断神经网络采用三层结构即输入层、输出层和隐含(中间层)。通过有监督的训练方法训练网络权值。

(1)输入层设计。

特征参数组成特征向量,特征向量作为网络输入。所以,特征参数选取的正确与否直接影响到网络的性能。

通常,选取的方法应该通过理论分析、专家经验、试验找出对水泵性能影响较大,同时对各种故障都有较明显反应的变量作为特征参数,然后将这些特征参数组成特征向量,经过数据的预处理,作为BP网络的输入。第二章通过水泵故障机理的分析可以发现5个参数在故障情况下变动明显。因此,本文选取以上5个参数作为BP网络的输入参数。

输入层中神经元节点的个数对应着上述状态特征描述参数矢量或数组。通过对水泵故障的分析,提取了频域曲线中五个不同频率的幅值作为描述水泵故障的特征值,并把这组特征值作为输入量,所以水泵故障诊断神经网络的输入单元为5个。

(2)输出层设计。

网络输出向量,通常是具体问题的目标结果。本文的目的是判断某一状态下处于何种故障,输出层中神经元节点的个数对应于神经网络要识别的故障模式矢量或矩阵。本故障诊断神经网络需要对不平衡、不对中和油膜涡动三种故障进行识别。因此水泵故障诊断神经网络的输出为3个单元。

如以上所述,BP神经网络的输入神经元有5个,输出神经元有3个。隐层神经元数目是由训练样本数目决定的。

(3)中间层设计。

中间层数及其神经元节点的个数与输入的技术特征参数的复杂程度及所需识别的故障模式种类有关。当输入模式和输出模式相当不同时,就需要增加中间层,形成输入信号的中间转换。处理信号的能力随层数的增加而增加,如果有足够的中间层单元,输入模式也总能转换为适当的输出模式。一般来说,还没有任何理论根据采用两层以上的中间层。对大多数的实际问题来说,一层中间层即三层网络己经足够了。根据经验,采用两层以上的中间层几乎没有任何益处。采用越多的中间层,训练时间就会急剧增加,这是因为中间层越多,误差向后传播的过程计算就越复杂,使训练时间急剧增加。另外中间层增加后,局部最小误差也会增加,网络在训练过程中,往往容易陷入局部最小误差而无法摆脱,网络的权重难以调整到最小误差处。

根据试验的需要和具体的分析,本研究所建立的网络为一层中间层,确定中间层以后的一个重要问题是选择适当的中间层处理单元。可以说,选用中间层单元数往往是网络成败的关键,因为中间层处理单元数选用太小,则网络所能获取的用以解决问题的信息太少,难以处理复杂的问题;但若中间层处理单元数过多,不仅使网络的训练时间急剧增加,难以在人们所能接受的时间内完成训练,更重要的是过多的中间层处理单元还可能出现所谓“过度吻合”问题。也就是说,如果网络具有过多的信息处理能力,甚至把训练集中一些无关紧要的非本质的东西,也学的惟妙惟肖时,则网络就难以分辨数据中真正的模式。

一般来说,中间层单元数可根据下式确定,

n1=n+m+α

式中n1――中间层单元数 m――输出层单元数 n――输入层单元数

α――1-10之间的整数

本文中,m取3,n取5,根据上面公式中间层单元数n1取5。从而该水泵故障诊断神经网络结构如图所示。

图1

2.5 神经网络关键程序实现

(1)创建网络。

使用newff()函数创建网络,网络参数设置如下:

隐藏层神经元设置为5,输出层神经元个数为3,根据神经网络的要求和所要达到的网络输出目的,选择输入层到隐藏层间的传递函数为tansig,即S型的正切函数,隐藏层到输出层间的传递函数为logsig型函数,即为S型的对数函数。

使用训练函数trainlm来训练网络。

(2)设置训练次数。

将训练次数设置为1000次。

(3)设置学习效率。

学习速率决定每一次循环训练中所产生的权值变化量,用η表示。η较大时,权值的变化量就较大,学习速率比较快,但有时会导致振荡。η较小时,学习速率慢,然而学习过程平稳。这样,在实际的学习过程中,可以将η值取为一个与学习过程有关的变量,并且在学习刚开始时η值相对大,然后随着学习的深入,η值逐渐减小。在一些简单的问题中,η可取为一个常数,满足0

(4)网络训练。

使用学习样本和目标向量训练网络,P和T分别设为训练样本向量和目标向量。

(5)诊断测试。

利用待诊断数据样本P_test,使用sim()函数实现测试。

3 结束语

本文采用Dasylab测试软件采集故障信号,以信号频谱中各阶倍频和分频作为智能诊断的特征因子,提取故障样本,进行BP网络的训练。利用MATLAB建立了水泵故障诊断神经网络学习和诊断程序,实现了基于人工神经网络理论的某型号水泵故障诊断模型。结果表明,本神经网络故障诊断模型不仅克服了传统诊断方法的弊端,而且大大提高了水泵故障诊断的准确率和诊断效率。

参考文献

[1]廖伯瑜.机械故障诊断基础[M].北京:冶金工业出版社,2003:1-36.

[2]田景文.工神经网络算法研究及应用[M].北京:北京理工大学出版社,2006:70-90.

[3]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006:50-85.

神经网络的训练方法范文第5篇

关键词： 径向神经网络 故障诊断 观测器

一、径向神经网络

在众多的神经网络中，径向神经网络是一种结构简单、训练速度快并且具有最佳逼近性能的多层前向神经网络。多年来，人们对径向神经网络进行了大量的研究，并成功地应用于故障诊断领域。主要原因有：

（1）它能存储有关过程的知识，直接从历史故障信息中学习，可以根据对象历史数据训练网络，然后将此信息与当前测量数据进行比较，比确定故障的类型。

（2）它具有滤除噪声即在噪声的情况下得出正确结论的能力，可以训练人工神经网络来识别信息，使其在噪声环境中有效地工作。

（3）它具有很强的非线性逼近能力。

（4）它具有分辨故障原因及故障类型的能力。

径向神经网络（Radial Basis Function Neural Network，RBFNN）是20世纪80年代提出的一种以函数逼近理论为基础的前向神经网络，其设计思想就是将径向基函数（RBF）应用于神经网络作为激励函数。不同于BP网络的全局逼近性能，RBF是一种局部逼近网络，对于每个训练样本，它只需对少量的权值进行局部的修正，因此速度很快，具有最佳的逼近性能。RBF神经网络的机构与多层前向网络结构类似，其拓扑结构如图所示。

RBF神经网络是由输入层、隐含层和输出层构成的三层前向神经网络。第一层为输入层，由信号源节点组成，其单元个数是由所描述问题的需要决定的；第二层为隐含层，是由一组径向基函数构成的非线性映射层，这样就将输入矢量直接映射到隐含层空间，当径向函数的中心确定以后，这种映射关系也就确定了；第三层为输出层，提供从隐单元空间到输出空间的一种线性变换。其中隐含层是网络的核心，隐含层神经元的变换函数是一种局部分布的对中心点径向衰减的非线性函数，利用径向基函数作为隐含层神经元的基构成隐含层空间，实现输入矢量到输出矢量的映射变换。这里主要研究以高斯函数为变换函数的径向基神经网络。

RBF神经网络的输入与输出之间可认为是一种映射关系：f（x）:R R

其中式中，i=1，2，…，n为隐含层节点数，n（y ，…，y ，…， y ）∈R 表示神经网络的输出，x∈R 为网络输入矢量，w∈R 表示输出权值，g∈R 为径向基函数，g 表示隐层第i个神经元的输出值，w 表示第i个神经元到输出层第j个神经元的权值。

式中，m ∈R 为径向基神经元的中心，r ∈R为径向基神经元的宽度，.表示2-范数或欧式距离。

径向基神经网络的权值、中心与宽度是径向基神经元的三个重要参数。构造和训练一个RBF神经网络的就是要是网络通过学习，确定出每个隐层神经元基函数的中心m 、宽度r 及隐层到输出层的权值w，从而可以完成所需的输入到输出的映射。RBF网络的三部分参数在映射中所起的作用是不同的。隐含层的径向基函数完成的是从输入空间到隐含层空间的非线性映射，而隐含层到输出层的权值是实现从隐含层空间到输出空间的线性映射，所完成的任务不同，决定了参数的训练方法和策略不同。

径向基神经元网络的学习可以看成是误差准则下，以误差函数f（x）为目标函数的无约束最优化问题。

式中，x表示网络的三个待求的参数（中心、权值与宽度）；y 为网络输出，y 为期望输出，N为样本总数。

对于解决无约束最优化问题，通常采用迭代的方法进行计算，在给定初值x 后，按照等式

逐步修改直至收敛于解，其中为迭代步数，a 为学习速度，p 代表搜索方向。当用上式进行迭代时，函数f（x）应该在每次迭代时都减小。研究结果显示，最简单的下降方向就是沿负梯度的方向，此时

式中，g 为f（x）在x 处的梯度，这样我们就得到了最速下降的优化算法：

有上面的推导可以看出，算法的关键是梯度的计算，下面给出梯度的计算公式。为了便于推导计算，将RBF网络的数学模型表示如下：

式中，s=1，2，L，h为输出变量的个数；i=1，2，L，n为隐含层的个数；j=1，2，L，N（N为样本总数）；k为迭代步数；y 为第s个输出；w 为输出层的权值；m 为神经元的中心；r 为神经元的宽度；x（j）为输入样本。

定义如下的误差函数：

式中，y 为网络输出，y 为期望输出。

根据上述式子，输出权值的梯度为： =-e （k）Q （k）（11）

具体步骤为：

（1）随即给定一组参数x ∶m ，r ，w ，并给定迭代终止精度ε的值。

（2）令RBF网络隐含层数目n=n ，n =l+m为任意小的正整数（其中l和m分别表示系统输入输出的维数）。

（3）根据所给定的样本，利用梯度法计算网络的三个参数值，根据参数值计算网络的输出。

（4）根据样本数据和网络输出计算误差e（n），如果e（n）≤ε转到下一步，否则让n=n +n（其中n ＞0为整数），判断是否n≤n （n 为预先设置的最大隐含层数目），满足条件则转上一步，否则转下一步。

（5）记录此时的n，m ，r ，w ，则得到RBF网络隐含层的数目、网络的中心、宽度和权值。

上述是基于最速度下降梯度法的径向神经网络算法可以看出，网络结构的构建与参数调整可以同时完成，具有学习时间短、计算量小等特点。

二、神经网络观测器的建立

通常情况下，非线性系统的状态空间模型可以表示如下：

x（k+1）=f（k，x（k））+g（k，x（k））u（k）+v（k）（14）

y（k+1）=h（k+1，x（k+1）+σ（k+1））（15）

式中，k为离散时间变量；x（k）∈R 为状态变量；u（k）∈R 为输入变量，y（k）∈R 为输出向量；f:R R ，h:R R 为映射函数；v（k）和σ（k）分别为噪声和模型不确定性函数。

根据RBF网路的最佳逼近性能，可以建立神经网络辨识模型，对于任意小的ε，存在RBF网络逼近于系统的实际输出：

e=y -y ＜ε（16）

式中，y 为网络输出，y 为期望输出，ε为输出残差。当无故障时，残差信号由状态估计的误差和噪声所决定，如果状态估计的误差足够小，则残差通常趋近于零。当传感器故障时系统的状态方程变为：

x（k+1）=f（k，x（k））+B（k，x（k））u（k）+v（k）（17）

y（k+1）=h（k+1，x（k+1））+σ（k+1）+D （k）（18）

式中，D ∈R 为传感器故障分配矩阵，此时输出残差r（k）发生了很大的变化，所以根据残差向量的改变进行传感器的故障监测与隔离。

在构造出系统的观测器之后，就可以将其用于系统的故障隔离。在本文中神经网络观测器是作为一个无故障的正常的模型来使用。基于神经网络的故障诊断系统结构如图所示：

三、故障诊断

基于神经网络的系统故障诊断的基本思想就是建立系统的辨识模型，根据模型输出和实际系统输出的残差进行故障检测与隔离，所以建立系统的辨识模型是研究的重点与核心。

针对于传感器，使用如下的方法来进行故障诊断；

由于神经网络具有很强的自学习能力，因此可以通过学习来获得传感器测量值，从而为故障诊断提供有效的信息。

首先，应用传感器组中的任一个输出信号和系统输入作为神经网络的输入信号，将所有传感器的输出信号作为神经网络的输出信号，构成输入样本集合，应用RBF网络离线训练如下m个神经网络模型：

y （k）=F ［y （k），u（k）］，i=1，2，…，m（19）

然后应用神经网络观测器可获得m组，，…，，其中=［，，…，］ 是第i个观测器得到的，网络的输入和训练时的输入相同。在系统正常运行条件下，也即无故障时，接近系统传感器输出y 。当第i个传感器故障而其余的m-1个传感器正常运行时，由第i个神经网络观测器所得的传感器的输出估值将会偏离的输出估值，而其他神经网络观测器的输出则不受影响，仍接近实际输出。那么利用下面的逻辑检测实现传感器故障诊断。

定义阀值ε ＞0，j=1，2，…，m，计算判别函数。

式中，y 为第i个传感器测量值，为由第i个传感器的测量值获得的第j个传感器输出的估计值。则有下面的逻辑：

四、小结

径向神经网络具有最优的逼近性能，可以精确地对系统进行辨识。利用神经网络观测器进行系统故障诊断，需要建立精确的神经网络辨识模型。在精确模型的基础上可完成对系统的故障诊断，这种抗干扰能力很强，对不确定、非线性系统有很好的效果。

(指导老师：何晓薇教授)

（作者系中国民航飞行学院飞行技术学院研究生）