神经网络的权值

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇神经网络的权值范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

神经网络的权值范文第1篇

关键词：汽车安全气囊 自组织 神经网络 故障诊断

中图分类号：U491 文献标识码：A 文章编号：1672-3791（2014）12（b）-0080-01

随着现代汽车动力性能的不断提升，汽车的种类、数量也在不断增多，而高速公路、快速路桥也在快速发展，汽车的使用更加广泛普及，因此，这使得更加容易发生严重的交通事故。汽车的安全性能也是衡量汽车质量的一个重要因素，而汽车安全气囊是现代轿车中最被关注的汽车安全的高技术装置。可以说，当汽车发生严重交通事故时，汽车安全气囊质量的好坏，直接关系着能否挽救车内人员的生命[1]。因此，在生产过程中对汽车安全气囊生产工序的监测显得尤为重要。

利用汽车安全气囊装配工序中已有的先验知识，构建并训练了一个自组织神经网络SOM的多传感器故障诊断系统；通过现场的多传感器采集设备运行数据信息输入故障诊断的系统，利用自组织SOM神经网络的聚类性能，得到装配工序中故障的类型。从而达到诊断汽车安全气囊装配工序的故障，具有较高的应用价值。

1 诊断汽车安全气囊装配工序的故障类型

将输入向量设定为汽车安全气囊现场的装配中采集的传感器的数据，输出向量X={x1，x2，x3，x4，x5}，其中x1为压力传感器，x2右侧的光栅尺传感器的检测数据，x3左侧光栅尺传感器检测数据，x4、x5为布袋卷起电机速度传感器检测数据。输出向量中设置五种输出类型，分别是左卷袋电机不动作类型、右卷袋电机不动作类型、气袋卷袋不均匀类型、举升架不工作类型、未知故障类型。

1.1 特征级融合

特征融合采用的是BP神经网络方法，利用传感器检测的先后顺序，特征融合第n个传感器。

传感器的个数为n，n的值为5，传感器特征值个数称为m，m=8，这里检测的数据有以下8种状态，它们分别是升降、快降、下降、上升、平稳、异常、未知。这里的000、001、010、011、100、101、110、111，xn-1，…，xn-18是cm的二进制表示方法，传感器n的时间序列用18种类来表示。

BP网层结构结构分为三层，其中隐层里有16个单元，因此，整个网络是一个5×16×5的结构，Morlet小波函数是隐层函数。

1.2 决策级融合

将特征融合的输出结果，利用基于SOM网络来进行下一步决策级融合。k在这里表示的是生产线运行的工况，k=5，五种故障类型分别是右卷袋电机不动作、举升架不工作、气袋卷袋不均匀、左卷袋电机不动作、未知故障。

其中，在这里竞争层中神经元设置为6×6的输出网格；选择训练样本为800组；初始的网络权值随机选择较小的竞争层神经元；总的训练次数设为N=3000，初始学习率η0=0.5。

（1）在输入的样本数据中选取一组网络的数据来作为输出，并进行处理。

（2）竞争神经元的方法，这里选区的是最小欧式距离，竞争获胜神经元设定为k，满足：

i=l，2，…，m（1）

式中，输出向量xj，而在竞争层任何的一个神经元与其输入节点网络权值，i=l，2，3，…，m；j=1，2，3，…，n。其中，ms是为竞争神经元的的个数，n是输出向量的个数。

（3）获胜单元的相领区域，这里成为Nc（t），而相领区域Nc（t）的形状是六边形的形状，选取的是高斯函数。

（4）对神经元的获取和对领域的相关神经元的权值调整，其中主要包括兴奋神经元：

（2）

其中t+1表示的是下次训练的次数，η（t）是更新的学习率，函数表示的是训练次数t的函数。

（5）函数（2）所示，学习率η（t）和称之为拓扑域的函数Nc（t），可在训练的过程中得到递减性。

（3）

在这里，训练次数为t，总和用N来表示。

（6）最后判断t的次数和N的次数，看是否超过，没有超过可以重复步骤“信息采集”，如果超过则满足了条件，训练完成可以停止得到结果。

2 仿真结果与分析

选取故障样本300个，输入到训练好的SOM网络中，最终得到的检测结果，98%的故障检测结果都满足要求。可见，运用自组织神经网络SOM的训练系统，得到的输出结果准确。如图1、图2所示。

3 结语

该文所提故障诊断方法无需建立对象数学模型就能够通过无师自动学习的方式将安全气囊生装配工序的传感器采集来的数据进行分析，计算简单，精度高，抗噪声能力强，更加快速准确地确定了安全气囊装配工序的故障，便于提高安全气囊的生产质量，有很高的应用价值。

参考文献

神经网络的权值范文第2篇

关键词：CT图像；图像重建；BP神经网络

1 引言

图像重建是光学CT 技术的核心内容。在CT应用中，先是已知待测图像在几个方向上的投影，然后由这些投影数据重建出该图像。常用的算法主要有代数迭代法（ART）、滤波反投影（FBP）、最大熵法等。这些算法在投影数据比较多的情况下重建结果还比较理想，但在投影方向受限（如4～5个）的情况下，重建精度就很低[1，2]。

针对稀疏视角不完全投影图像重建的特点和难点，本文利用神经网络具有处理高维高度非线性和不确定问题的优势，提出了一种基于神经网络的图像重建方法。该方法充分利用神经网络具有强大的自适应学习和联想综合能力，故而可以实现所需的由已知投影值的视角区域到未知视角区域的弥补[3]，并且选用最简单的神经网络结构和有效的学习样本，从而在有限的条件下更有效地重建出高质量的图像。

2 基于BP神经网络的图像重建

2.1 BP网络模型及权值初始化

在各类神经网络中，BP神经网络是一种算法成熟且易于实现的网络类型。本文选用三层神经网络，即包含输入层、隐含层和输出层。

其中，输入层和输出层分别对应原始图像和重建图像的投影数据，神经元的个数为投影数据的个数。隐含层代表重建图像，神经元的个数为重建图像像素的个数[4]。在网络训练过程中，输入层至隐含层的权值W随误差的反向传播不断调整，隐含层至输出层的权值M在网络训练前事先初始化，并保持不变。根据CT图像重建理论，隐含层和输出层神经元之间的权值即为第i条投影射线穿过第j个像素的长度ri，j，故权值矩阵M即为投影系数矩阵R。笔者采用文献[5]新方法求取投影系数矩阵，从而确定权值矩阵M。

2.2 BP神经网络的改进

神经网络的权值范文第3篇

关键词：人工神经网络；前馈神经网络；递归神经网络

中图分类号： TP183 文献标识码： A 文章编号： 1673-1069（2017）06-165-2

1 绪论

人工神经网络（Artificial Neural Network， ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。ANN通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成果，实现对信息的处理，是一种新兴的交叉学科，不但推动了智能化计算的应用和发展，同时也为信息科学和神经生物学的研究方法带来革命性的变化，现已成功应用于脑科学，认知科学，模式识别，智能控制，计算机科学等多个领域。

在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法[1]。而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。所谓神经网络训练，也就是网络参数的学习和调整，是一个反复调节节点之间权值和阈值的过程，其学习可以分成三类，即有监督学习（Supervised learning），无监督学习（Unsupervised learning）和强化学习（Reinforcement learning），本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。

2 前馈神经网络

2.1 前馈神经网络的特点

前馈神经网络的主要种类包括：感知器，线性神经网络，BP网络，径向基网络（RBF）等。其训练算法主要采用梯度下降法（Gradient descent），包括：误差反向传播算法（Back Propagation， BP），改进的BP算法，Levenberg-Marquardt法（LM）等。前馈神经网络具有学习简单，收敛较快等优点，因此在实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数[2]。当网络结构已知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。

传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，目前已成为研究和应用最广泛的有监督学习算法。但BP算法存在许多问题，例如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训练[3]。改进的BP算法有多种形式，主要有通过附加动量和学习率的引入改进BP网络的自适应能力等方法，附加动量方法虽然在一定程度上改善了易陷入局部极小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率限制在一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不大，仍然导致误差较大问题。LM法具有训练时间段，收敛速度快的优点，但由于LM法需要计算误差的Jacobian矩阵，这是一个复杂的高维运算问题，需要占用大量系统存储空间，同时，LM也存在易陷入局部极小的问题[4、5]。

2.2 前馈神经网络的研究现状

在传统的神经网络训练过程中，预估校正法或者经验选择是最常被使用的网络结构选取方式[6]。在训练和优化网络权值和阈值过程中，训练算法在上述分析中已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是连续可求导的函怠R虼耍这些权值训练方法常和进化算法等全局搜索算法相结合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实数编码，克服二进制编码受到编码串长度和精度的限制。例如，Sexton等人用一种改进的遗传算法优化前馈神经网路权值，结果表明改进的算法使网路训练精度得到显著提高[3]。Abbass通过将传统BP算法和差分进化算法相结合，提出了一种的新的权值训练方法并用于乳腺癌的预测实验，取得较好结果[7]。Iionen等人使用差分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度下降的网络训练方法比较，结果表明该方法具有较好的精度[8]。更多研究成果表明，将DE、PSO应用于网络权值在线训练和优化具有明显优势，这些改进方法也成功应用在了医学和工程技术等领域[9、10]。

此外，多种优化算法相结合也被证明是有效的。例如，在文献[11]中，作者提出了一种DE和LM相结合的神经网络快速训练方法。Liu等人提出一种粒子群算法（Particle Swarm Optimization， PSO）和共轭梯度算法相结合的混合算法，并将其应用于神经网络的权值优化[12]。在优化过程中，首先确定网络结构，然后使用PSO的全局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。在文献[13]中，作者采用相反方式将基本PSO和传统BP算法相结合使用，首先用BP算法对网络权值进行计算，然后使用PSO对网络结构固定的权值进行优化和改进。有学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提出的方法具有更好的准确性。Epitropakis等人在训练离散Pi-Sigma神经网络实验中，采用一种分布式离散差分进化算法和分布式离散PSO算法相结合的方式。该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得输出，作者认为这种整数权值的离散方式更适合用于硬件实现[14]。在离散化权值方面，Bao等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效用于训练固定结构的网络权值。

在不同领域中，任务往往各不相同，因此针对不同的动态系统，不同类型的递归网络的也相继被提出并得到研究，使之成为人工智能界的研究热点之一。因其具有独特的优化能力，联想记忆功能，递归神经网络已引起AI界极大的研究和关注，并成功应用于多种模式识别问题，例如图像处理，声音辨识，信号处理等。

4 结论

本章分析和研究了神经网络的两种主要类型，前馈型和递归型，并对其特点进行了分析。前馈网络的主要特点是计算简单，运算方便，缺点是耗时较长，容易陷入局部极小；递归网络的特点是具有动力学特性和联想记忆特性，但使用时需要注意稳定性和收敛性，且对初始状态具有高度敏感特性。针对两类神经网络的特点，可通过多种优化相结合的方法解决收敛较慢且容易陷入局部极小问题，应用参数学习训练算法和网络结构优化算法对递归网络进行适当的调整，以应用于具体问题。

参 考 文 献

[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.

[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.

[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.

[4] 商琳， 王金根， 姚望舒，等. 一N基于多进化神经网络的分类方法[J]. 软件学报， 2005， 16（9）： 1577-1583.

[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.

[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.

[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.

[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.

[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.

[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.

[11] 王刚， 高阳， 夏洁. 基于差异进化算法的人工神经网络快速训练研究 [J]. 管理学报， 2005， 2 （4） ： 450-454.

[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN’07）， 2007， pp. 219-224.

神经网络的权值范文第4篇

关键词：BP神经网络；非线性函数；拟合；收敛

中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)27-6579-05

Nonlinear Function Approximation Based on BP Neural Network

ZHANG Bao-kun1, ZHANG Bao-yi2

(1.China Nuclear Control System Engineering Co.,Ltd, Beijing 100076, China; 2. Shenzhen Speedy-Tech Electronics Co., Ltd, Shenzhen 518004, China)

Abstract: This paper introduces the features and algorithm theorem of BP neural network, and deduces the update rules of the network weight based on a given BP neural network. According to several problems of BP neural network, suggestions are pro? vided for these problems. Applicability of BP neural network for nonlinear function approximation is verified by simulations, and the accuracy can be guaranteed.

Key words: BP neural network; nonlinear function; approximation; convergence

BP(Back Propagation)神经网络是1986年由Rumelhart和McCelland提出的，它是一种误差按反向传播的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP神经网络具有非常强的非线性映射能力，能以任意精度逼近任意连续函数，因此在人工智能的许多领域都得到了广泛的应用。

通常，BP算法是通过一些学习规则来调整神经元之间的连接权值，在学习过程中，学习规则以及网络的拓扑结构不变。然而一个神经网络的信息处理功能不仅取决于神经元之间的连接强度，而且与网络的拓扑结构（神经元的连接方式）、神经元的输入输出特性和神经元的阈值有关，因而神经网络模型要加强自身的适应和学习能力，应该知道如何合理地自组织网络的拓扑结构，知道改变神经元的激活特性以及在必要时调整网络的学习参数等。[1]图1多层神经网络结构

图1中给出的多层神经网络输入层有n个神经元，隐含层有l个神经元，输出层有m个神经元。其中wij是输入层第i个神经元和隐含层第j个神经元之间的连接权值，wjk是隐含层第j个神经元和输出层第k个神经元之间的连接权值。对于输入层神经元，其作用函数取线性函数，即神经元的输出等于输入。隐含层和输出层神经元的输入分别是上一层神经元输出的加权和，且每个神

在以下仿真实例中，BP网络为有监督学习，训练输入样本为input=[1 2 3 4 5 6 7 8 9 10 11 12 13 14],输出样本output=[1 2 3 6 11 16 19 24 25 29 32 33 36 42],隐含层节点数为6，网络最大训练次数为1000次，学习率为0.005，输入层到隐含层的初始权值W1以及隐含层到输出层的初始权值均为-0.1至0.1范围内的随机数，仿真结果如下两图所示：图3 BP神经网络拟合误差曲线

图2中的虚线为BP网络对测试数据的拟合曲线。实验结果表明，BP神经网络能有效拟合非线性函数，若增加隐含层节点数则能进一步提高拟合精度，但是会加大计算量，影响训练速度。

本文首先介绍了BP神经网络的原理以及网络权值的修正规则，然后通过编程实现BP神经网络，并将之应用到非线性函数的拟合。实验结果表明，BP神经网络能很好的拟合非线性函数，参数的选择对网络的性能影响很大。

[1]何伟,谭骏珊,王楚正,等.BP神经网络的改进算法及应用[J].信息与电脑,2009(10):34-36.

[2]程森林,师超超.BP神经网络模型预测控制算法的仿真研究[J].计算机系统应用,2011，20(8):100-103.

[3]周永进,蔡惠华,尹逊震,等.改进的BP网络及其在数据预测中的应用[J].微计算机信息,2007,23(27):150-151.

[4]夏玫.BP神经网络泛化能力改进研究[D].太原科技大学,2009.

[5]王爽,张鹰,吕瑞霞.BP神经网络的算法改进及应用[J].电脑知识与技术,2009,15(4):933-935.

神经网络的权值范文第5篇

关键词 人工；神经网络；机器学习方法

中图分类号Q1 文献标识码A 文章编号 1674-6708（2011）40-0111-02

0 引言

机器学习方法经常被应用到解决医学和生物信息学的问题。在这个报告中我列举了一些把机器学习方法应用到生物信息学领域的实例。比如：组建多重神经网络，运用该神经网络对4种不同形势的肿瘤患者进行分类。

1 介绍

人工神经网络属于机器学习领域。关于人工神经网络的概念最早提出于1940年代。后来在1980年代后被推广应用，尤其是在医学领域。

其中一个非常有用的用途是对疾病进行分类，达到诊断的目的，或者对基因表达进行分类。在这类神经网络里面，k点最近邻居算法是最常被采用的算法。

人工神经网络的优点是：不需要人们蛆关注神经网络里面的细节信息；人工神经网络可以很容易地被重新训练来应对不同地分类数据。人工神经网络可以用来解决有监督学习和无监督学习，比如：自组织特征映射（self-organized feature map）就可以用来解决无监督学习的问题。

它的不足之处在于：人工神经网络往往需要大量的训练数据，而这些训练数据往往不是很容易获得。人工神经网络可以被看作是一个黑盒，它的细节隐藏在点点之间的权值里面。这些权值的意义是人类无法理解的。同时，人工神经网络需要被仔细的训练以避免过拟合的情况出现。我们常常需也要降低高维数据的维度。下面，我将分析介绍人工神经网络的具体应用。

人工神经网络的结构如图1所示：

X1 ,X2 ,X3是该神经网络的输入值，w0 ,w1 ,w2 ,w3 是该神经网络的输入结点到内部节点的路径权值，每个神经元的激活函数是如上图右侧所示的函数图像。

这个函数被称作为sigmoid函数，表达式如下：

多重神经网络通常有3层，事实上，3层神经网络以能进行很好的分类效果。这三个层包括输入层，隐藏层，输出层。在每个神经元内部我们可以选择sigmoid激活函数或其他种类的激活函数。

如图2所示：

单个神经元仅能提供线性的分割面，所以多层神经网络可以提供非线性的分类函数（即：若干个线性分割面的复杂组合）。这并不意味着4层神经网络就一定比3层神经网络能一共更好的分类效果，因为层数越多，需要的训练集就越庞大，得到的效果也不会提高。

既然有训练问题，就会涉及到训练算法。较为早的和著名的训练算法是delta 规则。它于20世纪60年代被提出。它的原理是计算理论输出值和世纪输出值的均方差。tp 为理论输出值，yp为实际输出值，表示为：

训练的开始阶段，我们通常设定一个随机选取值，令该值等于：

该公式里，α是学习速率，学习速率越大，学习的过程就越快，完成学习的时间短。但如果学习的速率过大，可能导致网络的理想权值在合理结果的附近游摆而永远无法获得理想的权值。

神经网络被训练好了以后，它就被用到解决目标问题。原始的数据集可以被分为两部分：一部分用来训练，一部分用来测试。

有时候神经网络会把训练数据集里面的噪音点的特征纳入自己的权值表达里，从而该神经网络无法真正体现该点集的真实特征。我们把这种情况叫做过拟合。过拟合是由于网络比待估函数复杂造成的。比如一个可以同3层网络解决的问题，我们用4层网络或者由更多神经元的三层网络去解决该问题，就容易造成过拟合。为了更好的明确训练时所采用的神经网络的隐藏层的层数，Livingstone 和 Manalack 提出了如下计算公式：

D = m*o/w

该公式里m是训练样本的数目，o是该网络的输出值，w是网络权值的数目，D就是隐藏层的数目。

得到了隐藏层的数目之后，我们可以以这个数目创建神经网络，边训练边削减，直到我们获得一个一半化的网络。对于没有隐藏网络层或只有一个隐藏网络层的神经网络，我们需要先确定它要解决的问题是否是线性的。

适当的训练方案是能也可以使网络的复杂性和数据的复杂性得到合适的匹配。一个合适的训练方案应该是如下步骤：首先选择一个很大的网络并且把它的每个权值都设到一个很小的值上。通过训练，这些权值可以逐渐游摆到一个合理的值。

由于初始数据集通常要被分为训练集和测试集。在医学领域，我们能获得的数据集往往很小，比如某种病的病人数目不会很大。所以我门需要采用交叉验证的技巧来是较小的数据集在被分为训练集和测试集之后能较好的训练神经网络。