神经网络反向传播公式

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇神经网络反向传播公式范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

神经网络反向传播公式范文第1篇

关键词:电气设备;故障诊断;神经网络;学习算法

中图分类号:TP183

近年来,随着电气设备复杂度的增加,其发生故障的概率也逐渐上升。即使是熟练工程师,面对日趋复杂的设备内部电气结构,也难以迅速分析及判别其故障原因。与此同时,涌现出的各种智能算法、专家系统等,为设备诊断问题提供了可行的方案。其中,神经网络以其特有优势在电气设备故障诊断中发挥了重要作用。神经网络理论是人工智能、认知学、脑神经学、信息学等诸多学科融合发展的结果,它是由大量简单的处理单元(称为神经元),通过广泛的互相连接而形成的复杂网络系统。神经网络具有学习能力,可以根据电气设备的正常历史数据训练,将训练结果信息与当前测量数据进行比较,以确定故障。同时它具有滤除噪声的能力,这使其能在噪声环境中有效地在线监测及诊断。其具有的分辩故障原因及类型的能力,为未来实现故障智能诊断奠定了基础。本文介绍神经网络结构及其学习算法,提出一种基于BP网络的电气设备故障诊断方法,通过网络训练及结果测试表明,该方法具有良好的故障诊断能力。[JP]

1 BP神经网络模型

神经网络有很多模型,例如BP网络、Kohonen,Hopfield及ART等。其中,反向传播网络(Back[CD*2]Propagation Network)在神经网络的实际应用中有着十分重要的影响,工程应用中的绝大多数网络模型都采用BP模型或其变形,可以说BP模型体现了神经网络中的精华。

1.1 BP神经网络模型

以三层前向BP网络为例,对神经网络结构进行分析,其组成包括输入层、隐含层和输出层。如图1所示,图中圆圈表示神经元,Wir表示输入层第i个神经元与隐含层第r个神经元的连接权值;Vrj表示隐含层第r个神经元与输出层第j个神经元的连接权值;其间的连线表示神经元之间的相互作用强度。И

从图1的结构中可以得到,隐含层节点的输出函数和输出层节点的输出函数分别为:

式中:Tr和θr分别为隐含层和输出层的单元阈值。在本文设计的BP神经网络结构中,式(1)中的f(•)采用sigmoid函数,即f(x)=(1+e-x)-1。И

1.2 BP学习算法

BP模型的成功得益于BP算法的应用,即误差反向传播算法。BP算法属于梯度下降算法,是一种监督式的学习算法。用网络的实际输出与目标矢量之间的误差来修正网络权值,使输出与期望尽可能接近(网络输出层的误差平方和达到最小);通过反复在误差函数梯度下降方向上调整网络权值的变化,逐渐逼近目标。每次权值和偏差的变化都与网络输出误差的影响成正比,并以反向传播的方式传递到每一层。BP网络是由两部分组成:信息的正向传递和误差的反向传播。

设神经元的输入矢量为[WTHX]X[WTBX]=\[x1,x2,…,xn\],其中n是输入层的神经元数。对应于输入[WTHX]X的输出矢量是Y[WTBX]=\[y1,y2,…,ym\],其中m 是输出层的神经元数。如果要求网络的期望输出是[WTHX]T[WTBX]=\[t1,t2,…,tm\],г蛭蟛詈数可以定义为:

BP算法采用梯度下降法来调整网络的权值,以使上述误差函数减小,即:

Иw(n+1)=w(n)-η(E/w)[JY](3)И

式中:常数Е鞘侨ㄖ档髡速率,通常取值0.01≤η≤1。权值WУ牡髡方法采用以下公式:

式中:ИΔwpq表示某层第p个节点到下一层第q个节点的权值修正量;xp表示节点p的输出;δq表示节点qУ亩说愕燃畚蟛,由输出层的等效误差反传而来:

式中:对应BP模型网络结构(见图1);节点q位于输出层;节点h位于隐层。

2 电气设备故障检测实例

在电气设备中发动机是故障率比较高的设备之一,其在故障诊断中比较具有代表性。在此,以发动机为例,分析BP神经网络在电气设备故障诊断过程中的一般模式及步骤。

2.1 网络样本选取及参数选择

分析发动机的常见故障模式,首先选择具有代表性的故障作为特征向量,取[WTHX]X[WTBX]=[x1,x2,x3,x4]作为神经网络的输入。其中:x1代表功率不足故障;x2代表声音异常故障;x3代表排气温度高故障;x4代表消耗量过大故障。通过分析故障原因,取[WTHX]Y[WTBX]=[y1,y2,y3,y4,y5]作为目标输出向量。其中:y1代表点火不正确;y2代表高压线圈损坏;y3代表出现燃爆现象;y4代表进气排气管故障;y5代表增压积炭过多故障。表1给出了输入故障现象[WTHX]X和输出原因分析Y[WTBX]е间的对应关系。

由此可知,在设计基于三层BP神经网络的发动机故障诊断系统中,输入层神经元节点数N=4,输出层神经元节点数M=5。由公式h=(N+M)+σ可得隐含层神经元节点数h取3~6之间的数。И

2.2 训练及测试

通过输入样本组对所设计的网络进行训练,选择训练误差为10-6。例如,输入样本[WTHX]X[WTBX]=[0,0,1,0],调整网络状态,使其输出接近目标[WTHX]Y[WTBX]=[1,0,0,1,0],即当发生排气温度过高故障时,可能原因是点火不正确以及进气排气管问题。训练网络的过程,实际上就是调整网络参数的过程,具体来说,最主要的就是确定各个网络权值。最终训练好的网络在测试过程中,能较为准确地诊断出故障问题的原因。在工程使用过程中,选择故障检测过程中各种仪器测量出来、有代表意义的测量数据,根据先验知识及专家分析,组成输入样本和目标向量组,对设计的网络结构训练。在训练过程中,可增加输入样本的数量。因为通过大量样本训练,神经网络能具有更好的适应性和鲁棒性,其故障诊断的准确性有所提高。采用C++builder及Matlab混合编程,前者负责做界面系统的开发,后者集中在神经网络算法的设计上,据此进一步提高本工作的实际应用能力。

神经网络反向传播公式范文第2篇

关键词：BP神经网络造价预测研究

Abstract: this paper introduces the BP neural network of network structure and the learning process, and the BP neural network to predict the application of project cost.

Keywords: BP neural network cost prediction research

中图分类号：TU723.3文献标识码：A 文章编号：

BP神经网络的算法称为反向传播算法(Back-Propagation)简称BP算法，BP网络也由此得名。BP网络的学习过程是由信号的正向传播与误差的反向传播两个过程组成。在正向传播过程中，信号从输入层传入，经隐单元逐层处理后传向输出层，如果在输出层的实际输出与期望输出不符，则转入反向传播，将误差信号以某种形式由原来的连接通路返回，通过隐层向输入层反传，并在返回过程中修改各层神经元连接的权值。这种过程循环进行，直到输出误差达到允许的范围或达到网络预先设定的学习次数。

1BP神经网络的网络结构

BP 神经网络结构如图1所示，输入数据由输入层进入，输入层连接隐层，隐层连接输出层，输出数据从输出层导出。输入层、输出层神经元个数根据具体实际情况设置，隐层可以是一层，也可是多层由相应的输入层、输出层神经元个数根据公式确定。各层之间神经元连接强度的加权值（简称权值）允许不同，权值越大表示该输入的影响越大。神经元的所有输入采用加权和的方式。输入、输出向量分别用x和y，且x=(x1，x2，…，xn)，y=(y1，y2，…，ym)，表示输入层、输出层分别有n、m个节点输入输出向量分别是 n 维和 m 维。

图1BP 神经网络结构示意图

2BP神经网络的学习过程

简单说来BP网络的整个学习过程就是权值与阈值的不断修正过程，BP网络的整个学习过程的步骤如下图：

图2 BP神经网络学习过程

3 BP 神经网络在工程造价预测中应用

工程造价预测是一个十分复杂的模式识别问题，特别是预测中存在广泛的非线性问题，这增加了模式识别的复杂性。BP 神经网络由于其本身信息处理的特点，使其能够出色解决那些传统识别方法难以解决的问题，近年来工程领域的仿真预测成为神经网络的重要应用领域之一。

对于一般的神经网络预测，诊断工作可以分为测前工作与测后工作两部分工作。测前工作，根据经验在一定的条件下，将常见的各种费用超支情况及正常情况所对应的理论值用实验或理论计算求出。并以此作为BP神经网络的样本及样本期望,输入特定的BP神经网络，进行神经网络训练，实际预测时，在同样的条件下，将实际数据经处理后输入特定的BP神经网络。其输出即是对应的预测值。神经网络具有推论联想的能力，具有很强的泛化能力，不仅能识别已经训练过的样本，而且能通过推论联想识别为出现过的样本。综上所述，用BP神经网络进行公路工程造价预测，步骤可以总结为：建模、参数选定、预测模型结构确定。

3.1神经网络建模步骤

在实际应用中，面对一个具体的问题，首先需要分析利用神经网络求解问题的性质，然后依据问题特点，确立网络模型。最后通过对网络进行训练、仿真等，检验网络的性能是否满足要求。主要步骤包括：确定信息表达式、网络模型的确定、网络参数的选择、训练模式的确定、网络测试。

3.2模型参数的确定

（1）实际完成金额

公路工程造价的发展具有连续性，其数量特征呈相对稳定，或者与其他经济现象之间的相互联系具有相对稳定的模式，因而有可能对其发展过程加以模拟，利用实际完成金额等历史资料比较准确地推断其将来。

（2）主要材料价格

由于公路工程涉及工程材料种类多，工程施工经历时间跨度大，期间材料价格波动影响因素较多，要综合考虑这些因素进行预测往往要大量的基础资料。

（3）天气状况

由于公路项目施工主要是在野外作业，所以受天气影响比较大，所以天气状况也是影响工程造价的一个因素。

（4）进场主要施工机械设备数量

设备材料费，是工程造价的主要组成部分。因此，施工设备投入数量，是影响工程造价增减的重要动态因素

4结语

基于 BP 神经网络的公路工程造价预测，能够充分利用公路工程造价的历史数据，通过高度的非线性映射，得到预测结果。与传统的工程造价方法相比较，该方法具有自组织、自学习、自适应和泛化能力，因而有广泛的应用前景。而 BP 神经网络的精确预测需要真实、可靠、准确的样本输入数据以及相对应的样本期望数据，就需要我国公路工程造价历史数据的不断积累，公路工程造价制度的不断完善。

参考文献

[1]袁助,基于项目总控模式的高速公路造价动态控制方法研究[D],长沙理工大学,2009年.

神经网络反向传播公式范文第3篇

关键词：神经网络、BP算法、工程快速估价

引言

现在经济的快速发展，建筑市场的管理机制逐步完善，大中型工程复杂，施工周期长，对施工方柱子投标阶段及时准确的做出项目的最终成本成为工程造价管理中重要内容，本文中应用神经网络原理，通过编写MATLAB程序，针对多层现浇框架混凝土写字楼，通过调整计算权值，计算反向传播误差，输出计算结果和绘制误差曲线误差，将误差控制在10%以内，从而对2011年进行预测。

1基于神经网络预测原理

1.1正向建模[3]

正向建模是指训练一个神经网络表达系统正向动态的过程，这一过程建立的神经网络模型称为正向模型。正向模型的结构如图4-1所示，其中神经网络与待辨识上网系统并联，两者的输出误差用做网络的训练信号。显然这是一个典型的有教师学习问题，实际系统作为教师，向神经网络提供算法所需的期望输出。当系统是被控对象或传统控制器时，神经网络多采用多层前向网络的形式，可直接选用BP网络或其它的各种变形。当系统为性能评价器时，则可选取再励学习算法，这时网络既可以采用具有全局逼近能力的网络，如多层感知器，也可采用具有局部逼近能力的网络，如小脑模型关节控制器（CMAC）等。

1.2BP神经网络结构

BP神经网络是一种具有三层或三层以上神经元的神经网络，包括输入层、中间层和输出层，上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际输出之间误差的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各种连接权值，即“误差反向传播算法”，即BP算法。

2基于BP神经网络的工程快速估价方法

2.1BP网络结构

房屋建筑的任何一个特征都会影响到总的预算，论文中选取了写字楼类建筑物为例进行研究，选定现浇钢筋混凝土框架结构多层写字楼，基础类型、楼面工程、墙体工程、门窗形式、房间组合、层数、外墙装饰共计七个对工程造价起主要影响作用的因素，将这些因素作为神经网络的输入向量，建立神经网络模型，首先进行网络训练，这时的BP网络共计三层，其中输入层含有7个变量，中间层采取常用经验公式得到15个，输出为1个变量即为写字楼的米造价。

2.2数据归一化处理

程序调用数据之前，为保证所有的数据均落在[0,1]之间，首先需要进行归一化处理，论文的程序中采取的归一化处理方式是使每一影响因素中同时处理这一因素中的最大值或偏大于最大值，处理后的数据调入程序后，更方便计算，同时使得误差更小。

2.3BP网络程序实现

论文中的数据是搜集到的已建现浇混凝土框架结构写字楼工程的工程造价数据，选取30组作为测试样本，其中的20组作为预测样本，通过进行误差的求解和绘制误差曲线得出结果，过程见图2-1

function main()

SSE1=0;

DelthadW1Ex=0;

DelthadW2Ex=0;

SamNum=30;

TestSamNum=20;

HiddenUnitNum=15;

InDim=7;

OutDim=1;

%显示计算结果

i

W1=W1Ex(:,1:InDim)

B1=W1Ex(:,InDim+1)

W2

B2=W2Ex(:,1+HiddenUnitNum)

相对误差a：

a =

0.1080 0.0902 -0.0148 -0.0227 0.0327 0.0198 0.0096 0.1182 0.0164 0.0857 -0.0221 0.0794 -0.0368 0.0260 0.0306 0.0338 0.0562 0.0467 0.0736 0.0638

误差曲线：

3结论

应用BP算法，通过编写MATLAB程序，如果搜集得到的历史数据真实，通过调整权值，能够将误差控制在10%，能够很好的解决工程快速估价问题。

参考文献:

[1] 段晓牧. 基于RBF神经网络的非确定性工程投资估算新方法的研究.[D]

神经网络反向传播公式范文第4篇

关键词：神经网络 特征提取 模式识别

中图分类号：U495 文献标识码：A 文章编号：1674-098X（2017）01（a）-0115-05

随着通信技术的飞速发展，出现了适用于不同背景环境的通信标准，每种标准都有其特定的调制方式和工作频段，为了满足人们实现不同标准间互通的需求，软件无线电技术应运而生。它利用可升级、可替代的软件来完成尽可能多的通信功能硬件模块，将多种类型的信号处理基于一体。为了能够处理不同类型的调制信号，必须首先识别出信号的调制类型，然后才能进行下一步处理。因此，调制信号的自动识别技术，就成了软件无线电技术中的关键。

神经网络具有的信息分布式存储、大规模自适应并行处理和高度的容错性等特点，是用于模式识别的基础。特别是其学习能力和容错性对不确定性模式R别具有独到之处。其中BP网络长期以来一直是神经网络分类器的热点，由于它理论发展成熟，网络结构清晰，因此得到了广泛应用。基于A.K. Nandi和E.E. Azzouz从瞬时频率、瞬时幅度和瞬时相位中提取的特征参数，我们就可以用神经网络对常用的数字调制信号进行自动分类。

1 神经网络

根据T. Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体做出交互反应。”人工神经网络是在现代神经学研究成果的基础上发展起来的模仿人脑信息处理机制的网络系统，它由大量简单的人工神经元广泛连接而成，反映了人脑功能的若干特性，可以完成学习、记忆、识别和推理等功能。

2 数字调制信号特征参数的提取

计算机处理的信号都是对调制信号采样后的采样信号序列，因此设采样序列为（n=0，1，2，…，Ns），采样频率为。对采样序列进行希尔伯特变换，得如下解析表达式：

（1）

采样序列的瞬时幅度：

（2）

瞬时相位：

（3）

由于是按模计算相位序列，当相位的真值超过，按模计算相位序列就会造成相位卷叠。载波频率引起的线性相位分量，是造成相位卷叠的主要因素。因此，必须对进行去相位卷叠。去相位卷叠后的相位序列为，再对进行去线性相位运算，得到真正相位序列。瞬时频率为：

（4）

在上述基础上，提取下面5个特征参数。

（1）是被截取信号片段的零中心归一化瞬时幅度的谱密度的最大值，定义为：

（5）

其中为零中心归一化瞬时幅度在t=i/fs（i=1，2，…，Ns）时刻的值；为采样速率；为每一个信号样本采样点的样本个数。定义如下：

-1 （6）

其中：

， （7）

（2）为非弱信号段中瞬时相位非线性分量的绝对值的标准偏差，定义如下：

（8）

其中为经过零中心化处理后瞬时相位的非线性分量在时刻的值；为判断弱信号段的一个幅度判决门限电平，在门限以下信号对噪声非常敏感，这里取；C为全部取样数据中大于判决门限的样本数据的个数。

（3）为非弱信号段中瞬时相位非线性分量的标准偏差，定义如下：

（9）

（4）为零中心归一化非弱信号段瞬时幅度绝对值的标准偏差，定义如下：

（10）

（5）为零中心归一化非弱信号段瞬时频率绝对值的标准偏差，定义如下：

（11）

其中，，，，rs为数字序列的符号速率。

3 基于BP网络的数字调制信号的自动识别

把BP网络应用于数字调制信号的自动识别，是应用了其简单的结构和非线性映射的本质。将特征参数映射成与其对应的调制信号，是此方法的基本思路。

3.1 调制信号识别的基本原理

由上述得到的5个特征参数区分多种数字调制信号的原理，可用图1简单示意。

用于区分是否包含幅度信息的信号；用于区分是否包含绝对相位信息的信号；用于区分是否包含直接相位信息的信号；用于区分是否包含绝对幅度信息的信号；用于区分是否包含绝对频率信息的信号。

3.2 BP网络

BP网络结构上是一个多层感知器，其基本算法是反向传播算法，反向传播（BP）算法是一种有师学习算法，BP算法的学习过程由正向传播和反向传播两部分组成，在正向传播过程中，输入向量从输入层经过隐含层神经元的处理后，传向输出层，每一层神经元的状态只影响下一层神经元状态。如果在输出层得不到期望输出，则转入反向传播，此时误差信号从输出层向输入层传播并沿途调整各层间连接权值和阈值，以使误差不断减小，直到达到精度要求。

标准的BP算法如下（以单隐层结构为例）。

W和b分别为输入层与隐层神经元之间的权值和阈值；x为输入层的输入；u和v分别为隐层的输入和输出；为输出层的输入；为隐层与输出层之间的权值；y为网络的实际输出；d为网络的期望输出；e为误差。

（1）正向传播过程。

输入层：特征参数向量组x为网络的输入。

隐含层：其输入值u为输入层的加权和（当网络为单隐层时）。

（12）

输出为：

（13）

式中为神经元的激励函数，通常为Sigmoid函数。

（14）

输出层：输出层神经元的激励函数通常为线性函数，所以输出值为输入值的加权和。

（15）

由y和d求出误差e。若e满足要求或达到最大训练次数，则算法结束，网络完成训练，否则进入反向传播过程。

（2）反向传播过程。

首先定义误差函数：

（16）

BP学习算法采用梯度下降法调整权值，每次调整量为：

（17）

式中，η为学习率，0

①对于输出层与隐含层之间的权值修正量：

（18）

其中

②对于隐含层与输入层之间的权值修正量：

（19）

式中，则下一次迭代时：

（20）

（21）

（3）BP网络的设计。

由神经网络理论可知，具有至少一个带偏差的S形隐含层和一个带偏差的线性输出层的网络，能够逼近任意的有理函数。因此该设计采用3层网络结构。

①输入层：输入层神经元的个数就是输入向量的维数。

②隐含层：根据经验公式，隐含层神经元个数M与输入层神经元个数N大致有如下关系：M=2N+1，又考虑到计算精度的问题，因此隐层设计为5。一般说来，隐节点越多，计算精度越高，但是计算时间也会越长。

③输出层：一般说来输出层神经元的个数等于要识别的调制类型的个数，但是还要具体情况具体分析。

结合该次设计实际，网络采用1-5-2结构。

（4）神经网络方法实现自动调制识别的步骤。

在此将该文方法实现的步骤归纳如下。

①由接收到的调制信号求其采样序列，进而得到其复包络。

②由信号的复包络求其瞬时幅度，顺势相位和瞬时频率。

③由信号的瞬时参量求其5个特征参数。

④用信号的特征参数向量组训练网络。

⑤用训练好的网络对调制信号进行自动识别。

（5）MATLAB仿真。

为对用神经网络进行调制信号自动识别的方法进行性能验证，下面对2FSK和2PSK做MATLAB仿真试验：基带信号的码元速率为50 kHz，载波频率为150 kHz，采样速率为1 200 kHz，对于2FSK信号，载波之差为50 kHz。将网络调整到最佳状况，对网络进行了100次的仿真训练，随机抽取了一组数据的收敛均方误差曲线如图2所示。

对训练好的网络进行性能测试。仿真识别实验分别对2FSK和2PSK信号采用SNR=10 dB，15 dB，20 dB和∞ 4组数据进行。在对网络进行了100次仿真识别的基础上得到以下数据，见表1。

由表1可以看出，用标准BP算法训练出来的神经网络，对2PSK信号有着较理想的识别成功率，在信噪比等于10 dB的情况下，依然可以达到99.5%以上的识别成功率。而对2FSK信号的识别成功率就不尽如人意，虽然在信噪比等于20 dB的情况下可以完全识别信号，但在信噪比等于10 dB的情况下，识别率较低。

4 结语

基于神经网络的数字调制信号自动识别的研究虽然初见成果，但是整体上看，它未对更多的调制类型进行测试，而且对某些类型的调制信号识别的效果还不甚理想。在仿真试验中，不可避免地出现了收敛速度慢、存在局部极小值和概率极小的不收敛现象这3个BP网络本质上的缺陷。采用改进的BP算法或者其他神经网络可以改善网络性能和提高R别成功率。

神经网络用于调制识别方法的可行性已初见端倪，与其他方法相比，神经网络具有的信息分布式存储、大规模自适应并行处理和高度的容错性等特点，使其非常适合于调制识别，而且它简单有效，极易用软件或硬件实现，相信神经网络技术能够在软件无线电领域发挥它独特而重要的作用。

参考文献

[1] 黄春琳，邱玲，沈振康.数字调制信号的神经网络识别方法[J].国防科技大学学报，1999（2）：58-61.

[2] 吴惠.数字信号调制方式识别技术研究[D].兰州交通大学，2014.

[3] 飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].电子工业出版社，2005：44-58.

[4] 兰雪梅，朱健，董德存.BP网络的MATLAB实现[J].微型电脑应用，2003（1）：6-8.

[5] 姚亚峰，黄载禄.通信信号调制识别技术[J].通信技术，2003（6）：43-45，52.

[6] 姜莉.利用神经网络实现调制信号的自动识别[J].电子测试，2014（7）：71-73.

[7] 从爽.神经网络、模糊系统及其在运动控制中的应用[M].中国科学技术大学出版社，2002：17-31.

[8] 高隽.人工神经网络原理及其仿真实例[M].机械工业出版社，2003：44-53.

[9] 飞思科技产品研发中心.MATLAB 6.5辅助神经网络分析与设计[M].电子工业出版社，2003：64-69.

[10] 李峻.基于决策理论的软件无线电信号调制样式自动识别[J].大连铁道学院学报，2002（4）：50-54.

[11] 赵知劲，庄婵飞，干立.调制样式BP神经网络分类器[J].现代雷达，2003（10）：22-24.

[12] 林华东，庞伟正.软件无线电中数字调制信号的自动识别[J].应用科技，2004（6）：25-27.

[13] 王康利，谢建菲，赵兰华.基于神经网络的软件无线电信号的调制识别[J].计算机测量与控制，2004，12（9）：877-878.

[14] 姜立芳，刘泊，施莲辉.一种改进的BP算法及其在模式识别中的应用[J].哈尔滨理工大学学报，2003（3）：90-92.

神经网络反向传播公式范文第5篇

【摘要】 目的： 探讨矽肺纤维化同生物活性介质之间的关系。方法： 利用Delphi语言编制了BP人工神经网络模型计算机程序，建立并分析了矽肺胶原纤维预测的数学模型。结果： 选定网络隐含层节点为9，初始权值阈值约为(-0.2，0.2)，最大相对误差为4%，最小相对误差为0.2%。 结论： 应用神经网络具有较好的预测效果，可为临床医学研究提供一个很好的研究思路。

【关键词】 BP神经网络； 生物活性介质； 矽肺； 胶原纤维； 预测

矽肺是尘肺中最严重的一种类型，是由于长期吸入超过一定浓度的含有游离二氧化硅的粉尘，肺内发生广泛的结节性纤维化。矽肺纤维化的预测困难，诊断滞后。目前，矽肺的发病机理仍然不完全清楚，尚无有效的早期诊断（筛检）方法，也无早期诊断的特异性指标和特异性的治疗药物和方法。一经传统的后前位胸大片确诊，肺部病变已经无法逆转。因此，寻找早期诊断(筛检)特异性的生物介质组合，对预防、治疗乃至最终消除矽肺具有重要意义。矽肺的发病与细胞因子（Cytokine，CK）网络调控有密切联系，高宏生等用系统生物学的方法论证了细胞因子对矽肺纤维化的网络调控关系［1，2］，论证了细胞因子复杂非线性致炎致纤维化的网络调控假说。王世鑫等用判别方程的方法，通过诊断肺纤维化正确率。矽肺纤维化与不同活性介质、基因表达等多种因素密切相关［3］，因此预计是一个多目标决策问题。传统的预测方法是用多元线性回归来进行预测，统计者千方百计的想找出决策目标和各因素之间找出一个线性的公式关系，试图想用一个严格的数学模型公式表达出相应的关系。实际上，具有良好的非线性的神经网络可以预测矽肺纤维化结果。本研究图基于神经网络的方法预测生物活性介质网络调控的矽肺纤维化。

1 神经网络的基本理论

人工神经网络是基于对人脑组织结构、活动机制的初步认识提出的一种新型信息处理体系。通过模仿脑神经系统的组织结构以及某些活动机理，人工神经网络可呈现出人脑的许多特征，并具有人脑的一些基本功能。从本质上讲，人工神经网络是一种大规模并行的非线性动力系统。它具有许多引人注目的特点：大规模的复杂系统，有大量可供调节的参数；高度并行的处理机制，具有高速运算的能力；高度冗余的组织方式等。

在预测领域中应用最广泛的还是BP网络。BP网络的学习算法是一种误差反向传播式网络权值训练方法。实质就象最小二乘法一样，BP算法是在样本空间中耦合这样一个曲面，即使所有的样本点均在这个曲面上，若这样的曲面不存在，就找到离样本点的距离之和最小的曲面作为近似解。

BP网络的学习过程包括：正向传播和反向传播。当正向传播时，输入信息从输入层经隐单元处理，后传向输出层，每一层神经元的状态只影响下一层的神经元的状态。如果在输出层得不到希望的输出，则转入反向传播，将误差信号沿原来的神经连接通路返回。返回过程中，逐一修改各层神经元连接的权值。这种过程不断迭代，最后使得信号误差达到允许的误差范围之内。如图1所示为3层神经网络结构图。

输入层

隐含层

输出层

图1 神经网络结构

设3层BP神经网络，输入向量为X=(x1，x2，…xn)T ；隐层输出向量为Y=(y1，y2，…ym)T ，输出层向量为O=(o1，o2，…ol)T ，期望输出向量为d=(d1，d2，…dl)T 。

对于输出层，有ok =f(net)，netk=m j=0wjkyj ，k=1，2，…l

对于隐层，有yj =f(net)，netj=n i=0vijxi ，k=1，2，…m

f(x)=1 1+e-x ，BP学习算法权值调整计算公式为：

Δwjk=η(dk-ok)ok(1-ok)yj

Δvij=η(l k=1δ0k wjk)yj(1-yj)xi

δ0k =(dk-ok)ok(1-ok)

η∈(0，1)

2 应用实例

2.1 矽肺预测的影响因素

大量研究表明，肺泡巨噬细胞和肺泡上皮细胞在肺组织炎症反应及纤维化病变的启动、发展过程中起到最为关键的作用，主要是通过分泌细胞因子、炎性介质等生物活性物质，发挥直接或间接的生物学作用。这些CK包括：白介素（interleukin，IL）、肿瘤坏死因子（tumor necrosis factor ，TNF）、转化生长因子（transforming growth factor，TGF）等。根据分泌细胞因子不同将Th 细胞分为Th1 和Th2 两种类型。Th1主要分泌白介素-2（interleukin-2，IL-2）、白介素-12（interleukin-12，IL-12）、白介素-18（interleukin-18，IL-18）、干扰素-γ（Interferon-γ，IFN-γ）等，主要介导细胞免疫应答，与炎症有关，具有抗纤维化作用，可抑制成纤维细胞的增殖及纤维的生成。Th2主要分泌白介素-4 （interleukin-4，IL-4）、白介素-5 （interleukin-5，IL-5）、白介素-10 （interleukin-10，IL-10）、白介素-13（interleukin-13，IL-13）、单核细胞趋化蛋白-1 （monocyte chemoattractant protein-1，MCP-1）等，而Th2主要介导体液免疫反应，可促进成纤维细胞的增生，导致胶原蛋白合成增加，并抑制胶原蛋白的降解，最终导致细胞外的基质蛋白沉积和纤维生成。Th1 型和Th2 型免疫应答之间存在着交互的负反馈作用，维持着正常的免疫平衡。其负反馈调节通常就是靠产生的细胞因子起作用的，即一型CK可以下调另一型CK的功能。Th1/Th2型CK失衡可导致机体对损伤的异常反应。总之，矽肺病人存在CK网络的平衡紊乱，其错综复杂的调控机制可能参与矽肺的发生和发展［6~9］，如图2所示。

图2 细胞因子网络调控图

2.2 矽肺预测的BP网络模型的设计

本研究运用神经网络的模型方法，对矽肺预测进行设计，得出其预测模型。

2.2.1 输入层、隐含层、输出层的设计

矽肺纤维化输入层的确定：根据meta分析和微分方程网络模型确定生物活性介质为输入层。

转贴于

对于矽肺预测，应当依据其关键要素来确定输入层各因素，在神经网络模型中，输入层可以选定白介素（interleukin，IL）、肿瘤坏死因子（tumor necrosis factor ，TNF）、转化生长因子（transforming growth factor，TGF）等。根据分泌细胞因子不同将Th 细胞分为Th1 和Th2 两种类型。Th1主要分泌白介素-2（interleukin-2，IL-2）、白介素-12（interleukin-12，IL-12）、白介素-18（interleukin-18，IL-18）、干扰素-γ（Interferon-γ，IFN-γ）作为输入层，输入单元数为8，隐含层节点的确定参考下面单元计算公式：

c=n+m+a

其中c 为隐层单元数，n为输入神经元个数，m 为输出神经元个数，a 为1~10之间的常数。本研究中，隐层单元数计算如下：

8+2+1≤c≤8+2+10

即：4.33≤c≤13.33

根据c 的计算值，由小到大改变节点数训练并检验其精度，当节点数的增加误差不进一步减小时，其临界值即为应采用的值。最后，经过网络的实际训练结果比较，选定网络隐含层节点为9，此时网络能较快地收敛至所要求的精度。

2.2.2 初始权值的确定

在神经网络模型中，初始权值选取对于输出结果是否最接近实际，及是否能够收敛、学习时间的长短等关系很大。初始权值太大，使得加权之后的输入和N落在了网络模型的s型激活函数的饱和期中，从而会导致φ′(·)非常小，而由于当 φ′(·)0时，则有δ0，使得Δwji 0，最终使得调节过程没有什么效果。所以权值及阈值的初始值应选为均匀分布的小数经验值，约为(-2.4/F，2.4/F)之间，其中F为所连单元的输入层节点数。本模型输入端节点数为11，所以初始值约为(-0.2，0.2)，可随机选取［4］。

2.2.3 目标值及学习步长的选取

对矽肺预测之前，应先根据影响矽肺预测的因素进行综合预测。在实际操作时，还应结合经验值。若Sigmoid函数选取反对称函数——双曲正切函数，综合评估指标的目标值D的范围也应在［-1，1］之间，也即是综合指标的无量纲数值在［0，1］之间。通常输出单元的局部梯度比输入端的大，所以输出单元的学习的步长应比输入单元小一些［5］。

通过以上分析可得网络模型结构如图3。利用Delphi语言编制了BP人工神经网络模型计算机程序进行训练集样本训练，训练输入节点数为8，表1为矽肺预测输入训练样本和检测样本，当误差给定E＝0.00005，学习步长为0.1，经200次训练，网络精度达到要求，如表2和图4所示。表1 矽肺预测输入训练样本和检测样本表2 训练样本训练次数网络误差

样本经200次训练后，网络误差满足精度要求，隐含单元到各输入单元的权值和阈值及输出单元到各隐含单元的权值和阈值调整为表3和表4所示。

由于矽肺预测神经网络模型经训练后，网络精度已经达到要求，可以用检验样本检测预测效果，如表5所示。

从预测结果看，最大相对误差为4.0%，最小相对误差为0.2%，预测效果非常明显，该网络的检验性能稳定，可以很好的对矽肺进行预测。表3 隐含单元到各输入单元的权值和阈值表4 输出单元到各隐含单元的权值和阈值表5 检验样本及矽肺预测结果

3 讨论

本研究通过采用神经网络的方法，探讨矽肺纤维化同生物活性介质之间的关系，并建立了矽肺纤维化的影响因素和Ⅰ型胶原、Ⅲ型胶原的BP神经网络，从预测效果看，能够较准确的预测矽肺纤维化。但还应当看到神经网络应用到预测还有许多不尽如意的问题，主要的弱点之一是它是一种黑盒方法，无法表达和分析被预测系统的输入与输出间的关系，因此，也难于对所得结果作任何解释，对任何求得数据做统计检验； 二是采用神经网络作预测时，没有一个便于选定最合适的神经网络结构的标准方法，只能花大量时间采用凑试法，从许多次实验中找出“最合适”的一种。本研究在矽肺预测上运用神经网络建模上进行了初步的探讨，对网络模型的拓展性、收敛性等问题还有待于进一步的研究 。

参考文献

1 高宏生， 伍瑞昌， 张双德， 等. 基于meta分析和微分方程模型的肺纤维化细胞因子调控网络研究. 军事医学科学院院刊，2008，32（3）：312~316.

2 高宏生，杨霞，丁朋，等. 应用meta分析肺纤维化TNF-α的时空变化. 武警医学院学报，2008，17（8）：561~562.

3 刘萍 王世鑫 陈蕾，等. 矽肺患者血清克拉拉细胞蛋白和表面活性蛋白D的改变. 中华劳动卫生职业病杂志， 2007， 25(01):18~21.

4 韩力群.人工神经网络理论、设计及应用.化学工业出版社，2001.

5 何海龙，王青海，王精业.神经网络在装备保障性评估中的应用. 系统工程理论与实践，2003，9：111~116.

6 Kohonen T.Self-Organization and Associative Memory. Berlin Heidelberg:Springer-Verlag，1984.

7 Lapedes A，Farber.Nonlinear signal processing using neural networks :prediction and system modelling［R］.Technical Report LA-UR-87-2662，Los Alam os National Laboratory.Los Alamos.NM，1987.

8 Wang CH， Mo LR， Lin RC， et al. Artificial neural network model is superior to logistic regression model in predicting treatment outcomes of interferon-based combination therapy in patients with chronic hepatitis C.Intervirology，2008，51(1):14~20.

9 Kato H， Kanematsu M， Zhang X，et al. Computer-aided diagnosis of hepatic fibrosis: preliminary evaluation of MRI texture analysis using the finite difference method and an artificial neural network.AJR Am J Roentgenol， 2007，189(1):117~122.

10 Piscaglia F， Cucchetti A， Benlloch S，et al. Prediction of significant fibrosis in hepatitis C virus infected liver transplant recipients by artificial neural network analysis of clinical factors. J Gastroenterol Hepatol， 2006，18(12):1255~1261.