前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇神经网络特征范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
关键词: 模拟电路; 特征选择; 故障诊断; 神经网络; 粒子群算法
中图分类号: TN710.4?34; TP183 文献标识码: A 文章编号: 1004?373X(2016)19?0140?04
Abstract: The analog circuit is influenced by its characteristics and external environment, and its fault is non?linear and time?varying. The available fault diagnosis models of analog circuit are difficult to solve the match problem of features and classifier parameters, an analog circuit fault diagnosis model based on particle swarm algorithm optimizing feature and neural network is presented. The current situations of analog circuit fault diagnosis are analyzed, and their shortcomings are pointed out. The features of analog circuit fault diagnosis are extracted. The neural network is used as the classifier of analog circuit fault diagnosis. The analog circuit fault features and neural network parameters are optimized with particle swarm optimization, and simula?ted with Matlab 2012. The results show that the performance of the proposed model is superior to that of other reference models, and has wide application prospects.
Keywords: analog circuit; feature selection; fault diagnosis; neural network; particle swarm optimization
0 引 言
当前电网系统规模不断增大,各种电路越来越复杂,电路出现故障的概率急剧上升,相对于数字电路,模拟电路工作环境更加复杂,再加上自身特性,模拟电路故障诊断具有更加重要的实际应用价值,一直是电网系统研究中的重点[1]。
国内外学者对模拟电路故障诊断进行了相应的探索和研究,提出了许多有效的模拟电路故障诊断模型[2]。当前模拟电路故障方法主要分为传统模型和现代模型两类方法,传统模型主要有专家系统与灰色理论等[3?4],属于线性的模拟电路故障诊断模型,对小规模模拟电路故障诊断效果好,但对于大规模的模拟电路,建模效率低,同时由于模拟电路工作状态与特征间是一种复杂的非线性关系,传统模型无法描述其变化特点,故障诊断正确率急剧下降,难以满足模拟电路故障诊断的实际应用要求[5]。现代模型基于非线性理论进行模拟电路故障诊断建模,主要有神经网络与支持向量机等[6?7],现代模型通过自适应学习拟合电路工作状态与特征间的非线性关系,成为当前模拟电路故障诊断的主要研究方向,其中支持向量机的训练过程相当耗时,很难满足模拟电路的故障诊断要求,应用范围受到一定的限制[8]。神经网络的学习速度要快于支持向量机,且模拟电路故障诊断结果不错,尤其是BP神经网络进行故障诊断时,速度较快,应用最为广泛[9]。BP神经网络的模拟电路故障诊断结果与参数相关,如参数选择不当,则会导致模拟电路故障诊断性能下降[10]。模拟电路的状态特征同时亦与诊断结果密切相关,然而当前模拟电路故障诊断模型将神经网络参数与特征选择问题分开考虑,完全割裂了两者之间的关系,无法构建高准确率的模拟电路故障诊断模型[11]。
针对当前模拟电路故障诊断中的特征和神经网络参数不匹配的问题,提出一种粒子群算法选择特征和神经网络的模拟电路故障诊断模型(PSO?BPNN)。在Matlab 2012平台进行了仿真实验。结果表明,本文提出模型的模拟电路故障诊断性能要远远优于其他参比模型。
1 相关理论
1.1 模拟电路工作状态的特征提取
Step3:更新惯性权重,调整粒子的飞行速度和位置,产生新的粒子群。
Step4:若达到了结束条件,就可以得到模拟电路故障诊断的最优特征子集和最合理的BP神经网络参数。
Step5:建立模拟电路故障诊断模型,并对待检测的模拟电路故障进行检测,根据检测结果采取相应的措施。
3 结果与分析
为了分析PSO?BPNN的模拟电路故障诊断性能,采用图2的模拟电路进行仿真实验,在Matlab 2012平台下进行编程实现PSO?BPNN,模拟电路故障诊断参比模型为:
(1) 原始模拟电路故障诊断特征,BP神经网络参数随机确定的模拟电路故障诊断模型(BPNN1);
(2) 原始模拟电路故障诊断特征,粒子群算法优化BP神经网络参数的模拟电路故障诊断模型(BPNN2);
(3) 粒子群算法选择模拟电路故障诊断特征,然后随机确定BP神经网络参数的模拟电路故障诊断模型(BPNN3)。
共收集100个模拟电路故障诊断的训练样本,50个模拟电路故障诊断测试样本,采用PSO?BPNN对训练样本进行学习,所有模型都运行100次,然后统计测试样本的实验结果,其平均诊断率和误诊率如图3,图4所示,对图3,图4的模拟电路故障诊断结果进行对比和分析,可以得到如下结论:
(1) 与BPNN1的实验结果相比较可以发现,BPNN2获得了更优的模拟电路故障诊断结果,因为BPNN2采用粒子群算法优化了BP神经网络参数,使得模拟电路故障诊断率更高,这表明BP神经网络参数会影响模拟电路故障诊断的结果。
(2) BPNN3的模拟电路故障诊断也要优于BPNN1,这是由于粒子群算法对模拟电路故障特征进行了选择和优化,得到了对电路故障诊断结果有重要作用的特征子集。
(3) 在所有模拟电路故障诊断模型中,PSO?BPNN的模拟电路故障诊断率最高,误诊率得到了降低,这是由于BPNN2和BPNN3只从一个方面对特征或者BP神经网络参数进行了优化,没有同时对它们进行优化,因此不可能建立性能优异的模拟电路故障诊断模型,而PSO?BPNN同时从特征和BP神经网络参数两个方面进行优化,因而能够获得更加理想的模拟电路故障诊断结果。
4 结 语
传统模拟电路故障诊断模型仅对特征或者BP神经网络参数进行优化,易出现特征和分类器参数不匹配的问题,为此提出基于PSO?BPNN的模拟电路故障诊断模型,首先根据Volterra级数提取模拟电路工作状态的特征,然后采用BP神经网络作为模拟电路故障分类器,并利用粒子群算法优化特征和BP神经网络参数,最后进行仿真实验,仿真结果表明,PSO?BPNN解决了当前模拟电路故障诊断模型存在的局限性,获得了更高的模拟电路故障诊断率,在模拟电路故障诊断中具有广泛的应用前景。
参考文献
[1] 朱大奇.电子设备故障诊断原理与实践[M].北京:电子工业出版社,2008.
[2] 陈圣俭,洪炳熔,王月芳,等.可诊断容差模拟电路软故障的新故障字典法[J].电子学报,2006,4(2):129?136.
[3] 金瑜,陈光福,刘红.基于小波神经网络的模拟电路故障诊断[J].仪器仪表学报,2007,28(9):1600?1604.
[4] 刘本德,胡昌华,蔡艳宁.基于聚类和SVM多分类的容差模拟电路故障诊断[J].系统仿真学报,2009,21(20):6479?6482.
[5] 黄洁,何怡刚.模拟电路故障诊断的发展现状与展望[J].微电子学,2004,34(1):21?25.
[6] 彭敏放,何怡刚,王耀南.模拟电路的融合智能故障诊断[J].中国电机工程学报,2006,26(3):19?24.
[7] 张超杰,贺国,梁述海.小波变换与主元分析相结合的模拟电路检测方法[J].哈尔滨工程大学学报,2010,31(5):570?575.
[8] 刘美容,何怡刚,方葛丰,等.遗传小波神经网络在模拟电路故障诊断中的应用[J].湖南大学学报,2009,36(3):40?44.
[9] 申宇皓,孟晨,张磊,等.基于同步优化的支持向量机模拟电路故障诊断方法研究[J].太原理工大学学报,2010,41(4):420?424.
[10] 胡清,王荣杰,詹宜巨.基于支持向量机的电力电子电路故障诊断技术[J].中国电机工程学报,2008,28(12):107?111.
[11] 王承,叶韵,梁海浪,等.基于多频测试和神经网络的模拟电路故障诊断[J].计算机工程与应用,2013,49(5):1?3.
关键词: 神经网络;模拟电路;故障智能诊断
Applications of Neural network in analog circuit fault intelligent diagnosis
Huang Qian1 ,Lu Li2
Nanchang institute of technology JiangXi NanChang 330029
Abstract: The article mainly describe development course of neural network simulation circuit and the common method of fault diagnosis of simulation power based on neural network at this stage, the focus analysised BP neural network fault dictionary method and the SOM neural network fault dictionary method and respective of calculation method, and basic thought, and technology difficulties analysis, discussed application problem of neural network method in in analog circuit fault intelligent diagnosis, last talk about development trend of simulation circuit neural network diagnosis method.
Keyword: Neural network;Analog circuits;Intelligent fault diagnosis
引 言
随着神经网络等人工智能技术的发展, 模拟电路故障诊断的研究又开辟了一条新路, 基于神经网络的模拟电路故障诊断方法已经成为新的研究热点。20世纪80年代末期起有学者研究将人工神经网络应用到模拟电路的故障诊断中,现阶段已经提出多种基于神经网络的模拟电路故障诊断方法,有些方法如BP( Error Back Propagation Network)神经网络故障字典法已经能有效应用于滤波电路、模拟放大电路等非线性容差电路的故障诊断, 效果优于传统的故障字典法。
1神经网络故障字典法
神经网络故障字典法把模拟电路的故障诊断看成是一个分类问题, 利用神经网络的分类功能来诊断故障。在测前把神经网络训练成一部故障字典, 字典的信息蕴含在网络的连接权值中, 只要输入电路的测量特征, 就可以从其输出查出故障。
1.1 BP 神经网络故障字典法
BP 是一种多层网络误差反传学习算法。
1)初始化,随机给定各连接权[w],[v]及阀值θi,rt。
(2)由给定的输入输出模式对计算隐层、输出层各单元输出
式中:bj为隐层第j个神经元实际输出;ct为输出层第t个神经元的实际输出;wij为输入层至隐层的连接权;vjt为隐层至输出层的连接权。
式中:dtk为输出层的校正误差;ejk为隐层的校正误差。
(3)计算新的连接权及阀值,计算公式如下:
(4)选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。
应用BP 神经网络故障字典法进行模拟电路故障诊断步骤如下:
(1)确定待测电路的故障集和状态特征参量, 采用电路仿真或实验的方法获取电路每一故障状态下的状态特征数据, 经筛选和归一化处理后构造训练样本集。设计BP 神经网络并进行训练。
(2)用训练样本集中的样本训练好网络, 即完成学习的过程。一般采用3 层BP 神经网络, 输入层节点数与电路状态特征参量的维数相同, 输出层节点数可与电路待测故障类别数相同,也可小于待测故障类别数, 隐层节点数则需按经验公式试凑。实际诊断时给被测电路加相同的测试激励, 将测得的实际状态特征参量输入到训练好的BP 神经网络, 则其输出即可指示相应的故障状态。
1.2 SOM神经网络故障字典法
SOM (Self - organizing Feature Map)神经网络是芬兰教授Kohonen于1981 年提出的一种自组织特征映射神经网络。这种自组织特征映射神经网络通过对输入模式的反复学习,使连接权矢量空间分布密度与输入模式的概率分布趋于一致, 即连接权矢量的空间分布密度能反映输入模式的统计特性。
SOM二维网络拓扑结构图
SOM 网络能对输入模式自动分类,通过输入模式的自组织学习, 在竞争层将分类结果表示出来。应用SOM 神经网络建立模拟电路故障诊断字典的具体步骤如下:
(1)确定电路的故障集和激励信号。通过仿真获取电路在每一故障状态下的状态特征向量, 并进行预处理得到训练样本数据。
(2) 确定SOM 网络结构。 SOM 网络只有输入层和输出层两层, 没有隐层,输入层的形式与BP 网络相同, 其结点数应与电路状态特征向量的维数相同。输出层即竞争层的神经元一般采用二维平面阵结构排列, 也可采用一维线阵或三维栅格阵的结构排列。采用一维线阵时, 输出层结点数可与电路的故障类别数相同。
(3)经过SOM 训练形成具有容差的故障字典。SOM 网络的学习算法可采用标准的Kohonen 算法。可以看出, SOM 网络法与BP 网络法构建故障字典的方法步骤完全相似,SOM 网络法一般适用于交流电路, 以电路响应的频域参量为状态特征,它能更有效地克服容差因素对故障定位的影响,SOM 网络法实际诊断时容易出现模糊故障集, 诊断过程要比BP网络法复杂。
1.2神经网络故障字典法难点
同经典的故障字典法相比, 神经网络故障字典法突出的优点是测后诊断速度快,实时性强,其原因是该方法利用了神经网络高度并行的信息处理能力。经典的故障字典法需要进行繁琐的模糊集分割处理, 且一般只能诊断硬故障。而神经网络故障字典法由于神经网络的泛化能力,可以诊断容差模拟电路, 而且对软故障情况也有很好的应用前景。应用该方法难点包括以下几个方面:
(1)神经网络的结构和参数等只能依据经验反复调试, 难以确定所设计的神经网络是最优的。
(2)数据预处理技术和训练样本集的筛选至关重要,神经网络故障字典法的诊断效果主要依赖于此。如何根据实际电路对原始数据进行预处理以突出故障特征信息及如何优选训练样本。
2 神经网络优化诊断法
传统的优化诊断法依据被测电路的解析关系, 按照一定的判据(目标函数) , 估计出最有可能出现故障的元件。优化诊断法是一种测后模拟的逼近法, 可在较少的测量数据下诊断故障,避免元件的容差问题, 可以诊断软故障和多故障但传统优化诊断法存在一个复杂的重复过程, 需要多个优化过程和多次电路模拟, 测后计算量很大。
神经网络优化诊断法对传统方法进行改进, 利用Hopfield 神经网络的优化计算功能寻优, 克服了传统的优化诊断方法测后计算量大、实时性差的缺点。由于该方法最终是通过求解元件参数或参数增量来判定故障元件的。
神经网络优化诊断法的基本思想是将模拟电路的故障诊断方程转换为带约束条件的优化问题, 然后利用Hopfield 神经网络进行优化问题的求解。将优化问题映射到一种神经网络的特定组态上, 此组态相应于优化问题的可能解, 然后再构造一个适合于待优化问题的能量函数(对应于目标函数), 当Hopfield 神经网络从某一初始状态沿着能量函数减小的方向运动, 其稳定平衡解即对应于优化问题的解。对于线性电阻电路, 可以以元件参数增量和可测节点电压变化量建立故障诊断方程, 该诊断方程通常为一组欠定方程。
应用Hopfield 神经网络求解此类带约束条件的优化问题的步骤如下:
(1)分析问题: 分析网络输出与问题的解相对应。
(2)构造网络能量函数: 将实际待解决优化问题的目标函数表达成能量函数的相应形式, 能量函数最小值对应问题最佳解。
(3)设计网络结构: 将能量函数与目标函数相比较, 求出能量函数中的权值和偏流。
(4)运行网络求出稳定平衡态: 由网络结构建立网络的电子线路, 运行该电子线路直至稳定, 所得稳态解即为优化问题所希望的解。
3 其它神经网络故障诊断法
ART (Adaptive Resonance Theory)神经网络故障诊断法。ART 神经网络是一种基于自适应共振理论ART的学习算法, 包括ART1 型、ART2 型和ART3 型三种结构形式。文献三中的作者探讨了一种采用ART1 型神经网络进行模拟电路故障诊断的方法,将电路的各种故障分出层次,并按一定特征给故障类型进行编码形成故障数据样本,将故障数据样本输入ART1型神经网络进行训练, 训练完成后该ART 网络即可用于诊断。ART最大的特点是既能识别已有的故障模式, 又能较好地诊断新发故障。基于神经网络的网络撕裂法。网络撕裂法是一种大规模模拟电路分层诊断的方法, 将网络撕裂法与神经网络故障字典法相结合就形成基于神经网络的网络撕裂法。
ART的基本思路是, 当电路网络分解到一定程度后, 电路子网络继续分解往往越来越困难, 这时可以引入神经网络故障字典法, 分别为每一电路子网络构建一个神经网络, 则电路子网络级的诊断采用神经网络故障字典实现。
与传统的网络撕裂法相比, 该方法测后工作量小, 诊断过程更加简单,诊断速度加快。基于神经网络求解非线性方程的模拟电路故障诊断方法。
4 模拟电路神经网络诊断法发展趋势
近年来, 一个值得重视的现象是神经网络与专家系统、模糊控制、遗传算法和小波分析等技术相结合应用于模拟电路的故障诊断领域的研究。如神经网络与模糊逻辑理论相结合, 即所谓的“模糊神经网络”用于模拟电路的故障诊断, 其基本思想是在BP 神经网络的输入层与输出层中间增加1到2 层模糊层构造模糊神经网络,利用神经网络处理低层感知数据, 利用模糊逻辑描述高层的逻辑框架,其对模拟电路软故障的诊断效果优于单一的神经网络分类器。又如小波分析与神经网络结合应用于模拟电路的故障诊断。
小波与神经网络的结合有以下两个途径:
(1) 辅助式结合, 比较典型的是利用小波分析对信号进行预处理, 然后用神经网络学习与判别。
(2)嵌套式结合, 即把小波变换的运算融入到神经网络中去, 其基本思想是用小波元代替了神经元,即激活函数为已定位的小波函数基, 通过仿射变换建立小波变换与神经网络的联接,小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来,具有自适应分辨性和良好的容错性。
参考文献
[1] 王显强.谈谈神经网络在模拟电路故障诊断中的应用问题[J]
电路技术.2012(06)
[2] 刘华.基于神经网络的模拟电路故障诊断方法研究[J]微电子学报.2010(03)
[3]董伟.谈ART1 型神经网络进行模拟电路故障诊断方式分析. [J]电路科技. 2012(05)
[4]王承. 基于神经网络的模拟电路故障诊断方案探究.[J]电路科技. 2013(06)
[5]张宇. 基于神经网络的模拟电路故障诊断方案探究.[J]计算机测量与控制. 2012(07)
[6]王承. 基于神经网络的模拟电路故障诊断方案探究.[J]电路故障. 2013(02)
[7]刘盛灿. 神经网络的模拟电路故障的应用.[J]电路科技. 2013(06)
[8] 万磊.神经网络在模拟电路故障诊断中的应用若干问题探讨[J]
电路技术.2011(08)
[9] 郭明强.神经网络在模拟电路故障诊断中的发展历程分析[J]电路技术.2013(08)
人工神经网络是近年来迅猛发展的前沿课题,它对突破现有科学技术的瓶颈起到重大的作用。本文剖析了人工神经网络的特征、模型结构以及未来的发展趋势。
【关键词】人工神经网络 神经元 矩阵
1 人工神经网络概述
人工神经网络(ANN)是一种用计算机网络系统模拟生物神经网络的智能神经系统,它是在现代神经生物学研究成果的基础上发展起来的,模拟人脑信息处理机制的一种网络系统,它不但具有处理数值数据的计算能力,而且还具有处理知识的学习、联想和记忆能力。
人工神经网络模拟了大脑神经元的组织方式,反映了人脑的一些基本功能,为研究人工智能开辟了新的途径。它具有以下基本特征:
1.1 并行分布性
因为人工神经网络中的神经元排列并不是杂乱无章的,往往是以一种有规律的序列排列,这种结构非常适合并行计算。同时如果将每一个神经元看作是一个基本的处理单元,则整个系统可以是一个分布式处理系统,使得计算快速。
1.2 可学习性和自适应性
一个相对很小的人工神经网络可存储大量的专家知识,并能根据学习算法,或利用指导系统模拟现实环境(称为有教师学习),或对输入进行自适应学习(称为无教师学习),可以处理不确定或不知道的事情,不断主动学习,不断完善知识的存储。
(3)鲁棒性和容错性
由于采用大量的神经元及其相互连接,具有联想映射与联想记忆能力,容错性保证网络将不完整的、畸变的输入样本恢复成完整的原型,鲁棒性使得网络中的神经元或突触遭到破坏时网络仍然具有学习和记忆能力,不会对整体系统带来严重的影响。
1.3 泛化能力
人工神经网络是大规模的非线性系统,提供了系统协同和自组织的潜力,它能充分逼近任意复杂的非线性关系。如果输入发生较小变化,则输出能够保持相当小的差距。
1.4 信息综合能力
任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中,能同时处理定量和定性的信息,适用于处理复杂非线性和不确定对象。
2 人工神经网络模型
神经网络是在对人脑思维方式研究的基础上,将其抽象模拟反映人脑基本功能的一种并行处理连接网络。神经元是神经网络的基本处理单元。
在神经网络的发展过程中,从不同角度对神经网络进行了不同层次的描述和模拟,提出了各种各样的神经网络模型,其中最具有代表性的神经网络模型有:感知器、线性神经网络、BP网络、自组织网络、径向基函数网络、反馈神经网络等等。
3 神经元矩阵
神经元矩阵是神经网络模型的一种新构想,是专门为神经网络打造的一个矩阵,它符合神经元的一切特征。
神经元矩阵采用矩阵形式,它可为n维向量组成。引入向量触头和信使粒的概念,向量触头可生长,即长度可变,方向可变,信使粒可“游荡”在矩阵中,建立各种联系。如图1即是神经元矩阵模型
(1)容器可产生一种无形的约束力,使系统得以形成,容器不是全封闭的,从而保证系统与外界的沟通和交互;各向量间可用相互作用的力来联系,而各个信使粒则受控于容器、中空向量以及其它的信使粒。各神经元之间自主交互,神经元矩阵是一种多层次的管理,即一层管理一层。系统具有明显的层级制和分块制,每层每块均独立且协同工作,即每层每块均含组织和自组织因素。
(2)向量触头是中空的,信使粒可以通过向量或存储于向量中,所以又称为中空向量。向量存储了信使粒后,可以吸引更多的信使粒在附近,或使邻近向量转向、伸长,进而形成相对稳定的信息通路。
(3)当两条或更多的信息通路汇集时,可能伴随着通路的增强、合并,以及信使粒的聚集、交换,这是神经元矩阵运算的一种主要形式。通路的形成过程,也就是是神经元矩阵分块、分层、形成联接的过程,也为矩阵系统宏观管理、层级控制的实现奠定了基础。
神经元矩阵亦是一种具有生物网络特征的数学模型,综合了数学上矩阵和向量等重要概念,是一种立体的矩阵结构。尤其是将矩阵的分块特性和向量的指向特征结合起来,更好的体现了神经网络的整体性和单元独立性,系统的组织和自组织特征也更为凸显。信使粒以“点”的数学概念,增强了系统的信息特征,尤其是增强了矩阵的存储和运算功能。
4 人工神经网络的发展趋势
人工神经网络是边缘叉科学,它涉及计算机、人工智能、自动化、生理学等多个学科领域,研究它的发展具有非常重要意义。针对神经网络的社会需求以及存在的问题,今后神经网络的研究趋势主要侧重以下几个方面。
4.1 增强对智能和机器关系问题的认识
人脑是一个结构异常复杂的信息系统,我们所知道的唯一智能系统,随着信息论、控制论、计算机科学、生命科学的发展,人们越来越惊异于大脑的奇妙。对人脑智能化实现的研究,是神经网络研究今后的需要增强的地发展方向。
4.2 发展神经计算和进化计算的理论及应用
利用神经科学理论的研究成果,用数理方法探索智能水平更高的人工神经网络模型,深入研究网络的算法和性能,使离散符号计算、神经计算和进化计算相互促进,开发新的网络数理理论。
4.3 扩大神经元芯片和神经网络结构的作用
神经网络结构体现了结构和算法的统一,是硬件和软件的混合体,神经元矩阵即是如此。人工神经网络既可以用传统计算机来模拟,也可以用集成电路芯片组成神经计算机,甚至还可以生物芯片方式实现,因此研制电子神经网络计算机潜力巨大。如何让传统的计算机、人工智能技术和神经网络计算机相融合也是前沿课题,具有十分诱人的前景。
4.4 促进信息科学和生命科学的相互融合
信息科学与生命科学的相互交叉、相互促进、相互渗透是现代科学的一个显著特点。神经网络与各种智能处理方法有机结合具有很大的发展前景,如与专家系统、模糊逻辑、遗传算法、小波分析等相结合,取长补短,可以获得更好的应用效果。
参考文献
[1]钟珞.饶文碧.邹承明著.人工神经网络及其融合应用技术.科学出版社.
[关键词] BP神经网络 图像分类 Matlab 自适应特征因子 收敛速度 精度
中图分类号:P23 文献标识码:A 文章编号:1009-914X(2014)07-0321-03
1.引言
卫星遥感对地观测技术是人类获取资源环境动态信息的重要手段,无论是专业信息提取、动态变化预测、还是专题地图制作和遥感数据库的建立等都离不开分类。在数学方法的引入和模型研究的进展为影像的分类注入了新的活力,不同的数学方法和参数特征因子被引用到模型的研究上来,为模型研究的发展提供了广阔的天地。而基于改进的BP神经网络,更是融合了自适应特征因子和非线性函数逼近的网络模型,不仅学习速度快,而且有高度复杂的映射能力。
2.人工神经网络的分类方法
人工神经网络(Artificial Neural Network, ANN )是基于生物神经系统的分布存储、并行处理及自适应学习这些现象构造出具有一些低级智慧的人工神经系统【1】。其概念是在20世纪40年代中期由McCulloch和Pitts提出的,70年代得到应用,80年代以来,随着计算机技术的发展而得到了快速的发展,属于非线性学科,具有强抗干扰性、高容错性、并行分布式处理、自组织学习和分类精度高等特点。
近年来,神经网络被广泛应用于遥感图像分类中,不同学者分别提出或应用了Hopfield神经网络、BP网络、自组织映射网络、小波神经网络、细胞神经网络、模糊神经网络等对遥感图像进行分类【2】。这些神经神经网络在遥感图像自动分类上都有一定的应用,并取得较好的效果。本文基于此,对传统的BP算法进行了改进,提出了在Matlab软件提供的神经网络工具箱中,对BP神经网络的权值,学习率进行分析。重点是运用数学中自适应特征因子,加快了迭代过程中的收敛速度,而且使精度更高。
3.BP神经网络
BP神经网络是一种通用性较强的前馈网络,它主要采用模式正向传递、误差信号反向传播的BP算法,实现输入到输出的映射,并且是非线性的,具有结构简单、可操作性强等优点,目前已被广泛应用【3】。
3.1 BP算法原理
学习过程由信号的正向传播与反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望输出不符合时,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此信号作为修正各单元权值的依据。
3.2 BP学习率的优化算法分析
为了加快神经网络的学习速度,对学习率的改进是BP算法优化的重要部分。因为BP算法是不断通过调整网络权值进行训练学习的,修正的大小受到学习率的控制,因此学习率的改进对整个网络的优化是很重要的。为了加快学习速度,研究者提出了很多的优化学习率算法,刘幺和等提出的具体优化公式为[4]: η=Ae-λn. (1)
此算法优于学习率固定的传统BP算法,减少了网络学习过程中的学习次数,但同样存在着其它问题,首先,模型中A的取值范围并不适用于所有神经网络,由于它的取值决定了网络学习率的初始值,通过A确定的网络初始学习率可能使网络不收敛。其次,当网络误差下降速度快时,该算法反倒使网络收敛速度比较慢,这说明此时网络不适应这种情况。
在上述模型中,陈思依据可变学习率的变化,提出了另一改进模型,此方法的思想是,如果网络权值在实际情况中更新之后使误差值减小,此时就没有必要再减少学习率,如果保持原学习率不变,不仅增加了训练速度,而且修改权值的幅度会大些,训练效果会更好一些。改进后的模型为[5]:
此算法优点是如果误差下降速度明显增快,则说明此时的学习率比较合适训练,不需调整。
面对现代科技的飞速发展,国内外竞相发展以高空间、高光谱和高动态为标志的新型卫星遥感对地观测技术,提供了海量的信息源,加大了人们对空间的认知,对信息世界的分类利用,但是人们的优化算法远远跟不上丰富的信息源。对此,针对上面学习率算法,虽然有很大的改进,但处理速度还远远不够,还需要优化。
3.3 网络隐层的节点数确定
BP人工神经网络拓扑结构中,输入节点与输出节点是由问题的本身决定的,关键在于隐层的层数与隐节点的数目,在Robert Hecht Nielson等人研究指出,只有一个隐层的神经网络,只要隐节点足够多,就可以以任意精度逼近一个非线性函数【6】。
因此隐节点的确定关系到整个网络的处理,下面是关于隐节点数确定的的方法:
其中Hpi隐节点i在学习第p个样本时输出,Hpj是隐节点j在学习第p个样本时的输出,N为学习样本总数,而Hpi与Hpj的线性相关程度愈大,互相回归的离散度越小,反之,则相反。
当同层隐节点i和j的相关程度大,说明节点i和j功能重复,需要合并;当样本散发度Si过小,说明隐节点i的输出值变化很少,对网络的训练没起到什么作用,可以删除。因此根据这样规则可以进行节点动态的合并与删除。
4.特征因子算法加入
神经网络在遥感图像分类中的优势越来越明显,很多人对其进行了研究与应用。对此,本文对前人的算法进行了优化,主要是进行网络权值修正速度的加速,在算法优化中,引入了数学中的特征因子加速收敛方法,其保证精度下,使网络的迭代收敛速度大大加快。
具体算法思想过程如下:在BP神经网络学习阶段,当遥感图像的特征样本数据由输入层到隐含层,然后再传输到输出层,最后得到的输出数据与目标数据会产生误差,然后在返回到隐含层来调整网络权值,直至误差达到所要求的精度范围为止。在迭代过程中,为了使误差迅速减小到精度范围内,特征因子算法被引入到网络权值调整上:
在第一次迭代 :
其中x0为输入向量,y1为第一次输出向量,T为目标向量,第一次迭代生成的T1为目标向量T的近似值,Tk+1为迭代N次(1,2,3,…)目标向量T的近似值。在运用特征因子迭代收敛加速方法中,比以往的算法得到优化,加速了网络权值调整的收敛速度,且使结果的精度得到保证。
5.实验过程与精度评定
本次实验是在Matlab环境下开发的神经网络工具箱中来进行展开的,神经网络工具箱是MATLAB环境下开发出来的许多工具箱之一。它以人工神经网络理论为基础,利用MATLAB编程语言构造出许多典型神经网络的框架和相关的函数【7】。此工具箱可以用来对BP神经网络训练函数的创建,下面是具体的实验过程:
(1)选取QuickBird卫星影像,在影像上选取各类别的特征样本,要求样本数量得足够多。然后进行特征选取,一般是选取象元的多光谱特征的特征向量,以此确定特征矩阵p。为了方便在训练阶段的学习,需把向量值归一化,在根据特征向量,确定输入层节点数为5。
(2)进行BP神经网络的构建,其中隐层网的节点数是根据前面提到的方法,节点数经过合并与删除之后最终确定为25;根据待分类影像的类别分别是公路用地、内陆滩涂、旱地、水工建筑用地、裸地、坑塘水面、林地、水库水面、采矿用地、城市、村庄、水浇地、设施农用地、建制镇、果园、灌木林地、风景名胜及特殊用地、其他林地、其他草地,输出层节点数确定19;目标向量可用以下形式表示:
(1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示公路用地
(0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示内陆滩涂
(0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示旱地
(0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示水工建筑用地
(0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示裸地
(0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0) 表示坑塘水面
(0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0) 表示林地
(0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0) 表示水库水面
以此类推直到最后类别的表示……
(0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1) 表示其他草地
调用Matlab神经网络工具箱中的函数,另外为了加入特征因子算法,需要创建网络的权值学习函数learnc,p1是输入训练样本,p2是输入未知样本向量。部分代码如下:
net=newff(minmax(p),[25,19],{‘tansig’,‘logsig’},‘traingdx’,‘learnc’);
net.trainParam.show=300;
net.traimParam.epochs=1600;
net.train.goal=0.01;
net=init(net);
net=train(net,p1,T);
Ye=sim(net,p2);
(3)在步奏(2)的基础上,进行训练学习。创建的网络权值函数加入特征因子后,在学习阶段收敛速度明显增快 。使调整后的网络权值尽快达到了用户设定精度范围。
(4)学习阶段完成后,开始进行分类阶段。把未分类的QuickBird卫星影像的特征向量值输入到神经网络中,进行分类,根据输出向量y与目标向量T进行对比,然后把象元分类到自己所属的类别区。直到影像被分类完为止。
(5)分类结果图如下:
(6) 下面是对分类结果进行精度评定,采用误差矩阵法来评定精度。总体精度可达到93.89%,其他各个类别的用户精度和生产者精度都很高,最低的不低于82.43%,满足用户的需求,达到使用的目的。
6.结束语
BP神经网络的非线性映射,自适应功能等优势已在遥感图像分类中得到广泛的应用,本文基于前人的优化算法,提出了在网络权值调整过程中的特征因子迭代加速算法,使学习阶段的权值调整速度明显加快。但在分类精度上改变较小,在提高精度上,是以后继续研究改进的方向。
参考文献
[1] 叶世伟 史忠植(译) 神经网络原理 北京:机械工业出版社,2004
[2] Dony R D,et al. Neural network approaches to image compression[J].Proc IEEE,1995,83:288-303.
[3] 史忠植.智能科学[M].北京:清华大学出版社,2006.
[4] 刘幺和,陈睿,彭伟,等.一种BP神经网络学习率的优化设计[J].湖北工业大学学报,2007,22(3):1-3.
[5] 陈思 一种BP神经网络学习率的改进方法[J].长春师范学院学报(自然科学版),2010.8.25-27
[6] 李晓峰,徐玖平,王荫清等。BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践,2004.5 . 3-4
[7] 楼顺天,等.《基于Matlab的系统分析与设计---神经网络》. 西安:西安电子科技大学出版社,2000.8.23-40
论文摘要:分析了模拟电路故障诊断的重要性和目前存在的困难,对基于小渡分析理论和神经网络理论的模拟电路故障诊断方法进行了综述.指出了小波神经网络应用于模拟电路故障诊断存在的问题和未来的应用前景。
模拟电路故障诊断在理论上可概括为:在已知网络拓扑结构、输人激励和故障响应或可能已知部分元件参数的情况下,求故障元件的参数和位置。
尽管目前模拟电路故障诊断理论和方法都取得了不少成就,提出了很多故障诊断方法,如故障字典法、故障参数识别法、故障验证法等。但是由于模拟电路测试和诊断有其自身困难,进展比较缓慢。其主要困难有:模拟电路中的故障模型比较复杂,难以作简单的量化;模拟电路中元件参数具有容差,增加了故障诊断的难度;在模拟电路中广泛存在着非线性问题,为故障的定位诊断增加了难度;在一个实用的模拟电路中,几乎无一例外地存在着反馈回路,仿真时需要大量的复杂计算;实际的模拟电路中可测电压的节点数非常有限.导致可用于作故障诊断的信息量不够充分,造成故障定位的不确定性和模糊性。
因此,以往对模拟电路故障诊断的研究主要停留在中小规模线性无容差或小容差的情况,有些方法也已成功地应用于工程实际。但如何有效地解决模拟电路的容差和非线性问题,如何解决故障诊断的模糊性和不确定性等是今后迫切需要解决的问题。小波神经网络则因其利于模拟人类处理问题的过程、容易顾及人的经验且具有一定的学习能力等特点,所以在这一领域得到了广泛应用。
1小波分析理论在模拟电路故障诊断中的应用现状分析
简单地讲,小波就是一个有始有终的小的“波浪”小波分析源于信号分析,源于函数的伸缩和平移,是Fourier分析、Gabor分析和短时Fourier分析发展的直接结果。小波分析的基木原理是通过小波母函数在尺度上的伸缩和时域上的平移来分析信号,适当选择母函数.可以使扩张函数具有较好的局部性,小波分析是对信号在低频段进行有效的逐层分解,而小波包分析是对小波分析的一种改进,它为信号提供了一种更加精细的分析方法,对信号在全频段进行逐层有效的分解,更有利于提取信号的特征。因此,它是一种时频分析方法。在时频域具有良好的局部化性能并具有多分辨分析的特性,非常适合非平稳信号的奇异性分析。如:利用连续小波变换可以检测信号的奇异性,区分信号突变和噪声,利用离散小波变换可以检测随机信号频率结构的突变。
小波变换故障诊断机理包括:利用观测器信号的奇异性进行故障诊断以及利用观测器信号频率结构的变化进行故障诊断。小波变换具有不需要系统的数学模型、故障检测灵敏准确、运算量小、对噪声的抑制能力强和对输入信号要求低的优点。但在大尺度下由于滤波器的时域宽度较大,检测时会产生时间延迟,且不同小波基的选取对诊断结果也有影响。在模拟电路故障诊断中,小波变换被有效地用来提取故障特征信息即小波预处理器之后,再将这些故障特征信息送人故障分类处理器进行故障诊断。小波分析理论的应用一般被限制在小规模的范围内,其主要原因是大规模的应用对小波基的构造和存储需要的花费较大。
2神经网络理论在模拟电路故障诊断中的应用分析
人工神经网络(ANN)是在现代神经科学研究成果的基础上提出来的,是一种抽象的数学模型,是对人脑功能的模拟。经过十几年的发展,人工神经网络已形成了数十种网络,包括多层感知器Kohomen自组织特征映射、Hopfield网络、自适应共振理论、ART网络、RBF网络、概率神经网络等。这些网络由于结构不同,应用范围也各不相同。由于人工神经网络本身不仅具有非线性、自适应性、并行性、容错性等优点以及分辨故障原因、故障类型的能力外,而且训练过的神经网络能储存有关过程的知识,能直接从定量的、历史故障信息中学习。所以在20世纪80年代末期,它已开始应用于模拟电路故障诊断。随着人工神经网络的不断成熟及大量应用,将神经网络广泛用于模拟电路的故障诊断已是发展趋势。BY神经网络由于具有良好的模式分类能力,尤其适用于模拟电路故障诊断领域,因而在模拟电路故障诊断系统中具有广泛的应用前景,也是目前模拟电路故障诊断中用得较多而且较为有效的一种神经网络。 3小波神经网络的应用进展分析
3,1小波分析理论与神经网络理论结合的必要性
在神经网络理论应用于模拟电路故障诊断的过程中,神经网路对于隐层神经元节点数的确定、各种参数的初始化和神经网络结构的构造等缺乏更有效的理论性指导方法,而这些都将直接影响神经网络的实际应用效果。小波分析在时域和频域同时具有良好的局部化特性,而神经网络则具有自学习、并行处理、自适应、容错性和推广能力二因此把小波分析和神经网络两者的优点结合起来应用于故障诊断是客观实际的需要。
目前小波分析与神经网络的结合有两种形式,一种是先利用小波变换对信号进行预处理,提取信号的特征向量作为神经网络的输人,另一种则是采用小波函数和尺度函数形成神经元,达到小波分析和神经网络的直接融合第一种结合方式是小波神经网络的松散型结合,第二种结合方式是小波神经网络的紧致型结合。
3.2小波分析理论与神经网络理论的结合形式
小波与神经网络的松散型结合,即:用小波分析或小波包分析作为神经网络的前置处理手段,为神经网络提供输人特征向鱼具体来说就是利用小波分析或小波包分析,把信号分解到相互独立的频带之内,各频带内的能童值形成一个向觉,该向童对不同的故障对应不同的值,从而可作为神经网络的输入特征向量一旦确定神经网络的输入特征向童,再根据经验确定采用哪种神经网络及隐层数和隐层单元数等,就可以利用试验样本对神经网络进行训练,调整权值,从而建立起所需的小波神经网络模型。
小波与神经网络的紧致型结合,即:用小波函数和尺度函数形成神经元,达到小波分析和神经网络的直接融合,称为狭义上的小波神经网络,这也是常说的小波神经网络。它是以小波函数或尺度函数作为激励函数,其作用机理和采用Sigmoid函数的多层感知器基本相同。故障诊断的实质是要实现症状空间到故障空间的映射,这种映射也可以用函数逼近来表示。小波神经网络的形成也可以从函数逼近的角度加以说明。常见的小波神经网络有:利用尺度函数作为神经网络中神经元激励函数的正交基小波网络、自适应小波神经网络、多分辨率小波网络、区间小波网络等。
3.3小波分析理论与神经网络理论结合的优点
小波神经网络具有以下优点:一是可以避免M LY等神经网络结构设计的育目性;二是具有逼近能力强、网络学习收敛速度快、参数的选取有理论指导、有效避免局部最小值问题等优点。
在模拟电路故障诊断领域,小波神经网络还是一个崭新的、很有前途的应用研究方向。随着小波分析理论和神经网络理论的不断发展,小波神经网络应用于模拟电路故障诊断领域将日益成熟。