前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇人工神经网络范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
能否结合分析和归纳的优点设计出一种新的算法,使用近似的先验知识结合可用数据来形成一般假设。这有别于使用纯粹的归纳学习算法时,基于特定学习任务的先验知识来选择设计方案。
例如:在利用神经网络解决问题时,设计者必须选择输入和输出数据的编码方式、在梯度下降中被最小化的误差函数、隐藏单元的数量、网络的拓扑结构、学习速率和冲量等。在选择这些参量时,也可将领域特定的知识嵌入到学习算法中。
但结果仍然是归纳算法反向传播的一个实现。新的系统能将先验知识作为显式的输入给学习器,训练数据也同样作为显式输入。这样可以形成通用算法,但利用了领域的特定知识。即:最终构造的是领域无关算法,这种算法使用显式输入的领域相关的知识。
KBANN学习方法
将领域理论和训练数据结合起来进行搜索的做法可以将其看作是一种搜索多个可选假设空间的任务。为了将大多数学习任务刻画为搜索算法,需要定义待搜索的假设空间H,搜索的开始点为初始假设ho以及指定搜索目标的判据G。
用这种方法,领域理论B被用于建立一个与B一致的初始假设hO。然后以这个初始假设ho为起点应用标准归纳方法。在设计神经网络网络时可以利用先验知识确定初始网络的互联结构和权值,此初始设计的网络假设利用反向传播算法和训练数据被归纳精华。
从一个与领域理论一致的假设开始搜索,使得最终输出假设更有可能拟合此理论。这种方法被用于KBANN(Knowledge―Based Artificial NeuralNetwork,基于知识的人工神经网络)算法中。
利用人工神经网络自动构建应用系统的性能分析模型。以往为应用程序建模主要采用统计分析的方法。但随着应用程序可调参数空间的增大,如果仍使用传统的统计方法建立性能分析模型,必然会对输入参数做简化假设。
这种建模方法只能预测一些粗略的趋势预测,不能顾及每个输入参数对性能的影响,尤其是不能预测在参数空间内各种组合对性能的影响。基于这种现状考虑使用人工神经网络进行性能分析建模。KBANN算法使用先验知识的方法是将假设初始化为完美拟合领域理论,然后按照需要归纳地精华此初始假设以拟合训练数据。
KBANN与纯归纳的反向传播算法比较
理论比较:两者的关键区别在于执行权值调节所基于的初始假设。在有多个假设能拟合数据的情况下,KBANN更有可能收敛到这样的假设,他从训练数据中泛化与领域理论的预测更相似。
另一方面,反向传播收敛到的特定假设可能是小权值的假设,它大致对应在训练样例间平滑插值的泛化偏置。KBANN使用一个领域特定的理论来偏置泛化,反向传播算法使用―个与领域无关的语法偏置。从图例中可以看出KBANN算法效果好于传统的纯归纳反向传播算法。
关键词:人工神经网络;自动化;采煤技术;综放工作面
随着我国国民经济总量的增大,煤炭能源的消耗也是越来与而大,同时也对煤矿的开采提出了更高的要求。近年来,国家对煤矿安全越来越重视,管理也更加严格,很多不合安全规范的小型煤矿被关停。想在现有环境下提高采煤量,就必须加大科技方面的投入,采用最先进的自动化设备技术,宗放自动化采煤是当前世界上最为先进的采煤技术,是提高采煤生产效率的关键技术之一。人工神经系统可以较好的辅助综放工作面的工作,可对综放工作面进行控制生产,对提高采煤效率有着极为重要的意义。
一、人工神经网络的简单介绍
人工神经网络是一种非线性、交叉的科学,它通过计算机系统对生物神经信息进行模拟来解决实际工作中的问题,属于非线性、交叉的科学。经过近些年的发展,人工神经网落技术在自然科学、社会科学等各个领域的应用已经得到广泛应用。人工神经网络的广泛应用自然也推动了人工神经网路的研究,现在出现的具有不同功能作用的网络结构和算法系统,就是近年来研究的成果,人工神经网络的理论系统也日趋成熟,适用范围也越来越广。
通过模拟人体神经系统信号传输原理,人工神经网络的各个节点也与人体内的神经元相似,能够通过连接权值进行非常紧密的联系。在实际应用中,如果神经元的输出大大超过了网络内部神经元阀值的时候,这个人工神经网络就会输出信号,这个信号也就是成为了下个神经元输入的信号。人工神经网络是模拟人的神经系统创建的,自然与人的神经系统很相似,要通过不断的应用、训练才可以保持较为良好的状态,在实际操作中,人工神经网络的性能是由各个节点的激活函数、网络的拓扑结构以及网络的训练方法决定的。较为常用的BP算法就是通过对网络连接权值的不断调整来达到训练人工神经网络的目的。
二、人工神经网络的相关建模方法
就现有研究来看,人工神经网络的建模方法主要包括模糊建模和混合建模,这些具体而有效的建模方法给采煤综放工作面生产过程自动化提供了较为科学的理论指导,是提高采煤效率和降低采煤工人劳动强度的有效举措之一,以下是对人工神经网络建模的具体介绍。
(一)人工神经网络的模糊建模方法
在煤矿的实际工作中,传统的数学建模方法有其局限性,不能适应较为复杂的问题,严重影响了煤矿的生产效率。模糊理论正是在这种大背景下出现的,它通过有效的实验方法,将实验数据总结汇总,将实验汇总的数据作为模糊规则,然后依据相关模糊理论进行实际的人工神经网络建模。这种建模方法的优势是能够较为快速的预测出新输入数据接下来会输出的结果。煤矿在应用模糊建模方法后,对于生产过程的预算也就更为准确,便于企业做出相关决策。整个模糊建模方法主要由三个部分组成,既模糊化、推理机制、解模糊,这是模糊建模的一个有机整体,是这种建模方式的核心价值所在。
(二)人工神经网络的混合建模方法
除了模糊建模方法之外,人工神经网络还有一种混合建模方法,这种建模方法是依托智能算法的进步而出现的,现已广泛应用于煤矿生产。近年来,为了适应人工神经网络的发展,包括粒子群算法和遗传算法在内的智能算法取得了较大的发展,这种建模方可以对实际工作中比较复杂的参数进行优化处理,进而提高生产效率。
1.粒子群算法建模
粒子群建模简单来说就是利用较为成熟的计算机语言的算法对相关生物的群体行为进行模仿,然后进行建模,在具体操作中,粒子群算法建模要避免碰撞而飞离最近的个体、飞向目标、飞向群体中心,这也被称为粒子群建模方法的三大原则。
2.遗传算法
遗传算法就是将计算机技术和进化论联合运用于人工神经网络建模。在实际工作中,遗传算法应用了当前最为先进的编码技术和遗传操来做铺垫。在Holland体系中,GA就是一种较为简单的遗传算法,各种不同形式的二进制串就是其具体的操作对象。但在煤矿工作中,如果是要通过参数来进行问题分析,遗传算法的研究对象就可以是一个参数组,在这个参数组中,遗传算法具体是通过这个参数组的适应度来表现其好坏情况。通常情况下,遗传算法在具体操作中就是通过对基础的参数群进行有效分析,其选择个体是依据这个个体的适应值比例,然后通过交叉和变异进的方法诞生下一个组种群,这个过程可以持续下去,直到满足生产需求的参数值出现为止。遗传算法也是一种优选的方法,它将遗传算法的优点和人工神经网络的特点进行了有机结合,通过遗传算法可以进行前期模块的优选,建立一个合乎现实情况的非线性模型,然后进行与模糊建模方法相类似的实验数据收集,分析最为有效的网络结构,在满足预测的情况下实现了参数的优选。
三、人工神经网络应用在采煤技术上效果
通过上文介绍,在采煤中利用人工神经网络是为综放工作面生产过程实现自动化提供相对应的理论依据,减轻采煤的劳动强度并提高采煤效率是其目的所在;人工神经网落还能够对采煤工作中的相关生产设备的性能做有效的检查,能够在最快的时间内发现机械故障,及时的排除机械故障,极大的降低了煤矿安全事故的发生率;人工神经网络还能够将采煤生产设备工作面的具体信息,快速的反馈到地面,然后通过先进的计算机技术对数据进行相关处理,实现信息资源共享,采煤过程中对人工的依赖也会降低,为日后的无人操作打下了坚实的基础。
将现代化的人工神经网络应用于采煤,可以实现对综放工作面自动化的有效控制,它将整个采煤的综放工作面看做是个有机的整体,在条件允许的情况下进行仿真模拟,通常情况下都是应用MATLAB软件来及进行仿真模拟,可以系统化的管理整个采煤过程,排除采煤过程中的相关机械故障,在提高采煤效率的同时实现了安全生产,人工神经网络值得在采煤技术中大力推广、应用。
四、结束语
可以将综放工作面看做是整个采煤系统实现自动化,这也是日后采煤自动化发展的一个重要方向,这种思维模式有效避免了在没有考虑综放工作面控制功能而进行自动化的情况。多年的实践表明,神经网络技术应用于煤矿开采中可以有效分析、诊断采煤工作中的一些问题,为日后采煤规划提供了强而有力的依据,其在采煤领域的应用空间还非常宽阔,值得进一步研究、拓展。
参考文献:
[1]郑胜友.人工神经网络在采煤技术上的应用[J].科技风,2012(10).
[2]董丽丽,乔育锋,郭晓山.遗传算法和人工神经网络在煤矿突水预测中的应用研究[A]. 智能信息技术应用学会.Proceedings of 2010 International Conference on Management Science and Engineering (MSE 2010) (Volume 3)[C].智能信息技术应用学会:,2010(5).
[3]彭学前.采煤机故障诊断与故障预测研究[D].南京理工大学,2013.
【关键词】自适应距离保护 人工神经网络 BP算法
一、引言
距离保护长期以来一直是复杂电网中高压输电线路最重要的也是应用最广泛的保护方案。这种保护有许多独特的优点,如能瞬时切除输电线80%~90%范围内的各种故障。但是有许多原因会影响阻抗的测量精度,从而影响测量阻抗的计算,使测量阻抗为短路阻抗与附加阻抗之和,从而会引起误动或者拒动。
基于这些问题,本文提出了人工神经网络。近年来,人工神经网络(ANN)逐渐得到电力系统研究人员的高度重视和广泛研究。人工神经网络是由众多的神经元广泛互联而成的网络。人工神经网络以其具有自学习、自适应、较好的容错性和优良的非线性逼近能力,广泛应用于模式识别和模式分类等方面。
本文所采用的三层前向神经网络的学习算法为反传学习算法,即BP算法,学习过程采用反向传播法。
二、基于人工神经网络的距离保护模型
BP网络模型也即多层前向网络(Multi-layer Feedforward Neural Network,MFNN),因其训练算法采用反向传播算法,也即BP算法。由于这种算法在本质上是一种神经网络学习的数学模型,所以,BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。
人工神经网络是由大量简单的基本元件——神经元相互连接而成的自适应非线性动态系统。一般而言,只要采用三层神经网络,而且对各层神经元数目不加限制,则可在模式空间构成任意复杂程度的几何图形,从而对任意复杂的对象进行分类。
人工神经网络含有输入层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层,由于他们与外界没有直接联系,故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接,但是他们的状态则影响输入输出之间的关系。BP网络的结构的每一层连接权值都可以通过学习来调节,它的基本处理单元(输入层)除外通常为非线性输入输出关系。
三、神经网络的训练及检验
本文通过EMTP仿真的数据预处理中得出了这两个子网络的权值和阀值矩阵中,用一些不同于训练样本的检测样本(本文在故障检测与选相子网络是用40组进行训练,13组进行检测的;对故障定位子网络是用35组进行训练,14组进行校验的)。每一个子网络的隐含层节点的数目,是在训练过程中根据最快的收敛速度和最好的精度标准通过多次采用不同的隐含层节点数目进行训练,反复比较,根据实际的收敛效果和计算精度来选择确定的。其中,故障检测与选相子网络(ANN1)的隐含层数目取为42个,故障定位子网络(ANN2)的隐含层数目取为33个。
在确定了两个子网络的隐含层以后,开始对故障检测和选相子网络(ANN1)和故障定位子网络(ANN2)采用BP算法进行训练。经过对子网络的多次训练,其训练过程是收敛的,其训练速度也是令人满意。
下面将2个子网络的部分训练样本、检验样本及检验结果。
在对第一个、第二个子网络故障检测与选相子网络其训练过程过程是收敛的,其训练速度也是令人满意的。
下面是子网络ANN1的训练样本和训练样本及检测样本。故障类型有:内部故障,A相接地、内部故障,B相接地、内部故障,C相接地、内部故障,两相短路、内部故障,两相接地短路、内部故障,三相短路。理想输出:1,0,0,0;0,1,0,0;0,0,1,0;0,0,0,1;0,0,0,1;0,0,0,1。检验结果:
0.9985,0.0378,0.0838,0.0230;0.0315,0.9988,0.0607,0.0121;0.1004,0.1718,0.9980,0.2715;0.2815,0.0499,0.0614,0.9864;0.2496,0.3688,0.0370,0.9798;0.0197,0.0551,0.0187,0.9981。
从上面可以清楚的看出,故障检测和选相子网络在各种故障情况下都能正确反映故障,并启动保护和正确选相。
在第二个子网络训练过程也是表明故障定位子网络ANN2也是收敛的,其训练速度也是令人满意的。
下面是故障定位子网络ANN2的训练样本和检验样本及结果举例。当故障点线路全长线路全长83%,故障类型分别为单相接地、两相故障、三相故障时,其理想输出为1、1、1;当故障点线路全长线路全长87%,其理想输出为0、0、0。检测结果:当故障点线路全长线路全长83%,输出:0.9867、0.9827、0.9572。当故障点线路全长线路全长87%,输出:0.1758、0.1820、0.1602。
从上面数据可以看到,故障定位子网络距离保护经过训练以后,基本能够正确的识别故障点位置。
四、结论
本论文针对传统距离保护在系统发生振荡和系统经过过渡电阻发生故障时,可能会误动或拒动等,因此,提出了基于BP人工神经网络自适应距离保护原理由两个相互独立的子网络来实现,即故障检测与选相子网络和故障定位子网络。两个子网络组成一个并行处理系统,经过大量的训练样本进行训练,投入实际运行线路中,根据本身需要提取输电线路的运行参数,对电力系统运行状态进行判断。研究结果表明,用人工神经网络实现最复杂的保护原理——距离保护是可行的,而且具有显著的优点。
参考文献:
[1]贺家李,宋从矩.电力系统继电保护原理(第三版)[M].北京:中国电力出版社,2001.
关键词:神经网络;VC维;数据挖掘
中图分类号:TP183文献标识码:A文章编号:1009-3044(2008)30-0710-02
A Review of the Research and Development of the Artificial Neural Nets
WANG Hui
(Xinjiang Petroleum Institute,Urumqi 830000,China)
Abstract: This paper reviews the history and the current situation of the theory of neural nets. It discusses two aspects: the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets. It also touches upon such research areas as calculation theory, methods and application of neural nets.
Key words: neural nets;Vapnik-Chervonenkis dimension;Data Mining
1 引言
本世纪初,科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作,人脑含有数亿个神经元,并以特殊的复杂形式组成在一起,它能够在计算某些问题(如难以用数学描述或非确定性问题等)时,比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍,然而,大脑的信息处理速度比电子元件的处理速度快许多倍,因此科学家推测大脑的信息处理方式和思维方式是非常复杂的,是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作,McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数,这标志着神经网络学科的诞生。
2 发展历史及现状
2.1 人工神经网络理论的形成
早在40年代初,神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中,神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1],从人脑信息处理观点出发,采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性,他们提出了第一个神经计算模型,即神经元的阈值元件模型,简称MP模型,他们主要贡献在于结点的并行计算能力很强,为计算神经行为的某此方面提供了可能性,从而开创了神经网络的研究。50年代初,神经网络理论具备了初步模拟实验的条件。Rochester,Holland与IBM公司的研究人员合作,他们通过网络吸取经验来调节强度,以这种方式模拟Hebb的学习规则,在IBM701计算机上运行,取得了成功,几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元,而每个神经元又只有16个结合点。再往下做试验,便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究,并把这种想法写入他的博士论文中,后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。
2.2 第一阶段的研究与发展
1958年计算机科学家Rosenblatt基于MP模型,增加了学习机制,推广了MP模型。他证明了两层感知器能够将输入分为两类,假如这两种类型是线性并可分,也就是一个超平面能将输入空间分割,其感知器收敛定理:输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型,首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型,是一种连续取值的线性网络,主要用于自适应系统。他们研究了一定条件下输入为线性可分问题,期望响应与计算响应的误差可能搜索到全局最小值,网络经过训练抵消通信中的回波和噪声,它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说,他们对分段线性网络的训练有一定作用,是自适应控制的理论基础。Widrow等人在70年代,以此为基础扩充了ADALINE的学习能力,80年代他们得到了一种多层学习算法。
Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中,建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法,从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART),这是感知器较完善的模型,即superrised学习方式。本质上说,仍是一种unsuperrised学习方式。随后,他与Carpenter一起研究ART网络,它有两种结构ART1和ART2,能够识别或分类任意多个复杂的二元输入图像,其学习过程有自组织和自稳定的特征,一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理;Fukushima 提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。
2.3 第二次研究的阶段
Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架,随后,引起许多学者研究Hopfield 网络的热潮,对它作改进、提高、补充、变形等,至今仍在进行,推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的,即固体热平衡问题,通过模拟高温物体退火过程的方法,来找全局最优或近似全局最优,并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型,借用统计物理学中的概念和方法,引入了模拟退火方法,可用于设计分类和学习算法方面,并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进,提出了高阶Boltzmann机和快速退火等。
1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版,对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平,包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论,主要致力于认知的微观研究。尤其是,Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法,这就是后来著名的BP算法。
2.4 新发展阶段
90年代以来,人们较多地关注非线性系统的控制问题,通过神经网络方法来解决这类问题已取得了突出的成果,它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法,它可表示非线性特性,增强了鲁棒性。他们给出了一种新的辨识与控制方案,以multilayer网络与recarrent网络统一的模型描述非线性动态系统,并提出了动态BP 参数在线调节方法。尤其是进化计算的概念在1992年形成,促进了这一理论的发展。1993年诞生了国际性杂志Evolutionary Computation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法,他们将进化策略引入区域指引,它经过选优过程,最终达到求解问题的目的。
从上述各个阶段发展轨迹来看,神经网络理论有更强的数学性质和生物学特征,尤其是神经科学、心理学和认识科学等方面提出一些重大问题,是向神经网络理论研究的新挑战,因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向,注视着自身与科学技术之间的相互作用,不断产生具有重要意义的概念和方法,并形成良好的工具。
3 神经网络的发展趋势
3.1 神经网络VC维计算
神经计算技术已经在很多领域得到了成功的应用,但由于缺少一个统一的理论框架,经验性成分相当高。最近十年里,很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题 。PAC(Probably Approximately Correct)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量,VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维,则我们可以估计出要训练该网络所需的训练集规模;反之,在给定一个训练集以及最大近似误差时,可以确定所需要的网络结构。
Anthony将VC维定义为:设F为一个从n维向量集X到{0, 1}的函数族,则F的VC维为X的子集E的最大元素数,其中E满足:对于任意S?哿E,总存在函数fs ∈F,使得当x ∈ S时fs(x) =1,x?埸S但x∈E时fs(x) =0。
VC维可作为函数族F复杂度的度量,它是一个自然数,其值有可能为无穷大,它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族,可定义相应的指示函数族,该指示函数族的VC维即为原实函数族的VC维。
3.2 基于神经网络的数据挖掘
1996年,Fayyad、Piatetsky-Shapiro和Smyth对KDD(Knowledge Discovery from Databases)和数据挖掘的关系进行了阐述。但是,随着该领域研究的发展,研究者们目前趋向于认为KDD和数据挖掘具有相同的含义,即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。
数据挖掘的困难主要存在于三个方面:首先,巨量数据集的性质往往非常复杂,非线性、时序性与噪音普遍存在;其次,数据分析的目标具有多样性,而复杂目标无论在表述还是在处理上均与领域知识有关;第三,在复杂目标下,对巨量数据集的分析,目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中,研究者们主要是将符号型机器学习方法与数据库技术相结合,但由于真实世界的数据关系相当复杂,非线性程度相当高,而且普遍存在着噪音数据,因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘,将可望借助神经网络的非线性处理能力和容噪能力,较好地解决这一问题。
4 结束语
经过半个多世纪的研究,神经计算目前已成为一门日趋成熟,应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述,主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是,除了上述内容之外,神经计算中还有很多值得深入研究的重要领域,例如:与符号学习相结合的混合学习方法的研究;脉冲神经网络(Pulsed Neural Networks)的研究;循环神经网络(Recurrent Neural Networks)的研究等;神经网络与遗传算法、人工生命的结合;支持向量机(Support Vector Machine)的研究;神经网络的并行、硬件实现;容错神经网络的研究。
参考文献:
[1] McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943.
[2] N.维纳著,郝季仁译,控制论,科学出版,1985.
[3] Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in Behavior; The Hixon Sympsium, 1951.
[4] Hebb D O. The Organization of Behavior, New York:Wiley, 1949.
[5] 陈世福,陈兆乾. 人工智能与知识工程[M]. 南京: 南京大学出版社,1998.
[6] Simon Haykin.神经网络原理[M].机械工业出版社(第二版),2004.
人工神经网络直接受神经生理学和生物解剖学研究的启发。一个简单的神经细胞通常称之为神经元,细胞的胞体是一球形,由胞体延伸出来的主要管状信号传输神经纤维称为轴突,胞体上其他又细又短的纤维称为树突,整个神经细胞—胞体、轴突和树突—都包含在细胞膜内。胞体和树突接受来自其他神经元的信息,在轴突的终端附近,通常分成许多分支,称为突触区域。突触将一个神经元的信息传给其他神经细胞。信息从突触前细胞神经元传到突触后神经元。信息通过突触的传递称为化学传递,因其利用化学物质的扩散来完成信息的传递。神经元有许多不同的种类,具有相似或相关功能的神经元通常相互连接。紧密连接的神经元通常在神经系统中聚集在一起(它们具有明显的解剖学特征),其主要原因是短突触更有效:它容易生成,所费材料少,占据更小的空间,且传递信息快。这一结构的形成原理可用于城市规划、网络建没和研究各种自然现象的自组织行为。自组织特征映射算法便是基于这一结构的形成原理而设计的。大脑大致包含了数百个这样的细胞聚合块,它们的形状多为球形和盘状。短的连接出现在同一结构中,结构和结构之间由大量长神经纤维形成的束来连接,球或盘的顺序连接称为通道。大脑便通过这些以复杂方式连接起来的神经元形成的网络,处理各式各样的从外部世界输入的信息。由于现代计算技术的发展,人们对于外部世界的表示通常用一个数字向量来表示,这一表示使得人类在自然科学的诸多领域获得了巨大的成功。大脑是利用神经网络表示外部世界刺激,神经网络亦可用一组向量表示外部事件的刺激,但其计算方式却与现行的数字计算机的运算方式大相径庭。
2人工神经网络的基本功能
(1)联想记忆。人工神经网络的设计使其具有分布存储信息和并行计算的功能,所以它能对输入其中的信息和输入的模式有联想记忆的能力。
(2)非线性映射。在大多数的现实的设计中,大多数的系统的输入和输出之前不能建立线性的关系,导致不能在这种类型的系统上建立相关的熟悉模型。而设计合理的人工神经网络可以十分精准的逼近非线性映射,利用它的这一优良的能力,可以建立多维非线性函数的通用数学模型,可以应用于几乎所有的领域。
(3)分类与识别。人工神经网络对输入其中的样本具有分类与识别,能力十分强大和精准,区别于传统分类方法只能局限于同类相聚、异类分离的识别与分类问题,神经网络对非线性曲面的逼近一类问题也有很强的解决能力。
(4)知识处理。人工神经网络获取知识的路径与我们人类相同,也是通过对输入和输出的信息分析进而发现规律从而获得相关知识,并进一步在神经网络中储存。神经网络的另外一大优势,就是可以缺少先验知识的条件下,自动通过从输入的数据中抽取特征,发现规律,并构建成适合于表达的规律。
3人工神经网络在经济管理中的应用领域
(1)信贷分析.对于这类型的,信用评估的机构要有特异性的,基于不同申请公司的各自不同的特点,总结出信用判断的条件,即使是这样的复杂,判断失误的机率也是较大的,最终的后果是给信贷机构带来经济和信誉上的损失。而利用计算机科学技术的成果即人工神经网络的评价系统,由于神经网络评价系统的机理是:将需要贷款公司填写的申请表中的关键信息编码为向量输入系统,输出的是公司的实际的信用情况的客观评价,同时还要输入上千例的历史数据对网络进行校正,以提高准确率。这样一方面可给出较为准确和客观的评价结果,另一方面可以避免从事信贷分析的人的主观性造成的错误。正是基于人工神经网络的评价系统的种种优势,故其在在金融风险分析领域应用十分广泛。
(2)市场预测。预测是为决策服务,是为了提高管理水平减少决策盲目性,降低风险。应用人工神经网络进行市场预测的一个实例是期货市场的神经网络预测。它是根据某期货市场每月平均期货价格、价格不定性和市场心理指标量等因素,建立较为准确可靠的市场模型。该模型的训练数据覆盖了3年时间,它不仅能判断价格的未来走势,而且能在走势持续一段时间后预测到价格的反转。神经网络市场预测在股票走势预测中也有广泛应用。