神经网络回归问题

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇神经网络回归问题范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

神经网络回归问题范文第1篇

神经网络引入预测领域使预测理论及方法产生了质的飞跃。传统的线性预测方法，如自回归（AutoRegressive， AR）模型、滑动平均（Moving Average， MA）模型等在解决非线性严重的预测问题时遇到很大困难，而神经网络在非线性预测方面有着独特的优势，它不需要建立复杂的非线性系统的显式关系及数学模型，通过数据样本训练即可提取数据特征和内在规律，实现信息的分布存储，产生联想记忆，从而对未经训练的样本能够给出外推的预测效果，为非线性预测提供了强有力的工具。

1987年，A.Lapedes和R.Farber首次利用神经网络对非线性时间序列进行预测，开创了神经网络应用于预测领域的先河[1]。之后，神经网络在预测中的应用得到快速发展。近年来，小波神经网络作为一种新颖的神经网络日益受到关注，它兼有小波函数时频局部特性和神经网络函数逼近和泛化能力，在预测领域具有强大的优势。

目前，神经网络预测形式主要有两种：趋势预测与基于因果关系的回归预测，分别对应时间序列预测和多元回归预测。神经网络具有分布式、联想、记忆和很强的泛化能力，以及自学习和容错性，可以以任意精度逼近非线性函数等优点，是线性预测方法无法比拟的。对于大多数预测对象，尤其是含有非线性关系的数据，使用神经网络预测都会得到更高的预测精度。

但是，神经网络应用于预测中存在如下问题：网络结构的设计目前尚无确定的理论依据；预测结果有随机性；机理缺乏透明度；初始参数难确定；存在过度拟合现象；易陷入局部极小等。其中大多数问题需要以实验效果为依据进行确定，利用统计方法对预测结果进行评价，或采用试凑法找出网络“最佳”参数进行下一步预测[2]。

在上述问题中比较突出的问题是神经网络预测结果的随机性，小波神经网络也不例外，即多次预测结果不同，有时分散性很大，即神经网络的预测精度具有不可控性质。对此，在目前的文献中鲜有介绍。本文针对小波神经网络给出一种简单、实用的确定的预测方法，可以获得稳定的预测结果。

1预测结果的不确定因素

对神经网络预测模型进行的大量实验表明：网络初始参数对预测结果的影响举足轻重[3-4]。当网络结构确定后，即网络输入层、隐层、输出层神经元个数，以及学习速率、训练精度等确定后，预测结果取决于网络的初始参数值。初始参数包括网络权值、阈值，对于小波神经网络还包括平移因子和尺度参数。

神经网络的初始参数通常都设为[-1，1]的随机数，它是导致预测结果不确定的本质原因。在网络结构确定的前提下，如果初始参数设为定值，预测结果必然是唯一的。实验表明，对常用的三层神经网络，影响最大的是网络参数的初始值，之后是训练精度、隐层神经元数、学习速率以及动量因子等。

神经网络回归问题范文第2篇

[关键词] 药品；神经网络；组合预测；需求预测

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 08. 051

[中图分类号] TP183 [文献标识码] A [文章编号] 1673 - 0194（2014）08- 0084- 05

0 引 言

随着人工智能技术的发展，人工神经网络得到了广泛研究和应用。由于神经网络具有良好的学习能力和较强的非线性处理能力、不依赖于特定数学模型等优势，其作为一种预测方法已被广泛应用于许多领域。

在医药企业、医药卫生管理领域，药品需求预测一直是管理部门关心的热点问题。药品需求除了受由药品自身属性影响外，还受国家政策或医药行业规定等因素的影响，如药品在某地区是否中标、是否为处方药等；同时，制药企业自身制定的定价、渠道以及促销等营销策略和销售团队的组建制度也对药品需求产生不同程度的影响。药品需求特征的多样性，决定了药品需求预测本质上是一个复杂的非线性系统建模问题。

国内外众多学者对药品需求预测进行了深入的研究，产生了一批有价值的研究成果。目前，药品需求预测的主要方法包括：回归分析法、时间序列分析法、神经网络、遗传算法等。这些方法从不同角度出发建模，均取得一定效果，尤其是BP神经网络，已经在药品预测研究中取得了众多应用。尽管相关讨论和研究不断增多，但是目前常用的神经网络预测方法普遍存在以下问题：由于药品需求特征颇为复杂的特殊性，运用单项预测方法对其进行预测无法涵盖其较多的特征信息，通常表现为对某类特定的药品预测效果良好，而对其他药品则预测性能较差，从一定程度上限制了预测模型的适用范围。

本文采用基于神经网络的组合预测模型来解决上述问题。组合预测方法（combined forecasting）是指通过一定数学方法将不同的单项预测模型组合起来，综合利用各种单项预测方法所提供的信息，从而达到提高预测精度的目的。组合预测方法最早由Bates和Granger[1]于1969年提出，他们认为对于一个包含系统独立信息的单项预测方法，与预测精度较小的预测方法进行组合预测完全可以增强系统的预测性能。

考虑到各种神经网络预测方法的特点及其适用范围，本文选择BP神经网络预测方法、RBF神经网络预测方法和基于广义回归神经网络（GRNN）3种常用的神经网络预测方法作为组合预测模型中的单项预测方法。在此基础上，用平均绝对相对误差（MAPE）和方差为衡量标准，并根据设置的阈值对单项预测方法进行筛选，最后选取了MAPE作为最优准则计算得到权重，从而建立组合预测模型，在提高组合预测模型精度的同时，使得组合预测模型具有现实意义。实验结果表明，本文提出的模型的预测精度高于传统的线性组合模型的预测精度。

1 相关工作

基于神经网络的预测方法具有很多其他预测方法所不具备的优点，近年来越来越被人们所关注。吴正佳 等（2010）[2]针对某备货型企业的产品需求量，建立了基于良好学习能力的BP神经网络预测模型，并通过实证分析与简单移动平滑法和加权移动平滑法的预测结果相比较，结果表明BP神经网络预测结果比其他两种更为有效果。童明荣 等（2007）[3]提出一种季节性RBF神经网络预测模型，对具有季节性的产品月度市场需求进行预测，最后利用构建好的RBF神经网络模型进行仿真实验，并与ARIMA模型、分组回归模型等常用季节预测模型做对比分析，结果表明前者的预测误差均方差最小，预测精度较高。Maria Cleofé（2005）[4]利用人工神经网络（ANN）对圣保罗地区的降雨量进行预测，并通过实证分析与其他线性回归模型作对比评价，实验结果表明人工神经网络有着更好地预测效果。此外还有其他很多学者在交通、航运、气候等多个领域运用神经网络进行了预测[5-7]，不在此赘述。

针对药品销量预测这一特定问题，国内外部分学者也做了一定的研究工作，试图寻找合适的预测方法对药品需求做出较为准确的预测。马新强 等（2008）[8]提出了一种基于BP神经网络的药品需求预测模型，该文先利用数据仓库及数据挖掘技术分析提取了相关有效的药品销售信息作为研究对象，在此基础上利用BP神经网络对其进行预测，最后在较为精确销售量的基础上提出了一种优化的生产决策系统方法。王宪庆 等（2009）[9]利用BP神经网络模型对药品超市的药品销售情况进行预测并做了相关实证分析，该文通过观察药品预测的显著性差异评价模型的性能，最终取得了良好的效果，支持了其BP神经网络非常适用于资金有限、仓储量不大的药品超市的结论。刘德玲（2012）[10]提出了一种针对大范围内的药品销售的预测方法。该文利用遗产算法优化支持向量机药品销售预测方式进行预测，提高了药品销售预测的精确度，得到了较为满意的结果。

尽管有关研究不断增多，但由于药品需求特征颇为复杂的特殊性，运用单项预测方法对其进行预测无法涵盖其较多的特征信息，从一定程度上限制了预测模型的适用范围。本文根据药品需求高度非线性的特点选取了3种不同特性神经网络模型作为单项预测方法，每种神经网络都有其所针对的药品需求特征，并在此基础上建立组合预测模型，扩大了药品预测模型的适应范围，对于提高药品预测精度和预测稳定性具有重要意义。

2 基于神经网络的药品需求组合预测模型的建立

基于神经网络的药品需求组合预测模型的具体步骤如下：

（1）数据异常点预处理。为提高组合预测模型的适用范围和预测精度，本文运用基于距离的异常点检测方法对存在异常点的药品需求数据进行异常点修复，得到正常的需求数据。

（2）单项预测方法的选取。针对药品需求的不同特征，选取3种不同特性的神经网络模型作为单项预测方法，以此作为组合预测模型单项预测方法的筛选基础。

（3）单项预测方法的筛选与变权重的计算。因为不同药品具备不同需求特征，在进行组合预测时仍需要在已选取单项预测方法的基础上再次筛选合适的单项预测方法进行组合，以相对误差为最优准则，通过求解二次规划问题得到权重并按照一定的变权规则进行变权。

（4）根据权重建立组合模型进行预测。

2.1 药品数据异常点预处理

在药品销售数据中，由于特殊事件（如铺货）等原因，个别数据会表现出明显突变，导致药品历史数据存在异常点，掩盖了数据本身的规律。本文通过基于距离的异常点检测方法和多项式拟合方法对药品数据做预处理，具体处理步骤如下：

首先，选择一个较大的数（如1010）将缺失数据补足，然后运用基于距离的异常点检测方法进行检测。第一步，对药品需求数据进行归一化处理并计算出各个数据之间的距离，得到距离矩阵P。计算公式如下：

Pij=|xi-xj|，i，j=1，…，n（1）

式中，xi表示时间序列中第i期的数据，Pij表示时间序列中i期数据与j期数据之差的绝对值。距离矩阵P的第i列表示时间序列第i期数据与长度为n的时间序列中所有数据（包括第i期数据本身）的距离。

P=p11，p12，…，p1np21，p22，…，p2n… … … …pn1，pn2，…，pnn（2）

通过设置距离阈值d，计算出所有满足Pij>d的距离个数，记di，得到判别矩阵D。

D=[d1，d2，d3，…，dn]（3）

将di与阈值f进行比较，若大于f，则识别该点为异常点，否则为正常值。最后利用多项式拟合方法，将检测出来的异常点作拟合处理，得到建模需要的正常数据。

2.2 单项预测方法的选取

药品需求预测是一个复杂的非线性系统建模问题，相对于传统分析方法（如指数平滑方法、ARMA模型、MTV模型），神经网络依据数据本身的内在联系建模，具有良好的自组织、自适应性，以及抗干扰能力以及非线性映射能力，能够较好地解决非线性数据拟合问题。

本文选取3种具有不同特征的神经网络模型，即BP神经网络、RBF神经网络和GRNN广义回归神经网络，综合其各自优势建立组合预测模型，提升整个预测模型的泛化能力，提高预测精度与预测稳定性。

2.2.1 基于BP神经网络的药品需求预测方法

BP神经网络由Rumelhard和McClelland于1986年提出，它是一种典型的多层前向型神经网络。药品销售记录作为BP神经网络输入值，药品需求预测即为BP神经网络输出值。当输入节点数为m，输出节点数为n时，BP神经网络就表达了从m个自变量到n个因变量的非线性函数映射关系。

BP神经网络侧重对全样本的学习，因此适合对样本整体特征相近的时间序列进行预测，即适应受某一特定因素影响显著，且该影响因素相对稳定的药品预测。

2.2.2 基于RBF神经网络的药品需求预测方法

径向基函数（RBF，Radical Basis Function）由Powell于1985年首次提出，它是一种三层前馈网络，即输入层、隐含层和输出层。从输入层到隐含层是一个非线性到线性的变换过程，从隐含层到输出层是一个线性处理过程。RBF神经网络在处理非线性问题时，引入RBF核函数将非线性空间映射到线性空间，极大地提高了非线性处理能力，且RBF神经网络采用自组织有监督的学习算法进行训练，其训练收敛速度具有显著的优势。

RBF神经网络具有很好的非线性处理能力，其学习算法属于局部激活性较高的高斯函数，对于相似的样本有着较高的逼近能力，因此适用于受会随时间变化而较为显著变化的因素影响的药品需求预测。

2.2.3 基于GRNN的药品需求预测方法

广义回归神经网络（GRNN，Generalized Regression Neural Network）由美国学者Donald F. Specht在1991年提出，它是径向基神经网络的一种。GRNN具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性，适用于解决非线性问题。

GRNN在逼近能力和学习速度上较RBF网络有更强的优势，网络最后收敛于样本量积聚较多的优化回归面，并且在样本数据较少时，预测效果也较好。此外，网络还可以处理不稳定数据。因此GRNN适用于数据不全、异常点较多的药品。

综上所述，3种神经网络都具有良好的非线性处理及预测能力，因为学习算法的不同有着各自侧重的学习方向，皆为应用广泛的预测方法，且对各自适应范围内有着较好的预测效果。因此本文选择BP神经网络、RBF神经网络以及广义回归神经网络作为单项预测方法，并在此基础上建立组合预测模型。

2.3 单项预测方法的筛选与变权系数的计算

本文在已选取3种单项预测方法的基础上，再根据合适的MAPE和误差方差筛选出组合模型中的单项预测方法，计算出变权系数。假设药品需求的实际时间序列为y（t），t=1，2，…，N，N+1，…，N+T，其中t表示预测区间，T表示预测步长。

（1）单项方法筛选

单项方法进一步筛选的具体步骤为：

①预先设置选择单项方法MAPE阈值m 和误差方差阀值ε

②进行逐期单步预测，预测序列为：

{i（t），i=1，2，…，n；t=N+1，…，N+T}

③计算n种单项方法的相对误差ei（t）、误差方差εi（t）和MAPE。其中，单项预测方法的相对误差序列为：

ei（t）=i=1，2，…，n；t=N+1，…，N+T（4）

单项预测方法的误差方差为：

εi（t）=（5）

单项预测方法的MAPE为：

MAPEi（t）=ei（j），（i=1，2，…，n；t=N+1，…，N+T）（6）

④若MAPEi（t）

（2）变权系数的计算

本文考虑预测效果，选用基于相对误差为最优准则的最优加权法进行计算。

假设从n中方法中筛选出p（p≤n）种单项预测方法，则组合模型第t+1期的权系数w（t+1）由相对误差ei（1），…，ei（t）决定，其中i=1，…，p。变权规则如表1所示。

权系数具体计算过程如下：

①设组合权重wi为方法mi在组合预测方法中权重，则组合预测方法第t期相对误差为：

e（t）=wi*ei（t），i=1，2，…，p（7）

②组合模型前t期的相对误差平方和为：

e2=e（1）2+e（2）2+…+e（t）2（8）

令w=[w1，w2，…，wP]T，

E=e1（1），e2（1），…，ep（1）e1（2），e2（2），…，ep（2） … … … …e1（t），e2（t），…，ep（t）

建立如下目标规划：

min P=e2=wT*ET*E*w

s.t. wi=1（9）

③求解该目标规划得到变权系数w。

2.4 建立组合模型进行预测

组合预测模型可表示为：

式中， wi（t）表示第t期单项方法mi的变权系数，（t）表示第t期组合预测方法的预测值。根据该模型对药品进行预测。

3 实验与分析

本文以上海市某制药企业月度销售额为药品需求预测的实证数据，根据销售地区的不同抽取有代表性的药品销售数据，其中选取上海地区10种药品，北京地区4种药品及全区域销售数据12种药品，数据长度皆为30（2009-1至2011-6）。

数据选择依据如下：①药品销售有一定的连续性，为公司主推或在某地区主推药品，具有代表性及预测意义；②在考虑异常点和数据缺失时，选取异常点和缺失数据较少的药品。

3.1 单项方法筛选和变权系数计算

根据不同销售区域药品需求的具体情况，设定单一省市药品的MAPE阈值和方差阈值分别为20%和0.1；设定公司的MAPE阈值和方差阈值分别为30%和0.1。shy03和all03的单项预测方法选取结果如表2 所示。

利用单项预测方法的6期预测结果计算组合预测模型的3期权重，选相对误差最优准则进行权重计算，运用MATLAB的二次规划函数quadprog求解。变权规则及权重计算结果如表3所示。

3.2 预测模型的精度比较

本文选取平均绝对相对误差（MAPE）和预测有效度两个指标来综合评价模型的预测精度。当MAPE越小时，说明预测精度越高。然而当实际值非常小时，即使是预测值与真实值之差较小，其平均绝对相对误差也会很大，而预测有效度能很好地避免此类问题，故我们引入预测有效度来综合评价预测精度，预测有效度越大，预测精度越高。

用单项预测方法BP、RBF、GRNN与组合预测方法单一省市和全区域药品销售预测值的MAPE和有效度，对MAPE和有效度的情况进行统计并且计算MAPE和有效度的平均值，比较结果如表4所示。

可以看出，运用组合预测方法对单一省市的14种药品进行需求预测时，MAPE小于标准值20%的有8个，占药品总数的57.14%，优于BP（7）、RBF（4）、GRNN（6）方法；14种药品的MAPE平均值为19.81%，优于BP（26.71%）、RBF（28.45%）、GRNN（40.59%）方法。预测有效度大于标准值0.5的有11个，占药品总数的78.57%，优于BP（8）、RBF（10）、GRNN（8）方法；14种药品的预测有效度平均值为0.62，优于BP（0.57）、RBF（0.61）、GRNN（0.57）方法。

此外，运用组合预测方法对全区域销售的12种药品进行需求预测时，MAPE小于标准值30%的有7个，占药品总数的58.33%，优于BP（4）、RBF（6）、GRNN（3）方法；12种药品的MAPE平均值为25.22%，优于BP（35.90%）、RBF（32.07%）、GRNN（70.59%）方法。预测有效度大于标准值0.45的有10个，占药品总数的83.33%，优于BP（7）、RBF（9）、GRNN（5）方法；12种药品的预测有效度平均值为0.58，优于BP（0.46）、RBF（0.56）、GRNN（0.49）方法。

通过上述实证结果，从整体上看，组合预测方法的预测精度优于单项预测方法，而且模型的适用范围较广。

3.3 预测模型的稳定性比较

本文选择预测误差的方差作为评价模型稳定性的指标。将单项预测方法BP、RBF、GRNN与组合预测方法的误差方差进行比较，单一省市和全区域的比较结果如表5所示。

可以看出，运用组合预测方法对单一省市的14种药品进行需求预测时，误差方差小于标准值0.1的有12种，占药品总数的85.71%，优于BP（10）、RBF（11）、GRNN（10）方法；此外，14种药品误差方差平均值为0.0263，优于BP（0.0613）、RBF（0.0361）、GRNN（0.0522）方法。运用组合预测方法对全区域销售的12种药品进行需求预测时，误差方差小于标准值0.1的有11个，占总数的91.67%，优于BP（9）、RBF（10）、GRNN（8）方法，此外，14种药品的误差方差平均值为0.031 0，优于BP（0.092 7）、RBF（0.033 5）、GRNN（0.065 0）方法。因此从整体上看，组合预测方法的预测稳定性优于单项预测方法。

4 总结及展望

本文选择3种具有不同适应特征的神经网络模型作为单项预测方法，建立了基于神经网络的药品需求组合预测模型，以上海市某药企的实际销售数据作为实证对象，验证了该模型在预测精度和预测稳定性上均优于单项预测方法。当然，虽然建立的神经网络组合模型在一定程度上弥补了现有方法的不足，扩大了预测方法的适用范围，但在研究过程中依然存在亟待解决的问题：

（1）单项预测方法的参数优化有待进一步研究。本文在参数优化时，大部分采用遍历法和经验法进行设置，缺乏相应理论依据和方法指导。如何采用合适参数寻优方法进行参数确定是下一步亟待解决的问题。

（2）进行组合预测时，选择合适的最优准则有待于进一步研究。本文选取相对误差作为最优准则进行需求预测，该准则的选取忽视了量纲统一性，未来的研究应该综合考虑量纲统一、预测误差和预测稳定性，使组合预测方法更科学、更合理。

主要参考文献

[1]J M Bates，C W J Granger.The Combination of Forecasts[J]. Operations Research Quarterly，1969，20（4）：451-468.

[2]吴正佳，王文，周进.BP神经网络在备货型企业销售预测中的应用[J].工业工程，2010（1）：105-108.

[3]童明荣，薛恒新，刘路冰.基于季节性RBF神经网络的月度市场需求预测研究[J].运筹与管理，2007（3），146-150.

[4]Maria Cleofé，R Valverde.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J].Journal of Hydrology，2005，1（20）：146-162.

[5]A A Khan，K E Marion，C Bil. The Prediction of Ship Motions and Attitudes Using Artificial Neural Networks[C].19th National Conference of the Australian Society for Operations Research， Melbourne， Victoria， 2007.

[6]D C Park，El-Sharkawi.Electric Load Forecasting Using an Artificial Neural Network[J].IEEE Transaction on Power Systems， 1991， 6（2）：442-449.

[7]Maria Cleofé， Valverde Ramírez.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J]. Journal of Hydrology ， 2005， 301（20）：146-162.

[8]马新强，黄羿.基于BP神经网络的药品销售预测模型设计[J].重庆文理学院学报，2008（2）：64-66.

神经网络回归问题范文第3篇

关键词:农村电力;BP算法;人工神经网络;回归分析

中图分类号:TM855文献标识码:A

文章编号:1009-2374 (2010)22-0138-03

0引言

农村用电具有很大的不确定性,农村电力短期负荷预测研究对农村电力系统的安全及农业安全生产有十分重要的意义。基于短期负荷预测研究理论和方法已做了大量预测研究,提出了很多方法,大致可以分为两类:一类是以时间序列法为代表的传统方法,如时间序列法等,这些方法算法简单,速度快,应用广泛,但由于其本质上都是线性模型方法,因此存在着很多缺点和局限性,无法真实地反映农村电力系统不同负荷模型的非线性特性;另一类是以人工神经网络为代表的新型人工智能方法,神经网络具有并行分布信息和自学习及任意逼近连续函数的能力,能够捕获农村电力短期负荷的各种变化趋势。BP网络需要大量历史数据进行训练,且学习及处理不确定性和人工信息的能力较差。人工逻辑系统适用于处理不确定性、不精确性及噪声引起的问题。实践证明,将BP算法和神经网络融合的人工神经网络能发挥各自的优势,克服各自的不足是一种有效的方法。

1农村电力短期负荷预测研究算法

基于负荷预测方法主要有回归分析法、时间序列法、指数平滑法、灰色模型法、专家系统法、人工神经网络法、小波分析预测技术和数据挖掘理论等。

1.1回归分析法

回归分析法是研究变量与变量之间的一种数学方法。在回归分析中,自变量是随机变量,因变量是非随机变量,由给定的多组自变量和因变量资料,研究各自变量和因变量之间的关系,形成回归方程,求解回归方程后,给定各自变量数值,即可求出因变量值。回归分析法根据历史数据和一些影响负荷变化的因素变量来推断将来时刻的负荷值。回归分析法的特点是:原理、结构简单,预测速度快,外推特性好,对于历史上未出现过的情况有较好的预测值。

1.2灰色模型法

灰色系统理论将一切随机变化量看作是在一定范围内变化的灰色量。常用累加生成(AGO)和累减生成(IAGO)的方法将杂乱无章的原始数据整理成规律性较强的生成数据列。用灰色模型(GM)的微分方程作为农村电力系统单一指标(如负荷)的预测时,求解微分方程的时间响应函数表达式即为所求的灰色预测模型,对模型的精度和可信度进行校验并修正后即可据此模型预测未来的负荷。

1.3专家系统法

专家系统是依据专门从事短期负荷预测的技术人员提供的经验,总结出一系列的规则,并建立相应的历史负荷和天气的数据库,利用if-then规则对待预测日的负荷进行估计。由于专家系统将天气条件作为一个重要因素引入预测模型,因而预测的结果更为令人满意。专家系统预测的优点在于较好的解决了天气等因素对负荷的影响,有力的克服了时间序列法不能处理数据序列中出现大扰动的情况。但是这种方法过分依赖规则,如果没有一系列成熟的规则负荷预测就无法进行,而规则本身不具有普遍适应性,预测模型不能推广到所有的系统,这正是专家系统存在的弱点。

1.4人工神经网络法

人工神经网络方法是90年代以来发展起来的新方法,用人工神经网络进行负荷预测是农村电力系统负荷预测的一个新发展方向。人工神经网络法利用人工神经网络(ANN),选取过去一段时间的负荷作为训练样本,然后构造适宜的网络结构,用某种训练算法对网络进行训练,使其满足精度要求之后,用ANN作负荷预测。一般而言,ANN应用于短期负荷预测要比应用于中长期负荷预测更为适宜,因为短期负荷变化可以认为是一个平稳随机过程,而长期负荷预测与国家或地区的政治、经济政策等因素密切相关,通常会有些大的波动,而并非是一个平稳随机过程。目前用人工神经网络进行负荷预测还存在一些问题,比如模型结构的确定,输入变量的选取,人工神经网络的学习时间较长等问题。但它仍具有许多其他方法所不能比拟的优点,例如:良好的函数逼近能力,通过对样本的学习,能够很好的反映对象的输入/输出之间复杂的非线性关系。因此人工神经网络受到许多学者的高度评价。

1.5小波分析预测技术

小波分析是Fourie分析深入发展过程中的一个新的里程碑,是本世纪数学研究成果中最杰出的代表,已成为众多学科共同关注的热点。一方面,小波分析发扬了Foufie分析的优点,克服了Fourie分析的某些缺点;另一方面,小波分析现在已经被广泛应用于信号处理、图像处理、量子场论、语言识别与合成、地震预报、机器视觉、机械故障诊断与监控、数字通信与传输等众多领域。原则上讲,凡是传统方法中采用Fourier分析的地方,基本上都可以用小波分析来取代,而且其应用结果会得到深化和发展,因此小波分析作为一种多方面运用的数学工具,具有巨大的潜力和广泛的应用前景。

农村电力系统中曰负荷曲线具有特殊的周期性,负荷以天、周、年为周期发生波动,大周期中嵌套小周期。而小波分析是一种时域或频域分析方法,它在时域和频域上同时具有良好的局部化性质,并且能根据信号频率高低自动调节采样的疏密,容易捕捉和分析微弱信号以及信号、图像精细的采样步长,从而可以聚焦到信号的任意细节,尤其是对奇异信号很敏感,能很好的处理微弱或突变的信号,其目标是将一个信号的信息转化成小波系数,可以方便的处理、存储、传递、分析或被用于重建原始信号,这些优点决定了小波分析可以有效地应用于负荷预测问题的研究。

1.6模糊预测法(FUZZY)

FUZZY预测,是近几年来在农村电力系统负荷预测中不断出现的一种预测方法,将FUZZY方法引入的原因是,农村电力系统中存在着大量的模糊信息,如负荷预测中的关键因素气象状况的评判、负荷的日期类型的划分等信息,都是模糊的。常规方法就是采用统计和经验相结合的方法予以处理,这给负荷预测引入了不科学因素,并且与自动化要求相矛盾,而FUZZY方法正是破解这些模糊信息的钥匙。从实际应用来看,单纯的FUZZY方法对于负荷预测的精度往往是不尽人意的,主要因为FUZZY预测没有学习能力,这一点对于不断变化的农村电力系统而言,是极为不利的。

2农村电力短期负荷预测研究与实现

2.1人工神经网络原理

人工神经网络是一种“采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。”人工神经网络是最近发展起来的十分热门的交叉学科,它涉及生物、电子、计算机、数学和物理学科,有着非常广泛的应用背景,这门学科的发展对日前和末来的科学技术的发展有重要的影响。二维的简单人工神经网络按网络拓扑结构可分为两类:前馈型网络和反馈型网络。反馈型网络模型是一种反馈动力学系统,它具有极复杂的动力学特性。反馈神经网络模型可以用完备的无向图表示,代表性的模型包括;Hopfield网络模型和Hamming网络模型。反馈神经网络模型有很强的计算能力。前馈神经网络模型是指那些在网络中各处理单元之间的连接都是单向的,而且总是指向网络输出方向的网络模型。

2.2BP人工神经网络算法

基于BP网络学习规则的指导思想:对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。

xk+1=xk-akgk (1)

其中xk是当前的权值和阈值矩阵,gk是当前表现函数的梯度,ak是学习速度。假设三层BP网络,输入节点,隐层节点,输出节点。输入节点与隐层节点间的网络权值为,隐层节点与输出节点间的网络权值为。当输出节点的期望值为时,模型的计算公式如下:

隐层节点的输出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

输出节点的计算输出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

输出节点的误差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3误差函数对输出节点求导

=・=・ (7)

E是多个zk的函数。但有一个zk与vlj有关,各zk间相互独立,其中:

=[-2(tk-zk)・]=-(tl-zl) (8)

=・=f '(netl)・yj (9)

则=-(tl-zl)・f '(netl)・yj (10)

设输入节点误差为δl=(tl-zl)・f '(netl) (11)

则=-δl・yj (12)

2.4误差函数对隐层节点求导

=・・ (13)

E是多个zl的函数,针对某一个wji,对应一个yj,它与所有zl有关,其中:

=[-2(tk-zk)・]=-(tl-zl) (14)

=・=f '(netl)・(-1)=f '(netl)・vlj (15)

=・=f '(netl)・xi (16)

则=-(tl-zl)・f '(netl)・vlj・f '(netj)・xi=δlvlj・f '(netj)・xi(17)

设隐层节点误差为δj'=f '(netj)・δlvlj (18)

则:=-δj'xi (19)

由于权值的修正Δvlj,Δwji正比于误差函数沿梯度下降,则有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)・f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)・δlvlj (25)

其中隐层节点误差δj′中的δlvlj表示输出节点的zl的误差δl通过权值vlj向节点yj反向传播成为隐层节点的误差。

2.5 阈值θ也是变化值,在修正权值的同时也需要修正,原理同权值修正一样误差函数对输出节点阈值求导

=・ (26)

其中=-(tl-zl) (27)

=・=f '(netl)・(-1)=-f '(netl) (28)

则=(tl-zl)・f '(netl)=δl (29)

阈值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

误差函数对隐层节点阈值求导=・・(32)

其中=-(tl-zl) (33)

=f '(netl)・vlj (34)

=・=f '(netj)・(-1)=-f '(netj) (35)

则=(tl-zl)・f '(netl)・vlj・f '(netj)=δlvlj・f '(netj)=δj' (36)

阈值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6传递函数f(x)的导数S型函数

f (x)=,则f ' (x)=f (x)・(1-f (x)) (39)

f ' (netk)=f (netk)・(1-f (netk)) (40)

对输出节点zl=f (netj) (41)

f ' (netj)=zl・(1-zl) (42)

对输出节点yj= f (netj) (43)

f ' (netj)=yj・(1-yj) (44)

3结语

基于一种新的基于人工神经网络在农村电力短期负荷预测研究。针对BP算法中存在的收敛速度慢、易陷入局部最小值的问题,可采用附加动量法和自适应学习速率法在一定程度上解决这些问题。附加动量法是在BP算法的基础上,在每个权值变化上加上一项正比于上一次权值变化量的值,并根据BP算法来产生新的权值变化,利用附加动量法可能会避开某些局部最小值。自适应学习速率法是在学习过程中不断修正学习速率,有利于提高学习效率,缩短学习时间。

参考文献

[1] 刘光中,颜科琦.组合神经网络模型对电力需求的预测[J].数量经济技术经济研究,2003,(1)

神经网络回归问题范文第4篇

关键词：RBF神经网络 内轮差 MATLAB

中图分类号：TP183 文献标识码：A 文章编号：1672-3791（2014）09（a）-0033-01

车辆转弯时，前内轮转弯半径，与后内轮转弯半径之差，就叫内轮差。如果从高处垂直观察车辆转弯时的状态，就会发现，转弯车辆是以内侧后轮为支点进行移动的，前后车轮划过的区域其实是不同的。内轮差被很多人忽略，在马路上电动车驾驶人或行人遇到转弯的大货车时，紧贴转弯车辆停车，这样会造成危险。为了防范内轮差事故并给予行人以警示，用数学建模的方式分析车辆的内轮差，并根据结果给出一个可以避免内轮差事故发生的可行方法。

1 模型假设

针对以上问题，我们提出以下合理假设。

（1）不考虑前轮外倾、前轮前束、主销后倾、主销内倾对车辆转弯的影响。

（2）转弯时整个车辆没有变形，可看作刚体。

（3）转弯时车速保持相对稳定。

2 建立基于神经网络的不同因素对内轮差影响模型

2.1 神经网络模型分析

由于在实际问题中，影响内轮差的因素有很多，我们可以用内轮差几何模型推导内轮差的数据，通过回归分析，找到影响内轮差的因素，以及轮距、轴距、最小转弯半径对内轮差影响的大小程度。但回归分析总存在着一定的误差，不能很精确的反应不同因素对内轮差的影响，于是我们想到了用人工智能的方法―― 神经网络来拟合内轮差与不同影响因素之间的函数，精确程度会大大的提高。

2.2 建立神经网络模型

神经网络的学习算法如下。

步骤1：基于K-均值聚类方法求取基函数中心。

（1）网络初始化：随机选取个训练样本作为聚类中心（）。

（2）将输入的训练样本集合按最近邻规则分组：按照与中心为之间的欧式距离将分配到输入样本的各个聚类集合中。

3）重新调整聚类中心：计算各个聚类中心中训练样本的平均值，即新的聚类中心，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进行下一轮的中心求解。

步骤2：求解方差。

该RBF神经网络的基函数为高斯函数，方差可由下式求解：

式中，是所选中心之间的最大距离。

步骤3：计算隐含层和输出层之间的权值。

隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：

2.3 神经网络模型的求解

通过MATLAB编程实现了函数的拟合，得到了真实数据和RBF神经网络拟合得到的结果：

y =

0.9407 0.9015 0.8848 0.9211 0.8989 0.9623 1.0240 0.9646 0.9475 0.9807 1.7723 1.8217 1.9135 1.8793 1.8562

ty =

0.9407 0.9015 0.8848 0.9211 0.8989 0.9623 1.0240 0.9646 0.9475 0.9807 1.7723 1.8217 1.9135 1.8793 1.8562

2.4 神经网络模型的结果分析

通过得到的结果可以看出，RBF神经网络拟合曲线的精确度相当高，通过matlab编程做出真正函数图像、RBF神经网络图像、和误差图像（如图1）。图中三维坐标分别表示轮距、轴距和最小转弯半径，用颜色坐标表示内轮差。从误差图像上可以看出，图像的颜色值是相同的蓝色，从颜色坐标上可以读出值为0，即误差为0。说明神经网络的输出已经相当的逼近函数。

2.5 神经网络模型的应用

如果把神经网络模型用java编程，做成用户界面形式，形成一个系统。我们只需要输入轮距、轴距、最小转弯半径，系统通过神经网络自动得出结果显示车辆的内轮差，可以方便用户使用，而且准确率极高。

3 结论

由上述模型的求解过程不难看出，模型主要考虑的影响内轮差的因素有汽车的轴距、轮距和最小转弯半径。RBF神经网络拟合曲线的精确度相当高，在系统中输入轮距、轴距、最小转弯半径，即可得到输出的内轮差。

参考文献

[1] 《运筹学》教材编写组编.运筹学[M].3版.北京：清华大学出版社，2005.6.

[2] 数据来源于汽车之家[EB/OL].http：//.cn/.

[3] 薛定宇，陈阳泉.高等应用数学问题的MATLAB求解[M].北京：清华大学出版社，2008.

神经网络回归问题范文第5篇

关键词：网络安全；态势预测；灰度预测；神经网络

中图分类号：TP309.2 文献标识码：A 文章编号：1007-9416（2017）04-0217-01

1 大数据时代网络安全态势预测作用

网络态势感知（Cyberspace Situation Awareness，CSA） 是1999年Tim Bass首次提出的， 网络态势感知是在大规模网络环境中， 对能够引起网络态势发生变化的安全要素进行获取、 理解、 显示以及预测最近的发展趋势。网络威胁是动态的和具有不固定性的，因此网络安全防御需要采用动态预测措施，以便能够根据当前网络走势判断未来网络安全情况。网络安全态势预测是指可以通过观测数据的统计分析结果，预测网络安全态势未来的走势，为用户提供安全反馈结果，以便网络管理员做出正确的决策。目前，网络安全态势预测采用先进的预测分析技术，能够长期的统计网络中不确定信息，为态势发展提供科学规律，建立态势预测的长效机制，并且可以构建完善的网络安全态势预测趋势图，进一步提高安全态势预测的可用性。

2 大数据时代网络安全态势预测关键技术分析

目前，网络安全态势预测技术已经得到了广泛的研究，同时也诞生了许多的态势预测技术，关键技术包括自回归移动平均模型、灰色预测模型和神经网络预测模型。

2.1 自回归移动平均模型

自回归移动平均模型是一种非常常用的随机序列模型，自回归移动平均模型的建模过程分为序列检验、序列处理、模型识别、参数估计和模型检验等五个关键的步骤，其主要目的是为了能够识别序列中蕴含的自相关性或依赖关系，使用数学模型能够详细地刻画序列发展的延续性。自回归移动平均模型执行过程中，序列检验主要用来检测数据的随机性和平稳性；序列处理可以将序列进行平稳化处理，通常采用的方法包括周期差分法、差分运算法和函数变换方法；参数估计常用的方法包括极大似然估计、矩估计、最小二乘估计；模型检验可以检测参数是否属于白噪声序列，如果是则表示检验通过。自回归移动平均模型在应用过程中，其要求网络安全态势序列或者某一级差分需要满足平稳性假设，这个前提条件限制的非常苛刻，因此极大的限制了自回归移动平均模型使用范围。

2.2 灰色预测模型

网络安全态势预测过程中，为了能够弱化原始序列的随机性，通常会采取累减或累加等方法求解生成序列，如果处理的次数足够多，一般可以认为已经弱化为非随机序列，大多可以使用指数曲线进行逼近，这也正是灰色预测的核心思想。灰色预测模型可以有效地反应网络安全态势中的低频缓变趋势，但是这种预测方法无法很好地体现突发性较强的高频骤变趋势，难以应对网络安全态势预测过程中的具有周期性波动的网络态势，因此导致这种趋势的误差非常大。

2.3 神经网络预测模型

神经网络是一种有效的网络安全态势预测算法，其可以采用学习算法学习正常的网络数据行为，能够提取相关的正常行为特征，将其保存在网络中，以便能够进行识别不一样的行为。神经网络可以对训练数据进行自组织、自适应的学习，具有学习最具典型的攻击行为特征样本和区分正常数据的能力，以便能够得到正常的事件行为模式。训练之后，神经网络可以用来识别待检测的网络事件行为特征，能够鉴别行为特征的变化，检测判断出潜在的异常行为。神经网络在安全审计系统中的应用不足之处是样本数据很难获得，检测的精度也需要依赖于神经网络的训练次数，如果加入了新的攻击行为特征，需要重新训练网络，训练步骤较为复杂，耗费较长的时间。

3 结语

计算机网络技术日臻成熟，在很多领域、行业内得到了普及，促进了生产、生活的发展。但是因为网络具有开放性、互联性、自由性、国际性等特征，实际上也为不法分子提供了可乘之机。随着大数据时代的来临，网络安全面临更为严峻的挑战。大数据时代的网络安全问题，涉及到诸多方面的内容，并且问题比以往更为显著、复杂，只有不断加强对大数据、网络安全的了解，采取有效的防范措施，才能确保网络安全。网络安全态势预测可以使用统计分析技术、概率论推理技术、神经网络模式识别技术等根据当前网络运行状态预测未来网络发展趋势，能够及时的获取网络中潜在的安全威胁，构建主动网络安全防御系统，进一步提高网络安全防御能力。

参考文献

[1]向波.网络安全态势预测方法的应用研究[J].计算机光盘软件与应用，14，3：192-192.