前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇数学建模穷举法范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
关键字:汉字手写识别;英文手写识别;联机识别;连笔识别;手写识别
中图分类号:TP391 文献标识码:A DOI:10.3969/j.issn.1003-6970.2013.08.005
本文著录格式:[1]黄弋石,梁艳.手写识别建模数学方法研究[J].软件,2013,34(8):13-15
0 引言
我们成功的解决了汉字与英文手写识别的建模。[1-7]本文,将最有特色得到数学算法加以公布。在国内一定是首创,在国内外还没有查到类似报道。
识别算法,在常见的网格背景中运算。点阵大小为WIDTH×HEIGTH = 80×80。因为网格的精度很低,手写笔的触点精度与之对应,因此,不存在笔画细化的难题。所以我们不使用高分辨率的图形处理惯例,而只用低分辨率对应的数学算法。
网格背景使得汉字可以依照二值数字点阵来描述,其中,“1”表示笔画,“0”表示空白背景。这个方法极其巧妙,甚至不需要高深的数学才能与复杂的数学公式,就可以轻松的解决手写笔算法问题。从工作量上计算,也是极其少量的。
1 中英文字的基本定义
这里从我们对中英文手写识别研究中挑出,一组有代表性的基本定义,[1][2]来演示本文算法。我们的算法,只要能区分这一组定义,就可以理解,它也能适用于其它文字中的类似的基本定义。可以推理得到,它是有效的适合任何手写识别的基本算法,比如藏文等中国少数民族文字。
(1) 竖、横与斜。手写的竖与横,都有一定的摇摆幅度。斜介于竖横之间。
(2) 角与圆角。接近与V与U,在手写特征下的区别是有拐点与无拐点。
(3) 圈与近圈。也就是,封闭的圆与接近封闭的圆。这个定义在楷书中用不上,只适用行书、草书以及下文所提的连笔识别。
(4) 短划与点。与竖与横的区别是方向性不强,在方格中,通过边比特征可以区分。
(5) 交叉与连续。交叉,是指基本定义的笔画相交叉,分T型交叉,和X型交叉,也可简化为一种交叉。连续,是指,基本定义的笔画从起点到终点(或笔画的两端)是连续的且无分叉,可平滑,也可转折。
(6) 相对位置与方向。基本定义的字元之间的关系,有上、下、左、右、上左、上右、下左、下右。比如一个斜线可以分为,左斜、右斜、下斜、上斜、(左上斜、左下斜、右上斜、右下斜)。
2 算法的定义
使用穷举法,在九方格中列出一个点与周围点的二十七种拓扑逻辑关系,算法见图1到图7。然后使用这二十七种拓扑关系,去描述并识别上面的那组基本定义,就可以轻松识别手写汉字。
3 算法应用例举
我们从研究挑出楷书系列拆解分类,字就是由该组单位构成。如图8。[1][2]这样,可以来对算法做一演示。我们成功的用本文算法区分笔画。显然,用来区分笔画时使用的数学方法非常简单,没有任何复杂的公式。
4 算法的广泛使用性
我们,通过研究,归纳得到32到87个特异结构,来描述行书。这些特异结构都互为独立。[1][2]这里列出其中的部分笔画,见图9。我们利用本文算法,同样能够解决问题。草书的定义与分类类似于英文在线连笔识别的方法,也可以顺利解决。
5 结论
我们成功的解决了中英手写识别,可以预见,这一套理论可以轻易的移植到别的任何一个文字。本法绕开了传统数学中的线条的常规概念。使用最简单的拓扑几何学方法,系统化的建模应用,解决了复杂的二维计算机图形学的难题。这套建模方法的意义,是,对所有种类的手写文字可以机动灵活的移植,将复杂的手写识别,简化到使用最简单的数学语言描述。希望广大同仁,广泛应用于各种民族的手写文字识别之中。
参考文献
[1] 黄弋石,梁艳.英文手写联机识别的基础模型[J]. 软件,2012,33(7):141-145.
[2] 黄弋石,梁艳,陆峥嵘.汉字联机手写建模方法[J]. 软件,2013,34(5):67-70.
[3] 梁艳, 黄弋石. 英文连笔手写图形输入方法研究[J]. 科学研究月刊,2005,1(5):18,26.
[4] 黄弋石, 梁艳. 手写文字识别的体分类模糊数学模型[OL]. 中国科技论文在线(http://), 2005年6月.
[5] Huang Yishi, Liang Yan. A Modeling Project of Chinese's Handwriting Character Online Recognition [OL]. 中国科技论文在线(http://), 2013年7月.
关键词:运筹学;应急物流;选址―定位
中图分类号:F250 文献标识码:A
Abstract: Because the efficient of emergency logistics can reduce the harms caused by emergency, it has caused wide public concerns among theorists. This paper provides an overview of Chinese emergency logistics study from many aspects: basic theory, the construction of system and the related models on the base reviewing the liberations in recent years, also it indicated that the modeling sense in operation research plays a decisive role in the research of emergency logistics.
Key words: operation research; emergency logistics; location-routing
近年来,我国各地突发事件频发,其中自然灾害的发生的占比非常高,如2010年8月甘肃舟曲发生特大山洪泥石流、2014年7月云南发生洪涝泥石流灾害、2013年3月墨竹工卡县发生山体滑坡灾害、2013年7月甘肃岷县漳县发生6.6级地震灾害、2014年新疆于田发生7.3级地震灾害、2015年9月江西福建等地发生洪涝风雹灾害、2015年8月陕西山阳发生滑坡灾害等。这些自然灾害的发生严重威胁人类的生命和财产安全,以及社会的经济发展甚至会影响和谐社会的构建,在突发事件发生后,如何尽快地将赈灾物资送至灾区以减少灾害损失是应急物流问题研究的主要内容,即应急物流LRP问题的研究。应急救援部门必须以最小的成本、最快的时间、合理地选择物资存储点将存储物资科学地安排车辆对受灾点进行物资的配送服务以减少伤亡,提高受灾地区民众的抗灾信心。
当前国内外学者对一般LRP问题的研究比较具体深入,比如Min等[1](1998)、Nagy等[2](2007)、陈久梅等[3](2014)都做过一般LRP问题的优化研究,当前应急物流的优化问题已经引起了众多学者的关注,但是对于应急物流的LRP研究(定位―路径)还相对较少。现有文献主要有两种研究范式:一种是单独研究其中一个问题,即单独研究应急物流中心选址问题或单独研究应急资源调度问题;另外一种是将这两个问题集成起来进行研究。然而应急物流中物流中心点的选择和运输路径安排是直接影响应急物流系统效率的两个关键问题,两者之间相互依赖和影响,有必要结合应急物流的突发性、不确定性、紧急性等特点,从整体系统优化的角度,将这两方面结合起来进行研究,故近年来,大部分对于应急物流问题的研究均是对选址―配送这两个问题集成起来进行研究。根据现有的研究,应急物流LRP问题基本可以按照信息是否确定分为以下两类:确定信息下的应急救援问题研究和不确定信息下的应急救援问题研究。
1 确定信息下的应急物流LRP研究
确定性的应急物流LRP问题,通常考虑的问题中信息基本都是确定的,即不存在任何风险因素,并且受灾点的需求是确定的。针对确定性的应急物流LRP问题的研究,张玲[4](2008)考虑到由于灾区范围比较广泛进而灾区存在不同的级别,针对该实际情况,通过对灾区进行分组,并运用场景分析的发放,考虑其资源的布局和选址问题,引入多类0-1变量来表述该优化问题,构建了基于多级别的资源布局多目标规划模型。黄向荣等[5](2009)在考虑食品物流的相关特点和突发事件的突发性、紧急性以及弱经济性等特性的基础上,构建了食品的应急物资分发中心选址决策的评价体系,并且结合蚁群算法(ACA)和径向基神经网络(RBFNN)构建了应急物流物资分发点选址决策模型。曾敏刚等[6](2009)针对应急服务应急物资分发点定位以及物资配送路径这两个子问题,引入多个0-1决策变量去表述该优化问题,建立了以最小化总成本为目标的选址―定位模型。葛春景等[7](2011)研究了应急设施选址中的多重覆盖问题,并以在满足需求点的多次覆盖需求和多需求点同时需求的条件下覆盖的人口期望最大为目标,建立了确定性的应急物流优化模型,通过改进的遗传算法对该模型进行求解。郑斌、马祖军等[8](2013)针对两级应急物流系统中的中转站选址和上下级进行联运调度的集成优化问题,建立双层规划模型,并根据该模型的特点设计了一种混合遗传算法。
通过以上文献梳理可知,在运用运筹学建立应急物流LRP模型过程中,通常引入0-1决策变量去解决应急物资分发点选址问题和车辆物资配送问题,引入三类决策变量,第一类0-1决策变量是表示应急物资分发点是否开设,通常1表示该应急物资分发点开设,0则表示不开设,当该决策变量为1时,才分配运输车辆从该应急物资分发点出发进行物资配送服务,并且从同一个应急点出发车辆的物资运输量需小于应急点的物资存储量;第二类0-1决策变量是用来表示某运输车辆服务哪个受灾点的问题,1表示运输车辆服务该受灾点,0则表示运输车辆不服务该受灾点;第三类决策变量则表示某运输车辆是否从该应急物资分发点出发,1表示这运输车辆从该应急物资分发点出发,0则表示这个运输车辆不从该应急物资分发点出发。这三类0-1变量的引入合理地表述了应急物流系统的优化问题,目标函数通常为应急物流系统总成本最小以及运输车辆到达所有受灾点的总时间最小,建立的模型均为0-1线性规划模型。运筹学中0-1规划主要用于求解互斥的计划问题、约束条件互斥问题、固定费用问题和分派问题等方面,而应急物流的优化问题从运筹学的角度就是一种分派问题,因此运筹学能够在应急物流优化问题中大放光彩。目前,0-1应急物流规划问题通常有三种解法,即穷举法、变换法和隐枚举法。解0-1型整数规划最容易想到的方法,和一般整数线性规划的情形一样,就是穷举法,即检查变量取值为0或1的每一种决策组合,比较目标函数值的大小,从而选出目标值最小的那一组决策组合就是应急物流优化问题的最优解。然而由于应急物流优化问题中涉及的变量较多,所有决策组合就非常多,可能解集将成指数剧增加,此时用这种方法效率就比较低下,因此通常运用隐枚举法进行求解,“隐”的含义是指在检验可能解的可行性和非劣性过程中,根据目标函数的特性增加一个以前一非劣解目标值的附加约束的过滤条件,以此达到减少问题求解过程的运算次数的目的。方法的核心思想均为检查变量取值为0或1的策略组合,通过目标函数值比较从而得出最优解。
2 不确定信息下的应急物流LRP研究
针对不确定性的应急物流LRP研究,通常考虑的问题中信息基本都是不确定的,并且在救灾期间存在一定的风险,比如应急设施点失灵风险、路径中断风险、路径复杂度等,同时往往受灾点的需求是不确定的。
何珊珊等[9](2013)针对在突发事件发生的紧急救援期,受灾点的需求很难确定,基于此建立了受灾点配送总时间最短和系统总成本最小的选址―路径问题的数学模型,并通过算例验证了多目标鲁棒优化模型能够体现受灾点对各类物资需求不确定条件下选址―配送方案的最优性与鲁棒性的均衡。孙华丽等[10](2013)针对需求随机变化的应急物流定位―路径问题,将救援过程划分为两个阶段,将受灾点的物资需求表示为一个区间数,以物资送达时间最短和系统总成本最小为目标,构建了多物资、多运输车辆、多目标的定位―路径模型。张玲等[11](2014)也将救灾过程分为了两个阶段,考虑到突发灾害初期灾情相关参数概率分布信息很难精确获得,建立了基于情景的最小最大后悔值准则的鲁棒优化模型,求解模型时,利用有限情景集表示第二阶段的不确定数据,并将模型化为与其等价的混合整数模型,利用情景松弛的迭代算法进行求解。商丽媛等[12](2013)考虑不同情景下应急物流需求的不确定性,将不确定需求用区间灰数表示,构建了多情景下不确定需求的应急物流配送中心选址模型,并设计了免疫量子粒子群算法进行求解。针对由于自然灾害带来的路网风险的应急物流LRP问题,阎俊爱、郭艺源[13](2016)考虑到路网情况实时变化的复杂性下,构建了应急物流LRP动态模型,以车辆配送时间最小为目标,并通过设计的遗传算法实现了基于动态路网实时调整的问题求解。陈钢铁、黎青松等[14](2016)考虑到路网存在灾后受损的风险,故引入多种运输方式,基于此构建了震后多式联运的应急物资配送路径优化模型,并设计了启发式算法对该应急物流模型进行了求解。
以上不确定信息下的应急物流LRP优化问题研究中,均运用了运筹学不确定规划的思想建立了应急物流LRP模型,在应急物资分发点选址问题以及路径配送与否方面,同样引入三类0-1决策变量来表示应急物资分发点建立与否,车辆是否从某个应急物资分发点出发以及车辆是否服务某个受灾点。除此以外,引入两类整数决策变量,一类为运输车辆配送至某个受灾点的物资量,一类为某个受灾点的物资未满足量,在约束中,这两个量的和大于该受灾点的物资需求量,同时针对未满足量尽量最小化的目标,将在目标函数中赋予未满足量一个很大的惩罚数。在模型求解中,运用了随机规划的思想去处理一些风险因素,在处理受灾点物资需求的不确定方面,则运用三角模糊数的理论或鲁棒优化的思想去处理不确定性,在模型求解过程中,最终均通过一定的方法把不确定模型转化为确定的混合整数模型去进行求解。
运筹学的核心思想即为从现实生活场合抽出本质的要素来构造数学模型,探索求解的结构,从可行方案中寻求系统的最优解作为决策者最好的选择。通过以上文献的梳理,可以看出运筹学在应急物流系统定位―路径优化问题中已经成为核心工具之一,而应急物流系统定位―路径优化问题作为当前的热点问题之一,它的研究仍然处于初步阶段,许多领域还缺乏系统性和深入性的研究,需要进一步加强研究。
参考文献:
[1] Min H, Jayaraman V, Srivastava R. Combined location-routing problems: a synthesis and future research directions[J]. European Journal of Operational Research, 1998,
108(1):1-15.
[2] Nagy G, Salhi S. Location-routing: issues, models and methods[J]. European Journal of Operational Research, 2007,177(2):649-672.
[3] 陈久梅,邱晗光. 两级定位―路径问题模型及变邻域粒子群算法[J]. 运筹与管理,2014(6):38-44.
[4] 张玲,黄钧,朱建明. 应对大规模突发事件的资源布局模型与算法[J]. 系统工程,2008,26(9):26-31.
[5] 黄向荣,谢如鹤. 基于蚁群算法与RBF神经网络模型的突发应急配送决策[J]. 决策参考,2009(15):56-58.
[6] 曾敏刚,崔增收,余高辉. 基于应急物流的减灾系统LRP研究[J]. 中国管理科学,2010,18(2):75-80.
[7] 葛春景,王霞,关贤军. 重大突发事件应急设施多重覆盖选址模型及算法[J]. 运筹与管理,2011,20(5):50-56.
[8] 郑斌,马祖军,李双琳. 基于双层规划的应急物流系统选址―联运问题[J]. 系统科学与数学,2013,33(9):1046
-1060.
[9] 何珊珊,朱文海,任晴晴. 不确定需求下应急物流系统多目标鲁棒优化模型[J]. 辽宁工程技术大学学报,2013,32(7):998-1003.
[10] 孙华丽,周战杰,薛耀锋. 考虑路径风险的不确定需求应急物流定位―路径问题[J]. 上海交通大学学报,2013(6):962-966.
[11] 张玲,陈涛,黄钧. 基于最小最大后悔值的应急救灾网络构建鲁棒优化模型与算法[J]. 中国管理科学,2014(7):131-139.
[12] 商丽媛,谭清美. 不确定应急物流中心选址模型及算法研究[J]. 计算机应用研究,2013,30(12):3603-3605.
【关键词】故障预测 准确度 智能预测算法 支持向量机
1 引言
故障预测是比故障诊断更高级的维修保障形式,它以当前设备为起点,对设备将来可能出现的故障状态或故障时间进行预测并预先消除故障,这对于减少工作量和维护费用具有重要的意义。而如何提高故障预测准确度就成为故障预测技术向前发展的关键问题。
提高故障预测准确的方法有很多,从故障预测整个流程来说,就可以从数据的准确度、数据的预处理、故障特征提取方法的改进以及智能预测算法的选择这四个方面来进行提高。这四个方面中,预测方法的优劣对故障预测效果的提升具有重要的作用。因此,本文主要从智能预测算法方面进行分析和研究,介绍了一些常见的智能预测算法及其应用情况,并重点介绍了比较有前景的支持向量机算法的一些基本问题和改进的方向。
2 常见的智能预测算法及其应用
2.1 专家系统及其应用
专家系统主要用于那些没有精确数学模型或很难建立数学模型的复杂系统,特别在菲线性领域被认为是一种很有前景的方法。李茂林、张晶等在充分分析某自行火炮的电气系统的失效模式与故障机理的基础上,开发了电气系统故障综合诊断专家系统,提高了保障人员解决复杂电气系统问题的能力。但专家系统的开发需要大量原始积累,其标准没有一个统一的规范,这可能导致在综合各个专家知识时存在偏差和失误。专家系统的应用较早,在近几年这方面的成果不多。
2.2 神经网络及其应用
神经网络主要以两种方式实现预测功能:一是以神经网络作为函数逼近器,对设备工况及其参数进行拟合预测;二是考虑输入输出间的动态关系,用带馈连接的动态神经网络对国产或工况参数建立动态模型进行故障预测。神经网络具有较强的非线性映射能力,能逼近任意非线性函数。在故障预测方面得到了广泛的应用,利用递归神经网络对半导体蚀刻设备进行了故障预测,预测结果的准确度达到了90%。利用RBF的非线性建模能力,在某鱼雷保障设备的关键点建立网络预测模型,得到了较好的预测效果。但神经网络同样也有一些缺点,如网络结构大多需要靠经验确定;容易出现过学习和易限于局部最小点;训练样本需求量大等。
2.3 支持向量机及其应用
支持向量机(SVM)是根据统计学理论提出的一种机器学习算法。它具有强小样本学习能力和强泛化能力,可以很好的克服局部极小点、维数灾难等过学习问题。现在的设备越来越复杂,导致样本的获取变得更加困难,和神经网络相比,支持向量机的小样本学习能力就显得更加突出。由于支持向量机具有上述的优点,其相应的算法和改进的算法得到了广泛的应用。田干等将支持向量机和最小二乘支持向量机都运用到液体火箭发动机参数预测问题,预测精度都很高,通过对比两种方法的预测结果,发现前者的预测结果好于后者,但后者的训练时间远远小于前者。利用支持向量回归机分为两个步骤对轴承的剩余寿命(URL)进行预测,预测结果和轴承的实际剩余寿命基本一致,具有很好的预测效果。
3 支持向量机预测算法基本问题及改进方向
3.1 支持向量机预测的主要问题
支持向量机在使用的过程中主要,对其性能有重要影响的参数包括惩罚参数C,核函数及核参数的选取。C用于控制模型复杂度和逼近误差的折中,C越大则对数据的拟合程度越高,学习机器的复杂度就越高,容易出现“过学习”的现象。而C取值过小,则对经验误差的惩罚小,学习机器的复杂度低,就会出现“欠学习”的现象。当C的取值大到一定程度时,SVM模型的复杂度将超过空间复杂度的最大范围,那么当C继续增大时将几乎不在对SVM的性能产生影响。针对上面支持向量机预测的主要问题,很多学者也进行了深入细致的研究,很多模型参数选取的方法被提出,并应用到实例中,并且都提高了预测的准确度。主要有穷举法、交叉验证法、梯度下降法、网格搜索法、遗传算法优化、粒子群算法优化(PSO)。上述方法中,穷举法、交叉验证法因其操作简单被广泛应用,但是对于参数较多的情况来说,它们都有着计算量大,速度慢,效果不好等缺点。梯度下降法比前两种方法在速度上有了很大改善,对其初始点要求较高,而且是一种线性搜索法,因此极易陷入局部最优。网格算法的优点在于可以并行处理,而其缺点为计算量巨大。遗传算法具有鲁棒性强不容易陷入局部最优,但是其操作比较复杂。粒子群算法则存在易于陷入局部最优导致的收敛精度低和不易收敛等缺点。
3.2 支持向量机预测方法的改进
前面也提到了支持向量机预测精度提高面临的主要问题,针对这些问题本身,可以得到其改进的一些方向。主要可以分为四个方面:一是对现有模型参数选择方法的改进;二是针对现有模型参数选择方法的缺点,将其进行组合;是针对具体问题建立新的核函数或者将现有的核函数进行组合;三四是制定一套通用性比较好的标准化的模型参数确定方法。
现有模型参数的选择方法中,都有相应的缺点,克服其缺点,提出相应的改进方法。这对于提高模型的预测准确度定会有所帮助。由于参数的选择范围较大,在多个参数中进行盲目搜索最优参数的时间代价较大,且很难得到最优参数。为此,田海雷等提出一种基于改进人工鱼群算法(AFSA)的支持向量机(SVM)预测算法。对AFSA进行改进,并使用改进算法优化 SVM。实验结果表明,与遗传算法、粒子群优化算法和基本 AFSA 优化的支持向量机相比,预测精度得到了很大的提高;李文元等将粒子群算法和最小二乘支持向量机算法相结合,采用PSO算法优化LS-SVM的参数,克服了人为参数选择的盲目性,在全局优化与收敛速度方面具有较大优势。经PSO算法优化后的LS-SVM应用到通信设备的故障预测中,预测精度和运算速度都得到了提高,具有较好的有效性和可行性。
组合模型参数选择方法,充分发挥每种方法的优点,克服其不足。这对提高模型的预测准确度肯定也会有很大的提高。如AFS-ABC算法,用于组合优化LS-SVM的参数。该算法将鱼群算法AFS简化模型中人工鱼的寻优更新方法引入到蜂群算法中,以互补优势、互克不足,以某航空电子系统电源模块的故障预测为例验证了AFS-ABC算法较好地改善了LS-SVM的预测精度。
针对不同问题,选择不同的核函数对于预测结果肯定会有所不同,可以根据实际的需求,建立新的满足核函数要求的核函数。通过查阅数据库,组合核函数或建立新的核函数进行设备故障预测的相关文献很少,但在故障诊断方面已经得到了相关的应用。从故障诊断到故障预测是一个连续的过程,在故障诊断方面的应用也预示着在故障预测方面也会有所突破。
4 结束语
本文主要介绍了几种常见的智能预测算法及其应用情况,重点介绍了支持向量机预测算法的一些基本问题,针对其预测算法的基本问题,提出了一些改进的方向。支持向量机作为智能预测算法中的一种,具有明显的优势,因此,对其理论上进行分析,应用上加以拓展,这对于提高设备的预测准确度具有重要的作用。总的来说,在提高预测准确度方面,支持向量机是一种比较有前景的智能预测算法。
参考文献
[1]Liu C S,Hu S S,Intelligent Nonlinear Fault Diagnosis based on State Estimator[J].Control and Decision,2005,20(05):557-561.
能力是指主体能胜任某项任务的主观条件。在数学学习中,学生的数学能力与他们的知识基础和心理特征有关。技能是指依据一定的规则和程序去完成专门任务(解决特定的问题)的能力。显然,技能和能力都与知识密不可分;但学生在任务(问题)面前如何对知识和运用这些知识的途径进行选择,使得完成任务(解决问题)达到多快好省,则是一项超越知识本身的心理活动。因此,把知识、技能和能力三者并列起来是合理的;但也应看清楚,这三者的顺序是由低到高,在教育、教学的意义下是后者更重于前者。
一、历史的回顾
我国的中学数学教学大纲,对于数学思想和数学方法的重要性的认识也有一个从低到高的过程。
由国家教育委员会基础教育司编订、1996年5月第1版的《全日制普通高级中学数学教学大纲(供试验用)》,在第2页“教学目的”中也规定:“高中数学的基础知识是指:高中数学中的概念、性质、法则、公式、公理、定理以及由其内容反映出来的数学思想和方法。”在界定“思维能力”一词的四个主要层面时,指出第三层面是“会合乎逻辑地、准确地阐述自己的思想和观点”;第四层面是“能运用数学概念、思想和方法,辨明数学关系,形成良好的思维品质”。这份大纲维持了数学的“内容、思想、方法和语言已成为现代文化的重要组成部分”的提法(第1页);并指出数学规律“包括公理、性质、法则、公式、定理及其联系,数学思想、方法和语言”(第24页);坚持在对解题进行指导时,应该“对解题的思想方法作必要的概括”(第25页)。这是建国以来对数学思想和数学方法关注最多的一份中学数学教学大纲,充分体现了数学教育工作者对于数学课程发展的一些共识。
二、数学思想方法
(一)思想、科学思想和数学思想
思想是客观存在反映在人的意识中经过思维活动而产生的结果。它是从大量的思维活动中获得的产物,经过反复提炼和实践,如果一再被证明为正确,就可以反复被应用到新的思维活动中,并产生出新的结果。本文所指的思想,都是那些颠扑不破、屡试不爽的思维产物。因此,对于学习者来说,思想就成为他们进行思维活动的细胞和基础;思想和下面述及的方法都是他们的思维活动的载体。每门科学都逐渐形成了它自己的思想,而科学法则概括出各门科学共同遵循和运用的一些科学思想。
所谓数学思想,是指现实世界的空间形式和数量关系反映到人的意识之中,经过思维活动而产生的结果,它是对数学事实与数学理论的本质认识。首先,数学思想比一般说的数学概念具有更高的抽象和概括水平,后者比前者更具体、更丰富,而前者比后者更本质、更深刻。其次,数学思想、数学观点、数学方法三者密不可分:如果人们站在某个位置、从某个角度并运用数学去观察和思考问题,那么数学思想也就成了一种观点。而对于数学方法来说,思想是其相应的方法的精神实质和理论基础,方法则是实施有关思想的技术手段。中学数学中出现的数学观点(例如方程观点、函数观点、统计观点、向量观点、几何变换观点等)和各种数学方法,都体现着一定的数学思想。
数学思想是一类科学思想,但科学思想未必就单单是数学思想。例如,分类思想是各门科学都要运用的思想(比方语文分为文学、语言和写作,外语分为听、说、读、写和译,物理学分为力学、热学、声学、电学、光学和原子核物理学,化学分为无机化学和有机化学,生物学分为植物学、动物学和人类学等;中学生见到的最漂亮的分类应该是在学习哺乳纲动物时所出现的门(亚门)、纲(亚纲)、目(亚目)、属、科、种的分类表,它不是单由数学给予的。只有将分类思想应用于空间形式和数量关系时,才能成为数学思想。如果用一个词语“逻辑划分”作为标准,那么,当该逻辑划分与数理有关时(可称之为“数理逻辑划分”),可以说是运用数学思想;当该逻辑划分与数理无直接关系时(例如把社会中的各行各业分为工、农、兵、学、商等),不应该说是运用数学思想。同样地,当且仅当哲学思想(例如一分为二的思想、量质互变的思想和肯定否定的思想)在数学中予以大量运用并且被“数学化”了时,它们也可以称之为数学思想。
(二)数学思想中的基本数学思想
在数学思想中,有一类思想是体现或应该体现于基础数学中的具有奠基性和总结性的思维成果,这些思想可以称之为基本数学思想。基本数学思想含有传统数学思想的精华和近现代数学思想的基本特征,并且也是历史地形成和发展着的。
中学数学教科书中处处渗透着基本数学思想。如果能使它落实到学生学习和运用数学的思维活动上,它就能在发展学生的数学能力方面发挥出一种方法论的功能。
(三)思路、思绪和思考
我们在中学数学教育、教学中,还经常使用着“思路”和“思绪”这两个词语。一般说来,“思路”是指思维活动的线索,可视为以串联、并联或网络形状出现的思想和方法的载体,而“思绪”是指思想的头绪。“思路”和“思绪”实际上是同义词,并且它们都是名词。
那么,另一个词语“思考”又是什么意思呢?“思考”就是进行比较深刻、周到的思维活动。作为动词,它反映了主体把思想、方法、串联、并联或用网络组织起来以解决问题的思维过程。由此可见,“思考”所产生的有效途径就是“思路”或“思绪”;“思路”或“思绪”是“思考”的结果,是思想、方法的某种选择和组织,且明显带有程序性。对思路及其所含思想、方法的选择和组织的水平,反映了学习者能力的差异。
(四)方法和数学方法
所谓方法,是指人们为了达到某种目的而采取的手段、途径和行为方式中所包含的可操作的规则或模式。人们通过长期的实践,发现了许多运用数学思想的手段、门路或程序。同一手段、门路或程序被重复运用了多次,并且都达到了预期的目的,便成为数学方法。数学方法是以数学为工具进行科学研究的方法,即用数学语言表达事物的状态、关系和过程,经过推导、运算和分析,以形成解释、判断和预言的方法。
数学方法具有以下三个基本特征:一是高度的抽象性和概括性;二是精确性,即逻辑的严密性及结论的确定性;三是应用的普遍性和可操作性。
数学方法在科学技术研究中具有举足轻重的地位和作用:一是提供简洁精确的形式化语言,二是提供数量分析及计算的方法,三是提供逻辑推理的工具。现代科学技术特别是电脑的发展,与数学方法的地位和作用的强化正好是相辅相成。
宏观的数学方法包括:模型方法,变换方法,对称方法,无穷小方法,公理化方法,结构方法,实验方法。微观的且在中学数学中常用的基本数学方法大致可以分为以下三类:
(1)逻辑学中的方法。例如分析法(包括逆证法)、综合法、反证法、归纳法、穷举法(要求分类讨论)等。这些方法既要遵从逻辑学中的基本规律和法则,又因运用于数学之中而具有数学的特色。
(2)数学中的一般方法。例如建模法、消元法、降次法、代入法、图象法(也称坐标法。代数中常用图象法,解析几何中常用坐标法)、向量法、比较法(数学中主要是指比较大小,这与逻辑学中的多方位比较不同)、放缩法、同一法、数学归纳法(这与逻辑学中的不完全归纳法不同)等。这些方法极为重要,应用也很广泛。
(3)数学中的特殊方法。例如配方法、待定系数法、加减法、公式法、换元法(也称之为中间变量法)、拆项补项法(含有添加辅助元素实现化归的数学思想)、因式分解诸方法,以及平行移动法、翻折法等。这些方法在解决某些数学问题时起着重要作用,不可等闲视之。
(五)方法和招术
如上所述,方法是解决思想、行为等问题的门路和程序,是思想的产物,是包含或体现着思想的一套程序,它既可操作又可仿效。在选择并实施方法的前期过程中,反映了学习者的能力和技能的高低;而在后期过程中,只反映了学习者的技能的差异。
支持向量机(SVM)可以很好地用来解决分类问题,参数优化尤其重要。混合核函数的引入,使得SVM又多了一个可调参数。针对该参数用人工或经验的方法获取具有局限性,采用动量粒子群(MPSO)对SVM基本参数、混合可调核参数进行综合寻优,来寻找最佳参数组合。通过UCI数据仿真,对比结果表明:所提优化方法能够快速有效地提取最佳参数组合,所得SVM性能明显提高,分类效果更好。
ス丶词:
混合核;动量粒子群优化;参数优化;分类
ブ型挤掷嗪牛 TP181
文献标志码:A
英文标题
Parameter optimization of mixed kernel SVM based onmomentum particle swarm optimization
び⑽淖髡呙
WANG Jia, XU Weihong
び⑽牡刂(
School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha Hunan 410114, China
英文摘要
)
Abstract:
Support Vector Machine (SVM) can be used to solve classification problems, and it is very important to optimize its parameters. With the introduction of mixed kernels, SVM has one more adjustable parameter. Because it is hard to obtain the parameter by manual or experience, Momentum Particle Swarm Optimization (MPSO) was used to find the best combination of the basic parameters and mixed adjustable nuclear parameter of SVM. Finally, the simulations of UCI data show that the proposed algorithm provides an effective way to search the best parameters combination, and makes SVM have higher performance and better classification accuracy.
英文关键词
Key words:
mixed kernel; Momentum Particle Swarm Optimization (MPSO); parameter optimization; classification
0 引言
支持向量机[1](Support Vector Machine, SVM)在解决小样本、非线性及高维模式识别问题中表现出了许多特有的优势,因而得到极大重视。目前已广泛应用于模式识别、信号处理和生物发酵软测量等众多领域[2-5]。
支持向量机的核心在于核函数,核函数的构造对于支持向量机的性能起着至关重要的作用。混合核函数[6-7]是其中的一种构造方法,一般由一个局部性核函数和一个全局性核函数线性组合而成,权系数的确定对混合核函数性起关键作用。目前,关于混合核SVM参数优化的方法都是针对惩罚系数和核参数,而对于混合核函数中可调参数如何选取的文献却很少,一般均采用经验值,这无疑使得SVM的参数优化只能达到局部最优,而无法达到全局最优。
本文采用一种改进的粒子群算法,即动量粒子群(Momentum Particle Swarm Optimization, MPSO)算法对3个参数进行综合寻优,该算法不但保持了基本PSO算法的简单、易实现等优点,而且能有效提高算法的收敛速度,在寻优的过程中能在较少的进化代数内达到较好的寻优效果,并能部分避免算法的后期振荡,以取得最佳的参数组合,为混合核SVM参数优化提供了一种新方法。
1 SVM的理论基础[8]及参数分析
SVM就是通过核函数把低维的线性不可分问题映射到高维空间,从而转化为线性可分问题。图1假设是已经映射好的高维空间,空心的方格和圆圈各代表一类。
图片
图1 svm的高维映射
此时有一个新的样本需要添加,结果其映射到高维空间后成为图1中的实心方格,这样的点无疑给分类问题带来了一定的偏差,称这样的点为离群点,此时就要放低对一些点到分类平面的距离不满足最初的分类要求,最初的优化问题是:
Иmin12ω2オ
Иs.t. yi[(ωxi)+b]≥1
i=1,2,…,l;l是样本数オ
Аω2是目标函数,希望它越小越好。但由于离群点的出现,务必会使其变大,造成一定的损失。此时的优化问题就转化为:
Иmin12ω2+C∑li=1ζiИ
Иs.t.yi[(ωxi)+b]≥1-ζi
i=1,2,…,l;l是样本数オ
用Аli=1ζiЮ幢硎舅鹗В将其加入目标函数时,就需要一个惩罚因子CВ此参数就是SVM中提到的需要优化的参数。惩罚因子CЬ龆了重视离群点带来损失的程度。当Аli=1ζiб欢ㄊ保定的Cг酱螅对目标函数的损失也就越大,此时就暗示着对离群点重视的程度比较大,最极端的情况就是把CФㄎ无限大,这样只要稍有一个点离群,目标函数值就会变成无限大,使问题无解。因此在对参数组合进行寻优时,当有几组组合都可以取得相同的识别率时,一般会取Cе到闲〉哪亲椋可以有效避免SVM的过学习现象,即训练集分类准确率很高而测试集分类准确率很低(分类器的泛化能力降低)。
一般SVM默认核函数为RBF核,该核中核参数Е锚В9]是众多参考文献中SVM需要优化的另一个重要参数,它反应了支持向量之间的相关程度。Е锚太小,支持向量间的联系就比较松弛;Е锚太大,支持向量间的影响就会过强,模型精度难以满足要求。当Е锚Ш苄∈保惩罚因子CЭ梢韵嘤θ⌒∫坏悖以保证模型的推广能力。
┑2期
王佳等:基于动量粒子群的混合核SVM参数优化方法
┆扑慊应用 ┑31卷
2 MPSO优化混合核SVM参数
2.1 混合核函数
鉴于局部性核函数学习能力强、泛化性能弱,而全局性核函数泛化性能强、学习能力弱,为了得到学习能力与泛化能力都较强的核函数,将这两类核函数混合起来。RBF核函数是一个典型的局部性核函数,使用比较普遍,而多项式核函数是一个典型的全局性核函数,因此选择将二者线性组合,构造混合核函数[10]如式(1)所示。
K┆mix=λK┆poly+(1-λ)K┆rbf (1)
其中:λ∈(0,1)
K┆poly=[(x・xi)+1]q
K┆rbf=(-γx-xi2)オ
此混合核函数满足Mercer条件,核函数的混合使需要优化的SVM参数增一。实验得到的Е霜У闹狄话阍0.50~0.99,因此可以在此范围内对其寻优。
2.2 MPSO算法
PSO算法[11]采用的是速度―位置搜索模型,在每一次迭代中,粒子通过跟踪2个极值(全局极值gbestв敫鎏寮值pbestВ┖颓耙皇笨痰淖刺,来不断地更新自己当前在解空间中的位置,从而找到问题的最优解。其迭代公式如式(2)、(3)所示。
vi(k+1)=ω・vi(k)+c1・rand1(k)・(p┆ibest-xi(k))+c2・rand2(k)・(g┆best-xi(k))(2)オ
xi(k+1)=xi(k)+vi(k+1)В3)
其中:v(k),v(k+1),x(k),x(k+1)Х直鹗橇W拥鼻笆笨獭⑾乱皇笨痰乃俣燃八处位置;rand1(k),rand2(k)是介于0和1之间的随机数;c1,c2是学习因子,一般取为2;Е鬲是惯性权重。
但基本的PSO算法存在收敛缓慢、后期振荡等缺陷,因此在基本PSO的基础上,引入动量项[12],构造MPSO算法,从而有效提高算法的收敛速度,同时起到部分避免算法后期振荡的作用。其改进主要是在速度更新公式中的改进,令ИΔvi(k)=c1・rand1(k)・(p┆ibest-xi(k))+c2・rand2(k)・(g┆best-xi(k))В则更新后的速度公式如式(4)所示。
vi(k+1)=ω・vi(k)+Δvi(k)+αΔvi(k-1)В4)
此时粒子速度的修正量由两项组成,第一项是基本粒子群算法的速度修正量;第二项为动量项,其与微粒的历史修正量线性相关,Е联为动量因子常数,0≤|α|
2.3 基于MPSO优化混合核SVM算法流程
2.3.1 SVM性能指标的选取
交叉验证(Cross Validation,CV)是用来验证分类器性能的一种统计分析方法。常见的CV方法有HoldOutMethod、kfold Cross Validation(KCV)、LeaveOneOut Cross Validation。
鉴于HoldOutMethod只是将原始数据分为两组,最终验证集分类准确率太依赖于原始数据的分组,而LeaveOneOut Cross Validation计算成本太高,样本数量较多时,实际操作很困难。因此,本文采用KCV的方法,即将原始数据分为k组,将每个子集数据分别做一次验证集,其余的K-1组子集作为训练集,这样得到K个模型,用这K个模型最终的验证集的分类准确率的平均值作为此KCV下分类器的性能指标。
2.3.2 算法流程
MPSO的适应度函数为KCV下的分类准确率。
输入:粒子的维数,粒子的个数。
输出:最优的SVM参数(c,γ,λВ楹稀*
流程按如下步骤进行:
1)初始化MPSO中的各个参数,并确定SVM各个参数的解空间,如c1=1.5,c2=1.7,Е鬲=0.9等。
2)在解空间中随机初始化(c,γ,λВ┑奈恢茫在限定范围内随机初始化粒子的初始速度,并计算初始的适应度。
程序前
for i=1:pso_option.maxgen
程序后
3)程序前
for j=1:pso_option.sizepop
程序后
根据式(4)进行速度更新,式(3)进行种群更新:
4)程序前
cmd=[′-v′,num2str(pso_option.v),
′-c′,num2str(pop(j,1)),′-g′,num2str(pop(j,2)),′-a′,
num2str(pop(j,3)) ];
fitness(j) = svmtrain(train_label, train, cmd);
//计算适应度值
程序后
5)程序前
//更新每个粒子的新局部最优位置
if fitness(j) > local_fitness(j)
local_x(j,:) = pop(j,:);
local_fitness(j) = fitness(j);
end
程序后
6)
程序前
//更新群体最优位置:
if fitness(j) > global_fitness
global_x = pop(j,:);
global_fitness = fitness(j);
end
end
程序后
7)程序前
//确定最优解:
fit_gen(i) = global_fitness;
当使得取最优解的//参数组合不止一组时,选取C值最小的那组
程序后
8)程序前
//输出最优解组合(c,γ,λВ
end
程序后
此算法需要在faruto编写的Libsvmmat加强工具箱[13]的辅助下实现,由于此工具箱默认核函数为RBF类型,因此,在4)中使用的混合核函数需要在工具箱中按式(1)进行修改或添加,文中采用的是在RBF核的基础上进行修改,由return exp(-gamma*(x_square[i]+x_square[j]-2*dot(x[i],x[j])))修改为return (exp(-gamma*(x_square[i]+x_square[j]-2*dot(x[i],x[j])))*(1-a)+ powi(dot(x[i],x[j])+1,1)*a),其中的aТ表可调参数Е霜А*
3 实验与仿真
该实验采用的是UCI中的数据[14],在Matlab 7.9.0的环境下编程实现。实验中的参数设置如下:MPSO中,c1=1.5,c2=1.7,最大进化代数设置为200,种群数量为20,Е鬲=0.9,m=0.30,SVM中C的范围为В0.1,100]ВЕ锚У姆段为В郦0.01,1B000]ВЕ霜У姆段为В0.50,0.99],对于K勃CV中的K值,У笔据量较小时取值为5,数据量较大时取值为9,默认值为5。表1给出了针对UCI中wine、iris、machine数据,网格搜索算法与MPSO算法测试所得到的最优参数组合及CV下训练集的准确率及采用优化后参数组合进行实际测试的准确率,注意在实验中选用相同的训练集与测试集,k取5。
表格(有表名)
分区
表1 网格搜索算法与MPSO优化参数组合及分类数据相关信息对比
数据集网格搜索算法
(C,γ)A网/A网′
MPSO(C,γ,λ)AM/AM′
wine(2.30,4)0.988/0.988(2.75,1.90,0.65)0.978/0.994
iris(12.13,2.29)1.000/0.962(14.32,2.07,0.88)1.000/0.981
machine(5.66,2)0.918/0.806(4.31,1.00,0.632)0.901/0.852
表1中,A网АA网′Х直鸫表网格搜索算法下得到的CV下的训练集准确率、实际测试集准确率;AMАAM′Х直鸫表MPSO算法下得到的CV下的训练集准确率、实际测试集准确率。
网格搜索算法实质上是一种穷举法,常用来在小范围内寻找最佳SVM参数组合。通过表1可知,本文提出的算法在最优参数组合上与网格搜索算法相当,并且在训练准确率相同或稍低于网格搜索算法的情况下,在实际测试中仍能得到比其更好的识别率,由此可知,所得的SVM泛化能力有所提高。
启发式算法不必遍历所有参数点,也能找到全局最优解,因而得以广泛应用。表2为本文的MPSO与基本PSO寻优参数组合及进化代数对比情况,此时取C∈[0.1,1B000]А*┩2~3分别给出了balancescale数据在基本PSO、MPSO算法下训练的适应度曲线Accuracy图,图4为不同分类算法下的分类准确率对比图。
表格(有表名)
表2 基本PSO与MPSO下的最优参数组合及进化代数对比
数据集基本PSO
(C,γ)进化代数
MPSO(C,γ,λ)进化代数
wine(12.25,4.350)59(7.16,1.790,0.586)15
balance勃scale(29.90,2.620)120(25.50,1.160,0.780)80
sonar(19.30,0.362)70(15.86,0.769,0.980)46
vehicle(75.50,1.180)158(15.60,1.040,0.622)97
diabetes(47.87,0.625)162(10.90,1.070,0.820)62
在第1章的SVM参数分析时,知道过高的CЩ岬贾鹿学习状态的发生。由表2知,MPSO算法能找到优于PSO算法的最优参数组合,且进化速度明显快于PSO。由图2~3对比得知,MPSO算法能够部分缓解PSO存在的后期振荡现象。由图4可知MPSO算法下优化参数后得到SVM的分类准确率明显高于PSO下得到的SVM分类准确率,且高于最近邻算法(1NN)、C4.5等其他常见分类算法的准确率。
图片
图2 balancescale数据在基本PSO下训练的适应度曲线Accuracy图
图片
图3 balancescale数据在MPSO下训练的适应度曲线Accuracy图
图片
图4 测试数据不同分类算法下的识别率对比图
4 结语
SVM的最优参数组合选取问题一直是影响SVM性能的关键问题,目前关于其选取仍没有统一的方法。本文给出的带有动量项的粒子群算法,对具有混合核的SVM进行参数寻优,通过UCI数据进行测试,得出该算法能快速有效地提取出最优参数组合,所得的SVM泛化能力上优于RBF核的网格搜索算法,进化速度快于PSO,测试所得分类准确率优于其他常见分类算法,为选取最优SVM参数组合提供了一种新方法。
げ慰嘉南:
[1]
边肇祺,张学工.模式识别[M].2版.北京:清华大学出版社, 2000: 296-304.
[2]
刘松.基于SVM信息融合的图像识别与并行实现[J].计算机工程与应用, 2009, 45(33): 168-182.
[3]
MELGANI F, BAZI Y. Classigication of electrocardiogram signals with support vector machines and particle swarm optimization[J]. Information Technology in Biomedicine, 2008, 12(5): 667-677.
[4]
LATRY CH,PANEM C,DEJEAN P.Cloud detection with SVM technique[C]// 2007 IEEE Iternational Geoscience and Remote Sensing Symposium. Washington, DC: IEEE Computer Society, 2007: 448-451.
[5]
常玉清,王福利,王小刚,等.基于支持向量机的生物发酵过程软测量建模[J].东北大学学报:自然科学版, 2005, 26(11): 1025-1028.
[6]
张拥华,曾凡仔.基于混合核支持向量机的金融时间序列分析[J].计算机工程与应用, 2008, 44(19): 220-222.
[7]
业巧林,业宁,张训华.基于极分解下的混合核函数及改进[J].模式识别与人工智能, 2009(3): 366-373.
[8]
邓乃扬,田英杰.支持向量机:理论、算法与拓展[M].北京:科学出版社, 2009: 81-111.
[9]
陈林,潘丰.基于量子PSO的SVM参数选择及其应用[J].自动化与仪表, 2009, 24(1): 5-8.
[10]
张芬,陶亮,孙艳.基于混合核函数的SVM及其应用[J].计算机技术与发展, 2006, 16(2): 176-178.
[11]
SALLEH S M,TOKHI M O,JULAI S,et al. PSObased parametric modelling of a thin plate structure[C]// Proceedings of the 2009 Third UKSim European Symposium on Computer Modeling and Simulation. Washington, DC: IEEE Computer Society, 2009: 43-48.
[12]
黄福员.一种改进的动量粒子群算法及实验分析[J].计算机应用与软件, 2009, 26(10): 57-59.
[13]
faruto编写的Libsvm加强工具箱[EB/OL]. [2010-02-02]. /viewthread.php?tid=65333&extra=&page=1.