前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇卷积神经网络意义范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
关键词:深度学习;行为识别;神经网络
1 概述
动作行为识别是计算机视觉领域中的一个研究热点,已经广泛应用于智能监控、人机交互、视频检索等领域中[1]。动作行为识别技术是通过对视频或者图像中人体动作行为做出有意义的判断。有效表达图像(视频)中的实际目标和场景内容是最基本,最核心的问题。因此,对于特征的构建和选择得到广泛关注,例如STIP、SIFT、MSER等。但是,能通过无监督方式让机器自动从样本中学习到表征样本的特征,会让人们更好地利用计算机来实现人的视觉功能。而深度学习作为神经网络的延伸和发展,是通过逐层构建一个多层网络来使得机器自动学习到隐含在数据内部的关系,从而让学习到的特征更加准确性。
文章旨在探讨深度学习与机器学习(神经网络)之间的关系,并且介绍深度学习的由来、概念和原理;同时介绍目前深度学习在计算机视觉中的应用。最后提出深度学习目前发展所面临的问题,以及对未来的展望。
2 深度学习
2.1 深度学习概述
深度学习源于人工神经网络的研究,是机器学习的拓展。深度学习是经过组合低层特征来形成更加抽象的属性类别和特征,从中发现原始数据的特征表征[2]。现在用于动作行为识别的技术是通过“动作表征”+“动作分类器”的框架来进行行为识别的。其中“动作表征”是人们手动设计特征获取到的,也就是在目前识别框架内存在一个对动作图像(视频)的预处理过程。
深度学习和浅层学习相对。目前许多学习算法是浅层网络学习方法,具有一定的局限性,例如在样本有限的状况下,表示复杂函数的能力有限制,且对复杂分类问题的泛化能力也会受到一定约束[3]。而深度学习通过学习深层非线性网络结构,达到复杂函数逼近,又能在样本少的情况下学习原始数据的特征。BP算法作为传统神经网络的典型算法,虽然训练多层网络,但仅含几层网络,训练方法很不理想[3]。因为其输入和输出间非线性映射让网络误差函数形成含多个极小点的非线性空间,因而经常收敛到局部最小,且随着网络层数的增加,容易过拟合。而深度学习可以获得分布式表示,通过逐层学习算法来得到原始输入数据的主要变量。通过深度学习的非监督训练完成,同时利用生成性训练避免因函数表达能力过强而出现过拟合情况。
2.2 深度学习原理
传统机器学习仅含单层非线性变换的浅层网络结构,而且浅层模型单一。这对于深度网络来说易造成陷入最优或产生梯度分散等问题。因此,Hinton等人在基于深度置信网(DBNs)的情况下提出非监督贪婪逐层训练算法,随后提出了多层次自动编码器深层结构,这给解决深层网络结构相关的优化难题带来了希望。此外Lecun等人提出的卷积神经网络是第一个多层次结构的学习算法。同时深度学习还出现了许多结构:多层感知机、去噪自动编码器、稀疏编码等。
卷积神经网络是第一个真正采用多层次网络结构,具有鲁棒性的深度学习算法,通过探究数据在空间上的相关性,减少训练参数的数量。而且卷积神经网络(CNN)适应性强,善于发现数据的局部特征。它的权重共享结构降低了网络模型的复杂度,减少了权值的数量,使得卷积神经网络在模式识别中取得了很好的结果。
自动编码器的核心关键是将原始图像(视频)输入信号进行编码,使用编码后的信号来重建原始信号,使得两者之间的重建误差最小。通过将原始信号编码成另一形式,能够有效地提取信号中的主要信息,能够简洁地表达原始图像(视频)的特征。
3 深度学习的应用
3.1 语音识别
从2009年开始,微软研究院语音识别专家通过与Hinton合作,首先将RBM和DBN引入到语音识别声学模型训练中,使得语音识别的错误率相对减低30%,这彻底改变了语音识别原有的技术框架。在国际上,IBM、google等公司都快速进行了DNN语音识别的研究,并且速度飞快。国内方面,阿里巴巴,科大讯飞、百度、中科院自动化所等公司或研究单位,也在进行深度学习在语音识别上的研究。
3.2 视频中的动作行为识别
准确迅速识别视频中人的动作行为对于视频搜索和视频监控具有划时代的意义。最近几年,深度学习技术被应用于视频动作行为识别中。如Ji等人[4]提出多层网络的3D卷积神经网络来学习视频中的时空特征,并通过卷积来实现对整个视频特征的学习,从而代替之前的时空兴趣点检测和特征描述提取。在TRECVID数据库上进行的实验取得了不错效果。
4 结束语
文章对深度学习的主要概念进行了全面阐述,包括其由来、原理、研究进展和相应的应用等。在很多领域中,深度学习都表现了潜在的巨大价值,但深度学习作为浅层学习的延伸,仍处于发展阶段,还有很多问题值得我们深入探讨:
(1)我们需要了解深度学习的样本复杂度,需要多少训练样本才能学习到足够的深度模型。
(2)在推进深度学习的学习理论和计算理论的同时,我们是否可以建立一个通用的深度学习网络模型,作为统一的框架来处理语音、图像和语言。
(3)神经网络具有前馈性连接和反馈性连接,可是我们研究的深度网络中还没有加入反馈连接,这些都给深度学习的研究带来了严峻的挑战。
参考文献
[1]王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25(3):225-237.
[2]余凯,贾磊,陈雨强.深度学习的昨天、今天和明天[J].计算机研究与发展,2013,50(9):1799-1804.
关键词:人脸识别技术;病毒管控;人工智能;神经网络
互联网在今天的社会中发挥着举足轻重的作用。如今社会,随着许多人工智能技术、网络技术、云计算等互联网技术不断发展,像人脸识别等技术的应用越来越广泛,在控制病毒传播途径等场合发挥了巨大作用,不断地提高着社会的安全性和便利性,不仅提高了防控中病毒检测效率,也为病毒的控制提供了可靠的技术方法,能够及时发现和控制公共场所的安全隐患因素,避免对社会经济、居民生活造成破坏,。但目前的人脸识别等技术还存在许多缺陷,需要完善和革新,充满着巨大的潜力和进步空间。
1人脸识别技术研究意义
人脸识别技术是一种生物特征识别技术,最早产生于上世纪60年代,基于生理学、图像处理、人机交互及认知学等方面的一种识别技术。相比于其他人类特征像指纹识别、声纹识别、虹膜识别等技术,人脸识别虽然存在人脸识别单一性低,且区分度难度高、易受环境影响等不足。但是人脸识别技术拥有速度快、大范围群体识别及非接触、远距离可识别等优势,都是其他生物识别识别技术所不具备的,而在传播性强、感染风险大的病毒传播过程中,这些显然是必须要考虑的重要影响因素。通过将人脸识别等人工智能技术引入信息管理系统,综合集成视频监控、图像处理、深度学习和大数据等技术,结合非接触测温、定位等技术,助力病情防控,在一定程度上推动病毒病情防控信息化、智能化发展进程。可作为加强公共场所的人员的体温实时监测、地址信息定位的监控管理,规范公共场所针对病毒传播的预防行为。
2人脸识别技术
2.1人脸检测技术
人脸检测是自动人脸识别系统中的一个关键环节。早期的人脸识别研究主要针对具有较强约束条件的人脸图象(如无背景的图象),往往假设人脸位置静止或者容易获取。人脸检测分为前深度学习时期,AdaBoost框架时期以及深度学习时期。前深度学习时期,人们将传统的计算机视觉算法运用于人脸检测,使用了模板匹配技术,依赖于人工提取特征,然后用这些人工特征训练一个检测器;后来技术发展,在2001年Viola和Jones设计了一种人脸检测算法,它使用简单的Haar-like特征和级联的AdaBoost分类器构造检测器,检测速度较之前的方法有2个数量级的提高,并且保持了很好的精度,称这种方法为VJ框架。VJ框架是人脸检测历史上第一个最具有里程碑意义的一个成果,奠定了基于AdaBoost目标检测框架的基础,使用级联AdaBoost分类器进行目标检测的思想是:用多个AdaBoost分类器合作实现对候选框的分类,这些分类器组成一个流水线,对滑动窗口中的候选框图像进行判定,确定检测目标是人脸还是非人脸。Adaboost框架技术的精髓在于用简单的强分类器在初期快速排除掉大量的非人脸窗口,同时保证高的召回率,使得最终能通过所有级强分类器的样本数数量较少。在深度学习时期,开始将卷积神经网络应用于人脸检测领域。研究方向有两种:一是将适用于多任务的目标检测网络应用于人脸检测中;另一种是研究特定的的人脸检测网络。人脸检测技术具有特殊唯一性和稳定性,在现今社会对于构建居民身份识别系统,病毒传播防控系统,以及计算机视觉交互模型的构建具有广泛的应用。人脸检测技术不仅作为人脸识别的首要步骤,也在许多其他领域发挥巨大影响,如人脸关键点提取、人脸追踪、基于内容的检索、数字视频处理、视频检测、安防监控、人证比对、社交等领域都有重要的应用价值。数码相机、手机等移动端上的设备已经大量使用人脸检测技术实现成像时对人脸的对焦、图集整理分类等功能,各种虚拟美颜相机也需要人脸检测技术定位人脸。评价一个人脸检测算法好坏的指标是检测率和误报率,我们定义检测率为:算法要求在检测率和误报率之间尽量平衡,理想的情况是达到高检测率,低误报率。
2.2人脸识别技术
目前主要流行的人脸识别技术包括几何特征识别,模型识别,特征脸识别和基于深度学习/神经网络的的人脸识别技术等。人脸特征识别主要通过对人脸面部结构特征如眼睛、鼻子等五官几何特点及其相对位置分布等,生成图像,并计算各个面部特征之间的欧式距离、分布、大小等关系该方法比较简单,反应速度快,并且具有鲁棒性强等优点,但是在实际环境下使用容易受检测的环境的变化、人脸部表情变化等影响,精度通常不高,细节处理上不够完善。模型识别技术主要包括隐马尔可夫模型、主动表象模型、主动形状模型等,识别率较高,并且对表情等变化影响较小。特征脸识别来源于主成分描述人脸照片技术(PCA技术),从数学上来讲,特征脸就是人脸的图像集协方差矩阵的特征向量。该技术能有效的显示人脸信息,效率较高。基于深度学习的人脸识别是获取人脸图像特征,并将包含人脸信息的特征进行线性组合等,提取人脸图像的特征,学习人脸样本数据的内在规律和表示层次。可以采用如三层前馈BP神经网络。BP神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络模型之一。BP网络本质上是一种能够学量的输入与输出之间的映射关系的输入到输出的映射,从结构上讲,BP网络具有输入层、隐藏层和输出层;从本质上讲,BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。BP神经网路输入层有n个神经元节点,输出层具有m个神经元,隐含层具有k个神经元,采用BP学习算法训练神经网络。BP算法主要包括两个阶段:向前传播阶段和向后传播阶段。在向前传播阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是在网络完成训练后正常运行时执行。将Xp作为输入向量,Yp为期望输出向量则BP神经网络向前传播阶段的运算,得到实际输出表达式为向后传播阶段主要包括两大步骤:①计算实际输出Op与对应理想输出Yp之差;②按极小化误差方法调整带权矩阵。之所以将此阶段称为向后传播阶段,是对应于输入信号的正常传播而言的,因为该阶段都需要收到精度要求进行误差处理,所以也可以称之为误差传播阶段。(1)确定训练集。由训练策略选择样本图像作为训练集。(2)规定各权值Vij,Wjk和阈值Φj,θk参数,并初始化学习率α及精度控制参数ε。(3)从训练集中取输入向量X到神经网络,并确定其目标输出向量D。(4)利用上式计算出一个中间层输出H,再用本式计算出网络的实际输出Y。(5)将输出矢量中yk与目标矢量中dk进行比较,计算输出误差项,对中间层的隐单元计算出L个误差项。(6)最后计算出各权值和阈值的调整量。所以,卷积神经网络算法是通过训练人脸特征库的方式进行学习生成,对不同环境下不同表现情况的人脸图像识别有更高的精确性。
2.3人脸识别软件实现方式
(1)采集人脸数据集,然后对数据集进行标注,对数据进行预处理变成训练格式。(2)部署训练模型,根据训练算法所需依赖部署电脑环境。(3)训练过程,下载预训练模型,将人脸数据集分批次作为输入开始训练,最终输出为训练好的模型。(4)部署训练好的模型,捕获画面即可对画面中的人脸进行实时检测。
3人脸识别在病毒传播防控中的应用
通过人脸识别技术,可以实现无接触、高效率的对流动人员进行信息的收集、身份识别、定位地址信息等操作,大大减少了传染的可能性,切断了病毒传播途径,大大提高了工作效率。通过提前收录人脸信息,采用深度学习对人脸特征模型的训练学习,即可获取人脸识别特征模型,再次验证时即可实现人脸识别和个人信息快速匹配。AI人工智能帮助人们更好的解放双手,为人们的生活和工作提供了重要的帮助。本文还提出了在人脸识别的系统基础上,可以加入定位系统、测温系统等,依托物联网技术和云计算大数据,更加优化管控系统的效率。病毒传播防控中人脸识别系统流程可以概括为图2。
4结语
本文研究了一种人脸识别技术在病毒传播管控系统中的应用,并分析设计了人脸识别实时监测及病毒管控系统的流程,大大提高了信息管理的效率,减弱了传播风险。作为一门新兴技术,目前的人脸识别技术还存在着诸多不足之处,像存在环境光的影响、人脸表情变化、妆容变化、佩戴口罩等都会影响到系统识别精度;另外安全问题也引人深思:现今人脸支付方式迅猛发展,录入的人脸模型信息数据库存在有一定的安全风险,一旦被不法分子盗取信息后果不堪设想,所以模型数据库安全、网络安全,也是系统开发中必须重视的问题。人脸识别为代表的人工智能技术的研究,在病毒传播管控作出重大贡献,依托我国领先的计算机网络技术和5G等技术,加强人工智能技术与5G通信技术的结合,优势互补,以此来加快大数据、人工智能和物联网技术发展进程,对我国社会进步,促进城市建设和管理朝着高效、秩序、和谐稳定的方向不断发展,增强我国的经济实力有着重大价值和研究意义。
参考文献
[1]王彦秋,冯英伟.基于大数据的人脸识别方法[J].现代电子技术,2021,44(7):87-90.
[2]李刚,高政.人脸自动识别方法综述[J].计算机应用研究,2003,20(8):4-9,40.
[3]马玉琨,徐姚文.ReviewofPresentationAttackDetectioninFaceRecognitionSystem[J].计算机科学与探索,2021,7(15):1195-1206.
[4]余璀璨,李慧斌.基于深度学习的人脸识别方法综述[J].工程数学学报,2021,38.
[5]王红星,胡永阳,邓超.基于LBP和ELM的人脸识别算法研究与实现[J].河南理工大学学报(自然科学版),2005.
[6]钟陈,王思翔,王文峰.面向疫情防控的人脸识别系统与标准研究[J].信息技术与标准化,2020,6,11-13,1671-539X.
[6]彭骏,吉纲,张艳红,占涛.精准人脸识别及测温技术在疫情防控中的应用[J].软件导刊,2020,10,1672-7800.
P键词关键词:视网膜;PCNN;血管分割;MATLAB;GUIDE
DOIDOI:10.11907/rjdk.161883
中图分类号:TP319
文献标识码:A 文章编号:1672-7800(2016)008-0068-03
0 引言
眼睛是人体接受外界信息最主要的器官,约75%左右的信息来源于视觉信息。因此,眼睛健康与否对人的学习、生活和工作的影响非常大。而眼底则是这个器官的重要组成部分,主要包括视网膜、脉络膜、黄斑和视盘等。眼底视网膜中的血管是人体内唯一可以非创伤的方式直接观察到的较深层微血管,其颜色、亮度、位置分布、形状以及曲率等变化可以直接反映出疾病对血管网络形态结构的影响,是心脑血管疾病对血管微循环检查的重要部位。因此,视网膜图像中血管网络的检测与分割对心脑血管疾病的诊断及治疗具有重要意义[1]。
由于该方法计算公式复杂,涉及参数较多,且目前主要使用编写脚本程序的方式进行视网膜眼底图像中的血管分割,各个参数的调整都要在脚本程序中进行,非常复杂,不便于可视化地观察实验结果变化。因此,设计开发一款界面友好、操作简单的视网膜血管分割系统是非常必要的。
MATLAB是一款由Mathworks公司推出的数学软件,它在数值分析、矩阵运算、数值拟合以及图形绘制等方面均有极其强大的功能,已被广泛应用于数字图像处理、信号处理和系统仿真等各个领域。同时,MATLAB 软件具有界面友好、操作简单的图形可视化界面设计工具,其集成图形用户界面GUIDE(Graphical User Interface Development Environment)包含了窗口菜单、对话框、按钮和文本等各种控件[2]。用户通过对控件进行布局,编写控件的回调函数即可实现GUI 与用户之间的交互,操作十分方便。
本系统在对视网膜眼底图像中的血管进行预处理并运用脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)迭代原理分割的基础上,利用MATLAB 的图形用户界面开发环境(GUIDE)实现了视网膜血管分割系统。该系统为医学图像研究提供了一种有效的视网膜血管分割方法,也为医学图像处理提供了一个操作方便的实验平台。
1 研究方法
首先是对视网膜眼底图像中的血管进行预处理,然后利用PCNN方法对视网膜图像中的血管进行分割。
1.1 视网膜血管图像预处理
所处理的视网膜图像为眼底视网膜RGB彩色图像,通过将RGB 彩色图像分解成红、绿、蓝三通道单色图像可以发现,绿色通道的视网膜图像中血管和背景对比度最高, 而红、蓝色通道的单色图像中噪声较多、对比度较低, 因此采用绿色通道的视网膜图像进行处理。
由于视网膜眼底图像是由专门的医学设备采集的,血管周围区域难免会对后续处理产生干扰,因此需要对视网膜图像进行有效区域的选取。将RGB图像进行二值化处理,使其归一化到[0,1]之间,再依次应用形态学中的开运算、闭运算和腐蚀操作,生成二值掩膜图像。
由于血管直径大小不一、背景干扰以及成像时光照不均等因素影响,使得血管与背景的对比度较低。为获得理想的分割效果,要对眼底图像进行预处理,以增强血管和背景的对比度。本系统主要采用对比度受限制的自适应直方图均衡化(CLAHE)[3]与二维高斯匹配滤波[4]方法对视网膜血管进行对比度的增强。
直方图均衡化(HE)的基本思想是通过图像的灰度分布直方图确定一条映射曲线,用来对图像进行灰度变换,以达到提高图像对比度的目的。然而HE是对图像全局进行调整的方法,不能有效提高局部对比度。为了提高图像的局部对比度,有研究者提出自适应直方图均衡化(AHE)方法,将图像分成若干子块,对子块进行HE处理。但是AHE 对局部对比度提高过大,将导致图像失真。为了解决这个问题,必须对局部对比度进行限制,这便是CLAHE方法。CLAHE处理后的图像既能体现不同位置灰度分布之间的差异,又能使全局灰度较为协调。
二维高斯匹配滤波的原理主要是根据血管曲率较小且宽度渐进改变这一特点,将血管近似分段为等宽度的线段,然后用高斯曲线模拟其横截面的灰度轮廓。由于血管方向具有任意性,因此需要旋转高斯曲线来匹配不同方向的血管。每30°旋转一次,得到从0°~180°的6个匹配滤波器,再分别与经过CLAHE处理后的图像进行卷积,选择其中最大的卷积值作为增强图像的像素值。
最后,将经过CLAHE处理之后的图像减去经过CLAHE、二维高斯匹配滤波后的图像,即可得到最终的预处理结果。
1.2 基于PCNN的视网膜血管分割
脉冲耦合神经网络 (PCNN ,Pulse Coupled Neutral Network)[5]是20世纪90年代形成和发展的与传统人工神经网络有着根本不同的新型神经网络,其模型直接来源于高级哺乳动物的视觉神经系统,具有现实的生物学依据,在图像处理与分析及计算机视觉领域中有着广泛应用。它不仅能够克服微小变化造成的影响,而且能够较完整地保留图像的区域信息。因此,使用PCNN进行视网膜血管图像分割具有一定优势。
本系统采用PCNN简化模型对视网膜图像血管自动分割,该模型不仅保持了原始模型的重要特性,而且减少了部分参数。用迭代公式可以描述为:
式中,Sij是外部刺激,即点(i,j)对应像素的灰度值,Fij是神经元的输入项,Lij、Uij、Yij、Eij分别是神经元的耦合连接输入、内部活动项、脉冲输出和动态阈值。VL为连接输入域的放大系数,β为神经元之间的连接强度系数,VE和αE分别为动态阈值的放大系数和衰减常数因子,W为连接加权系数矩阵。PCNN应用于眼底图像处理时,其神经元数目与图像像素数目一致,各神元与像素一一对应,像素的灰度值作为对应神经元的输入Sij。当连接加权系数矩阵W所在邻域内有相似灰度值像素时,若其中某个神经元点火产生脉冲输出,会引起邻域内相近灰度值像素对应的神经元点火,产生脉冲序列输出,这些输出脉冲序列构成的二值图像Y即为输出的分割图像。
2 系统设计思路及方法
根据上述分割过程,将系统设计成两大模块,分别对应于两个界面,主界面为视网膜图像预处理模块,子界面为视网膜血管分割模块。通过使用MATLAB GUIDE中的控件进行布局和编写相应的回调函数来实现各模块功能。
利用MATLAB GUI实现视网膜血管分割系统的过程可以分为GUI 图形界面布局和GUI 程序实现两部分[6]。对于界面布局,首先要考虑窗口大小、控件位置以及界面所要实现的功能及各控件需要完成的任务。完成控件的布局之后,接着应对控件属性进行设置,通过在相应的控件上双击鼠标左键,打开属性查看器,设置该控件属性。最后需要对各个控件进行回调函数的编写,这是界面设计的关键一步,直接影响界面各个功能的实现。
3 系统功能实现
3.1 视网膜图像预处理模块
视网膜图像预处理模块包括选择图片、选择RGB通道、CLAHE增强处理、二维高斯匹配滤波处理以及最终预处理结果5个子模块,如图1所示。
具体操作如下:界面初始化后自动加载一幅默认图片,也可以由用户选择其它图片;单击“选择图片”按钮,之后会弹出一个对话框,选择要载入的图片,可以看到图片显示在界面的左上角,文件名显示在图片正下方;然后选择彩色通道,默认为绿色通道,选择的通道图像显示在右边区域左上角。如果勾选 “生成掩膜”选项,则后面的运行结果均会显示出单击“生成掩膜”之后的图像,默认状态为未勾选;接下来需要进行CLAHE处理,以增强图像对比度。在这里,主要是对adapthisteq函数中的参数进行设置;最后单击“运行”按钮,结果显示在右边区域的右上角。在进行CLAHE处理之后,需要进行二维高斯匹配滤波处理,主要是对滤波核个数、血管半径及血管段长度进行设置,以进一步增强血管与背景的对比度;然后单击“运行”按钮,结果显示在右边区域的左下角;单击“最终预处理结果”按钮,结果显示在右边区域的右下角。
3.2 视网膜血管分割模块
视网膜血管图像分割模块主要是根据PCNN算法迭代原理,调节PCNN各个参数,对视网膜血管图像进行分割,如图2所示。
具体操作如下:单击主界面中的“PCNN分割”按钮,即可进入视网膜血管分割模块的界面;接着选择所需PCNN模型和核,并设置核的半径大小。若选择“原始模型”,则需要设置PCNN的6个参数,若选择“改进模型”,则只需设置PCNN的4个参数;之后设置迭代次数和beta的值,单击“运行”按钮,在弹出的对话框中,选择一幅迭代图片,将自动生成分割结果;对于分割后的结果,单击“保存”按钮,可以保存图片;最后单击“返回”按钮,可以返回主界面。
4 结语
基于MATLAB 软件在图形绘制、数值运算及可视化界面开发等方面的优势,在对视网膜眼底图像中的血管预处理并运用PCNN算法迭代原理进行分割的基础上,通过MATLAB GUI 设计完成了视网膜血管分割系统,可以实现视网膜血管图像的增强处理,进而利用脉冲耦合神经网络方法对视网膜血管图像进行分割。本系统提供了一种有效的视网膜血管分割方法,在医学图像研究方面具有一定参考价值。同时,系统具有界面友好、操作简单等特点,为医学图像处理提供了一个操作方便的实验平台。
参考文献:
[1] 姚畅,陈后金,李居朋. 基于过渡区提取的视网膜血管分割方法[J].电子学报,2008,36(5):974-978.
[2] 姚秀芳,崔松菲. 基于MATLAB GUIDE的程序设计[J]. 电脑知识与技术,2009,27(5):7767-7768.
[3] 陈萌梦,熊兴良,张琰,等. 1种视网膜眼底图像增强的新方法[J]. 重庆医科大学学报,2014,39(8):1087-1090.
[4] 姚畅,陈后金. 一种新的视网膜血管网络自动分割方法[J].光电子・激光,2009,20(2):274-278.
关键词: 情感分析; 情感倾向性; 词典扩充; 电力客服工单; 主动服务
中图分类号: TN915.853?34; V249 文献标识码: A 文章编号: 1004?373X(2017)11?0163?04
Dictionary expansion based sentiment tendency analysis of power customer service order
GU Bin, PENG Tao, CHE Wei
(State Grid Jiangsu Electric Power Company, Nanjing 210000, China)
Abstract: In order to improve the customer satisfaction and active service consciousness of the electric power enterprises effectively, the textual characteristic of the power customer service order is combined to construct the sentiment analysis model of the power customer service order. The keywords of the service order are extracted according to TF?IDF thought. The word2vec training is used to get the word vector of each word. The cosine similarity is calculated to expand the high similarity field vocabulary to the sentiment dictionary. The service order sentiment analysis and text classification are performed. The validity of the method is verified with experimental analysis. The results show that, in comparison with the original sentiment dictionary, the method of dictionary expansion and service order sentiment tendency analysis is superior, has higher accuracy, and can provide a certain reference significance for the customer relation management of power enterprise.
Keywords: sentiment analysis; sentiment tendency; dictionary expansion; power customer service order; active service
0 引 言
随着电力体制改革的逐步深化,配电市场竞争不断加剧,迫切需要供电企业改变传统的思维方式和工作模式,进一步树立市场化服务意识,从客户需求出发,挖掘客户的潜在需求和内在价值,从而提升客户满意度和运营效益。作为与客户交流、沟通的重要窗口,电力企业95598客服系统记录了海量的客户信息,若能彻底挖掘客服工单中的客户特征、情感信息并了解客户的关注焦点,对电力企业和客户都将具有十分重要的意义[1]。
电力客服工单情感倾向性分析可以有效地发掘客户情感信息和需求,可根据客户情感倾向性识别潜在的投诉客户,可根据反馈信息判别某项业务的实施效果等。针对文本情感倾向性分析,现有的理论研究比较侧重于文本特征提取以及采用机器学习方法对文本进行分类,但是基于具体业务特征进行情感词典扩充的研究还比较少,导致情感倾向性计算往往会存在一定的差异,因此,根据电力行业的特c,进行客户服务工单情感词典扩充及情感倾向性的研究非常有必要。
情感分析是指利用文本挖掘、机器学习技术分析挖掘隐藏在文本中的情感信息,并将其分类为积极情感态度和消极情感态度[2]。目前,国内外关于文本情感倾向性分析已经进行了较多的研究工作[3?7],文献[3]基于情感词间的点互信息和上下文约束,提出一种两阶段的领域情感词典构建算法,提升了情感词情感倾向的识别能力。文献[4]研究了基于矩阵投影(MP)和归一化向量(NLV)的文本分类算法,实现对商品评价的情感分析,不仅可以有效识别商品评论情感性倾向,而且提升了识别效率。文献[5]将词级别向量和字级别向量作为原始特征,采用卷积神经网络提取文本特征并进行情感倾向性分析,结果表明字级别向量可取得较高的准确率。文献[6]提出一种词图模型的方法,利用PageRank算法得到情感词的褒贬权值,并将其作为条件随机场模型特征预测情感词倾向,提升了具体语境下预测的准确性,但是针对文本数量较大的情况准确率较低。文献[7]结合句子结构上下文语义关联信息,提出一种基于深度神经网络的跨文本粒度情感分类模型,提升了分类准确率,但该方法只适应于特定领域,泛化能力较低。
鉴于以上研究现状,本文以电力客户服务领域文本特征为突破口,构建了电力客服工单情感分析模型,基于工单关键词提取对原始的情感词典进行扩充,并对工单情感倾向性进行分析,最后,通过算例应用验证了本文所提方法的有效性。
1 相关工作
1.1 情感分类
情感分类技术的主要目标是基于文本数据识别用户所表达的情感信息,并将文本数据分为正类和负类。当前,针对情感分类的研究,主要从监督学习、基于规则方法、跨领域情感分析等方面展_研究,与此同时,针对文本特征的提取和特征情感判别是情感分类研究的两个关键问题。
1.2 Word2vec介绍
word2vec是Google在2013年开源的一款将词表征为实数值向量(word vector)的高效工具,采用的模型有CBOW(Continuous Bag?of?Words,即连续的词袋模型)和Skip?Gram两种,word2vec采用的是Distributed Representation的词向量表示方式,经过对输入集数据进行训练,可以实现将文本词汇转换为维空间向量,然后基于空间向量相似度来表达文本语义相似度,模型输出结果可用于自然语言处理领域相关工作,比如文本聚类、词典扩充、词性分析等。
word2vec生成词向量的基本思想来源于NNLM(Neural Network Language Model)模型,其采用一个三层神经网络构建语言模型,假设某个词的出现只与前个词相关,其原理示意图如图1所示。
图1中,最下方的为前个输入词,并根据其预测下一个词每个输入词被映射为一个向量,为词语的词向量。网络的第一层(输入层)为输入词语组成的维向量网络第二层(隐藏层)计算为偏置因子,使用激活函数tanh;网络第三层(输出层)包含个节点,每个节点表示下一词的未归一化log概率,并使用softmax激活函数将输出值归一化,最后使用随机梯度下降法对模型进行优化。
图1 NNLM原理模型图
模型的目标函数为:
需要满足的约束条件为:
2 电力客服工单情感分析模型
本文以某电力公司客服工单数据为研究对象,在深入理解电力业务及工单文本语义特点的基础上,建立了一种电力客服工单情感分析模型。首先,在进行文本预处理的基础上,对文本进行分词处理并且完成关键词提取;然后,采用word2vec训练工单数据,并基于关键词进行情感词典扩充,构建电力客服领域专用情感词典;最后,进行工单情感倾向性分析。
2.1 工单文本预处理
由于工单文本数据中存在大量价值含量较低甚至没有价值意义的数据,在进行分词、情感分析中会对结果产生较大的影响,那么在文本挖掘之前就必须先进行文本预处理,去除大量没有挖掘意义的工单数据。工单文本预处理工作主要包括:删除未标注业务类型数据、分句处理、文本去重、短句删除等。
分句处理:将工单数据处理成以句子为最小单位,以句尾标点符号为标志分割,包括“,”,“。”,“;”,“!”等符号。
文本去重:就是去除工单数据中重复的部分,常用的方法有观察比较删除法、编辑距离去重法、Simhash算法去重等。
短句删除:删除过短的文本,如“还可以”,“非常好”等,设置文本字符数下限为10个国际字符。
2.2 电力客户服务领域情感词典构建
2.2.1 分词
本文采用python的jieba分词工具对数据集进行分词,并完成词性标注和去除停用词,由于情感分析通常由名词、形容词、副词和连词等反映出来,因此删除词性为动词的词汇。jieba中文分词工具包包含三种分词模式:精确模式、全模式和搜索引擎模式,综合分词效果及后文的研究,本文选择精确模式进行分词,三种模式的分词效果如表1所示。
另外,在实际的分词过程中,出现了个别分词结果与实际的语义不符,原因是字典中缺少相关的专有名词,或者是这些词语的词频较低,比如“客户/咨询/抄/表示/数等/信息”,“客户/查户/号”,“变压器/重/过载”,“查/分/时/电价”等,因此,需要对原有词典进行更新。python中采用jieba.load_userdict(dict.txt)语句添加自定义词典,其中dict.txt是保存字典内容的文件,其格式为每一行分三部分:一部分为词语;另一部分为词频;最后为词性(可省略),用空格隔开。
2.2.2 关键词提取
构建电力客户服务领域专属情感词典,需要尽可能保证领域词典的多样性,关键词的提取要求一方面能够尽量反应出这个特征项所属的类别,另一方面能够把自身属于的类别与其他类别有效地区分开来,依据此原理,本文采用TF?IDF思想进行电力客户服务领域关键词的提取,关键词选取的权重决定了情感词典的多样性,为下文情感词典的扩充做好基础,算法原理如下。
将工单文档和特征项构建成二维矩阵,各条工单的特征向量可表示为:
式中:表示第个工单中第个特征中的词频。则与为:
式中:表示语料库中的文件总数;表示包含词语的文件总数,防止分母为零的情况,通常对分母做+1的处理。因此,的计算公式为:
实际应用中,依据维度的大小确定相应的权重大小,这样就形成了代表语料特征的关键词集。
2.2.3 基于word2vec进行情感词典扩充
随着经济技术的发展及客户文化的差异,不同的客户通常使用不同的词汇描述同一个对象特征,且电力行业中存在许多专用词汇,同样也表达了一定情感,但这些词脱离于现有的情感词典,因此,有必要对现有的情感词典进行扩充,进而提升工单情感倾向性分析的准确性[8]。选取中国知网情感词集和大连理工大学林鸿飞教授整理和标注的中文情感词汇本体库作为基础的情感词典,然后依据权重较大的关键词对原有词典进行扩充[9]。基于上文电力客户服务工单中提取的关键词,采用word2vec工具对工单数据集进行训练,根据CBOW模型或Skip?Gram模型训练出每个词的词向量,并通过计算余弦相似度得到文本语义上的相似度,并将相似度较高的词语加入到情感词典中。
依据上文分词后得到的工单文本数据,采用Linux Version2.6环境对数据进行训练,操作命令如下:
./word2vec ?train data95598.txt ?output vectors_95598data.bin ?cbow 0 ?size 200 ?winodw 5 ?negative 0 ?hs 1 ?sample le?3 threads 12 ?binary 1
其中,data95598.txt为输入数据集;vectors_95598data.bin为模型输出文件;采用Skip?Gram模型进行训练,词向量维度设置为200;训练窗口大小设置为5;-sample表示采样的阈值,训练结果采用二进制方式存储。这样,得到的模型文件中就包含了每个词的词向量。
采用余弦相似度计算关键词的相似词,即基于生成的词向量计算两个维向量的相似度,因为word2vec本身就是基于上下文语义生成的词向量,因此,余弦值越大,表明两个词语的语义越相似。向量与的余弦计算公式如下:
通过distince命令计算输入词与其他词的余弦相似度,经过排序返回相似词列表,再经过人工筛选,将这些词加入到原有情感词典中,实现对原有情感词典的扩充。
2.3 工单情感倾向性分析
工单情感倾向性分析是基于构建的情感词典,计算每个客服工单的情感分值,从而判断工单的情感倾向性。通过上文处理,每一个客服工单都可以被分割成一个个子句片段,表示为每个子句片段由一系列分词后的词语构成,提取每个句子的情感词、否定词等,表示为依据情感词典中给定词的极性值计算每个子句的情感值,分别算每个句子的正向和负向情感分值,计算公式如下:
式中:SenSum表示某个客服工单的情感分值;表示第个子句中第个正向情感词的极性值;表示第个子句中第个负向情感词的极性值。
在否定子句中,当为偶数时,否定子句情感为正;当为奇数时,否定子句情感极性为负。对所有的子句情感分值求和并求均值,就得到了整个客服工单的情感值,进而判断客服工单的情感倾向性,若SenSum为正,表示工单情感为正向;否则,工单情感为负向。
3 实验分析
3.1 实验数据准备
本文的实验环境基于Linux系统,采用python语言进行算法的实现,抽取某电力公司95598客服工单数据作为研究对象,运用jieba包进行中文分词处理,并采用word2vec训练数据生成词向量及扩充情感词典。由于工单数据是按照业务类型生成的,因此选取业务类型为表扬的工单作为正类,选取业务类型为投诉的作为负类,其中,正类和负类数据比例为21,共得到20 000条数据作为实验数据集,随后进行情感倾向性分析,随机选择70%的数据作为训练集,30%的数据作为测试集。
3.2 评价指标
当前针对文本分类效果评估有许多方法,本文选择准确率(precision)、召回率(recall)和值进行文本情感分类效果的评估,准确率是对分类精确性的度量,召回率是对分类完全性的度量,值越大说明分类效果越好,准确率和召回率是一组互斥指标,值是将二者结合的一个度量指标,值越大,分类效果越好,并将通过本文情感分析模型得到的结果与业务员标注的类型做对比分析。它们的计算公式如下:
3.3 实验结果及分析
本文基于抽取到的客服工单数据,结合设计的电力客服工单情感分析模型,实现对电力客户服务领域情感词典的扩充,并基于构建的电力客服领域专属词典进行工单情感倾向性分析,70%的数据用于训练word2vec并进行情感词典的扩充,30%的数据用于测试工单情感分类的准确性。测试集共包含工单数6 000条,其中正类工单3 895条,负类工单2 105条。将采用本文情感分析模型得到的结果与原始基础情感词典得到的结果进行对比分析,见表2。
由表2可知,采用本文构建的电力客服工单词典针对正向和负向的情感词都有较高的准确率、召回率和值,由此可知,本文设计的电力客服工单情感分析模型是合理的,且具有明显的性能优势。
4 结 语
本文设计了一种电力客服工单情感分析模型,构建了电力客服领域情感专用词典并进行工单情感倾向性分析。采用word2vec工具对采集到的数据进行训练,并用测试集数据对本文提出的模型进行验证分析,结果表明,本文所提方法具有一定的合理性和可行性,可为电力企业客户关系管理提供一定的参考意义,促进企业客户满意度及运营效益的提升。此外,本文主要研究了基于构建的电力客服专用情感词典进行客户情感倾向性分析,但是对于无监督性学习方法情感倾向性分析以及情感强度的分析还有待进一步研究。
参考文献
[1] 李胜宇,高俊波,许莉莉.面向酒店评论的情感分析模型[J].计算机系统应用,2017,26(1):227?231.
[2] SINGH VK, PIRYANI R, UDDIN A, et al. Sentiment analysis of movie reviews: a new feature?based heuristic for aspect?level sentiment classification [C]// Proceedings of 2013 International Multi?Conference on Automation, Computing, Communication, Control and Compressed Sensing (iMac4s). Kottayam: IEEE, 2013: 712?717.
[3] 郗亚辉.产品评论中领域情感词典的构建[J].中文信息学报,2016,30(5):136?144.
[4] 钟将,杨思源,孙启干.基于文本分类的商品评价情感分析[J].计算机应用,2014,34(8):2317?2321.
[5] 刘龙飞,杨亮,张绍武,等.基于卷积神经网络的微博情感倾向性分析[J].中文信息学报,2015,29(6):159?165.
[6] 黄挺,姬东鸿.基于图模型和多分类器的微博情感倾向性分析[J].计算机工程,2015,41(4):171?175.
[7] 刘金硕,张智.一种基于联合深度神经网络的食品安全信息情感分类模型[J].计算机科学,2016,43(12):277?280.
关键字:笔记鉴别;纹理;Gabor
中图分类号:G642
文献标识码:A
文章编号:1672-5913(2008)02-0122-03
1引言
不同的人根据自身的生理特征和后天的学习情况不同,而练就不同的笔迹,正所谓“字如其人”。笔迹正是一种相对稳定的行为特征,因此笔迹可以用来识别个体身份。目前在公安、社会化考试、银行等领域得到日益广泛的应用,其中一个典型应用就是高等教育自学考试考生试卷笔迹真伪鉴定。现在试卷笔迹鉴定工作是通过考试中心文检人员手工比对,这种传统的笔迹鉴别方法,容易引入个人因素,影响鉴定效果的真实性。随着考生人数的增多,这项比对工作相当耗费人力、物力。本文正是基于高自考这样的背景,来研究基于文本独立的离线笔迹鉴别。
目前笔迹鉴别研究方向可以分为在线(on-line)和离线(off-line)两类。进一步细分,离线笔迹鉴别又可分为:文本依存(Text-dependent)和文本独立(Text-independent)
两种。文本依存就是提前规定书写内容,文本独立则对书写内容没有限制。笔迹鉴别的复杂性在于字迹的变化性,其任务就是从所有笔迹样本中提取那些变化最大的特征,然后根据这些特征对测试笔迹样本进行真、伪分类。
另一个问题是,目前分类方法主要有支持向量机、多层神经网络等,由于实际应用中样本数较少,以上方法都不适用,因此本文主要针对训练样本少的实际应用情况讨论文本独立型(Text-independent)书写人识别。通过用Gabor等纹理分析方法提取文字纹理特征,获得了较好的识别效果。
2基于Gabor小波的纹理分析
纹理分析在图像处理、分析和识别中广泛应用,是从图像中提取反映纹理特性的特征。每个人都有自己的书写风格,从整体笔迹图像看,它们含有不同的纹理特征,如笔迹的排版规律(行间、字间排列等)、单个字符的笔划搭配关系都可以看成是一种纹理。从已知的笔迹鉴别方法来看,有不少都采用了纹理分析的思想。将笔迹视为图像纹理,利用纹理分析的方法提取笔迹纹理特征并进行鉴别,是目前研究的热点。
Gabor函数由Dennis Gabor于20世纪40年代提出的,后来被J.Daugman首先用于表征图像,并用于视觉方面的研究。随着计算机的不断发展,成为了非常流行的图像处理方法,这得益于Gabor函数特有的属性及其生物意义。生物学的研究表明Gabor函数可以较准确地描述人脑视觉皮层简单细胞的感受野。如图1所示。
图1视觉皮层简单细胞的感受野与二维Gabor函数的对比
Gabor函数是一个被复正弦函数调制的高斯函数,它是唯一能够达到时频测不准关系下界的函数,能够最好地兼顾信号在时域和频域中的分辨能力。其中,一维Gabor函数如式(1):
其中m用来控制函数的中心,s为宽度(Gaussian函数的标准偏差),周期为T,函数波形如图2所示。
图2一维Gabor函数波形
二维Gabor函数具有方向选择性和带通性,能够比较精确地提取图像的局部纹理特征。二维Gabor函数如式(2)所示:
3Gabor变换以及笔迹特征获取
本文使用Gabor核函数对笔迹纹理图像进行Gabor变换,提取笔迹特征。给定一幅图像f(x,y),其Gabor变换定义为:
(4)
根据卷积定理,时域中卷积相当于频域中乘积,故可借助快速傅立叶变换(FFT)。这是由于快速傅立叶变换算法的计算效率要比基本的离散傅立叶变换高出几个数量级,由于FFT的高效率,在许多情况下实现卷积最有效的方法是先计算参与卷积的序列的离散傅立叶变换,然后将它们的变换相乘,最后计算这些变换乘积的逆变换。快速傅立叶变换算法有很多种,目前广为使用的是蝶形算法。对于本文中,进行的是二维傅立叶变换,由于其行列可分性,因此可以先对列进行一维快速傅立叶变换,然后对行进行一维傅立叶变换。特征提取的实现过程入下:
(1) 先根据Gabor核函数的参数,即4个频率和8个相位,依次求出32个Gabor核函数,并对其依次进行二维快速傅立叶变换,将其结果保存到数组;
(2) 对笔迹纹理图像块进行二维快速傅立叶变换,将其结果分别与32个Gabor核函数相乘,并且乘上一个系数;
(3) 对32个相乘结果分别进行二维傅立叶逆变换,这样对于每一个Gabor核函数将对应得到一个Gabor变换系数,该系数为复数,对于每一个笔迹样本就对应得到32个变换系数;
(4) 针对每一变换系数,分别求出模值,然后根据模值求出方差和均值,经实验比较,对于本文文本依存情况,仅选取32维方差要比选取32维均值或者64维方差和均值的混合特征作为笔迹特征,鉴别率要高,效果要好,因此最终特征选用32维变换系数模值的方差。
4分类器的构建
由于人工神经网络、支持向量机等分类器均需要较多样本进行训练,而在实际应用中样本数较少。根据这一事实,并且结合本文提出的训练方法,本文从样本距离角度寻求分类器。从相关文献中了找了8个与距离相关的分类标准,目的是通过实验从中找出适合于本文的分类器。这8个分类标准依次为欧氏距离、普通距离、相似度、特征距离、Canberra距离、Dice系数、Jacquard系数、向量间距离,其数学表达式分别如式4~1所示:
欧氏距离:
以上8个式子中, 和 分别为特征向量,i=1,2,3,4,5……
实验时选取8个人的样本,其中5个人每人1份,另3个人每人10份样本,共8个人35份笔迹样本,测试结果如表1所示,表中A,B,C分别为三个书写人,每人10份笔迹样本,实验步骤为(以A为例,其它类似):
(1) 以A的第一份样本为参考样本,经“随机训练”为每个分类器获取阈值;
(2) 以A的第一份样本为参考样本,用获取到的阈值,与A的其它9个样本进行比对,给出测试正确样本数,对于每个分类器分别填入对应表格“本人”处;
(3) 以A的第一份样本为参考样本,用获取到的阈值,与B、C的各5个样本进行比对,给出测试正确样本数,对于每个分类器分别填入对应表格“不同人”处;
(4) 分别统计每个分类器判别正确的样本数。
根据表中各分类器的分类结果,并结合运算量,本文最终选定欧氏距离作为分类器。对于两个样本,其欧氏距离越小,表明两个样本越相似,假设两个样本之间的欧氏距离为d,分类阈值为g,那么如果d
5结论
本文研究内容是文本独立的离线笔迹鉴别,结合课题背景本文给出一种基于纹理的方法。实验时,先采集30人共计108份笔迹样本,然后对这些笔迹样本进行预处理、形成纹理图,使用32个Gabor核函数,进行Gabor变换,把变换后所得系数的方差作为最后的笔迹特征,共32维。最后使用欧氏距离作为分类器,采用本文提出的阈值获取办法进行训练。我们在自己采集的笔迹库上实验,在对28人的56份样本实验中,对于与参考样本出自同一人的笔迹样本的测试,共28份,对于与参考样本不同人的笔迹样本,共140份。
从表2可以看出,针对本文方法,对于与参考样本出自同一人的笔迹样本的测试,共28份,其中被正确鉴别的份数为26,正确接受率为92.9% 。对于与参考样本不同人的笔迹样本,共140份,正确鉴别的份数为126,正确拒绝率为90.0%。达到了较为理想的效果。
Writer Identification Based on Small Amount of Test Samples and TextureAnalyse
Abstract This paper is presented for identification of examination papers handwriting, A kind of algorithm, which is characterized with less training samples and text-independent, is proposed, and it is used of artificial handwriting identification expert knowledge. Finally, experiments show that the correct acceptances rate is 92.9% and the correct rejections rate is 90.0%.
Keywords:handwriting identification, texture, Gabor filter
参考文献
[1] 孙广萍. 身份验证中的签名鉴别技术[J]. 黑龙江通信技术,2003,(1):34-35.
[2] 刘宏,李锦涛,崔国勤. 基于SVM和纹理的笔迹鉴别方法[J]. 计算机辅助设计与图形学学报,2003,15(12):1479-1484.
[3] 许春晔,郭宝兰. 基于Gabor函数的汉字字体识别[J]. 河北大学学报(自然科学报),2001,21(2):167-170.
[4] 边肇祺,张学工. 模式识别[M]. 北京:清华大学出版社,2000.
[5] Andrew R Webb著. 王萍,杨培龙,罗颖昕译. Statistical Pattern Recognition, 2ED[M]. 北京:电子工业出版社,2004.
[6] 陶跃华. 基于向量的相似度计算方案[J]. 云南师范大学学报,2001,21(5):17-19.
[7] 易东,陈庆虎. 基于多分类器组合的笔迹验证[J]. 计算机应用,2006,26(1):172-173.
[8] 刘成林,戴汝为,刘迎建. 简化的Winger分布及其在笔迹鉴别中的应用[J]. 计算机学报,1997,20(11):1018-1024.