卷积神经网络的核心
前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇卷积神经网络的核心范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。
卷积神经网络的核心范文第1篇
DOIDOI：10.11907/rjdk.162768
中图分类号：TP317.4
文献标识码：A文章编号文章编号：16727800（2017）005017405
0引言
随着电子商务的发展，大批艺术品交易网站随之兴起，藏品交易规模也越来越大。而当前的古玩网上交易平台还不能够实现对现有藏品图片的自动分类，客户在寻找目标藏品时不得不在众多图片中一一浏览。因此需要一种有效的方法来完成面向图像内容的分类。
在基于内容的图像检索领域，常使用人工设计的特征-如根据花瓶、碗、盘子的不同形态特征：目标轮廓的圆度、质心、宽高比等[1]，继而使用BP神经网络、SVM分类器等对特征进行学习分类。文献[2]基于植物叶片的形状特征，如叶片形状的狭长度、矩形度、球状性、圆形度、偏心率、周长直径比等，利用BP神经网络实现对植物叶片进行分类。文献[3]研究印品图像的各类形状缺陷，利用图像缺陷形状的轮廓长度、面积和圆形度等几何特征，导入SVM分类器进行训练，得到分类器模型实现分类。文献[4]提出了一种基于Zernike矩的水果形状分类方法，通过提取图像中具有旋转不变性的Zernike矩特征，并运用PCA方法确定分类需要的特征数目，最后将这些特征输入到SVM分类器中，完成水果形状的分类。上述方法都要求对目标形状分割的准确性，而分割过程中由于存在目标阴影、目标分割不完整问题，会影响到人工特征的准确选取。除了上述人工特征外，最常用的特征是HOG[5，6]、SIFT[7，8]等。HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。HOG表示的是边缘结构特征，因此可以描述局部形状信息。SIFT在图像的空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT特征对于旋转、尺度缩放、亮度变化保持不变。但是，这两种特征在实际应用中，描述子生成过程冗长、计算量太大。而且在上述方法征设计需要启发式的方法和专业知识，很大程度上依靠个人经验。
卷积神经网络不需要手动设计提取特征，可以直接将图片作为输入，隐式地学习多层次特征，进而实现分类[9]。相比目前常用的人工设计特征然后利用各分类器，具有明显的优势。近年来，卷积神经网络已成为语音、图像识别领域研究热点。它的权值共享特点使得网络复杂度降低，权值数量减少。而且，卷积神经网络直接将图片作为输入，避免了复杂的特征设计和提取，具有一定的平移、缩放和扭曲不变性[10]。本文采用卷积神经网络对古玩图片进行分类。首先，将背景分离后的图片作为网络的输入，相比原图作为输入，此方法的网络结构更加简单。然后，卷积层通过不同的卷积核对输入图片进行卷积得到不同特征图，采样层进一步对特征图进行二次提取，最终提取到合适的特征输入分类器进行分类，而在卷积层、采样层征图的大小、数目都会影响到网络的分类能力。因此，本文通过优化网络参数，使网络达到较好的分类效果。
1卷积神经网络
1989年，LECUN等[11]提出了卷积神经网络（Convolution Neural Networks，CNN），CNN是一种带有卷积结构的深度神经网络，一般至少有2个非线性可训练的卷积层、2个非线性的固定采样层和1个全连接层，一共至少5个隐含层[12]。百度于2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别，此后深度学习模型被成功应用于一般图片的识别和理解。从百度经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率[13]。
卷积神经网络作为一种高效的深度学习方法[14]，在许多图像识别方面取得了很好的成效[1519]。该网络作为一种多隐层神经网络，可以提取图像的多层次特征进行识别。
卷积神经网络主要包括卷积层和采样层，卷积层通过可学习的卷积核对输入图片进行卷积得到特征图，卷积操作即加强了输入图片的某种特征，并且降低噪声。卷积之后的结果通过激活函数（通常选择Sigmoid函数或Tanh函数）作用输出构成该层的特征图。特征图上的每一个神经元只与输入图片的一个局部区域连接，每个神经元提取的是该局部区域的特征，所有神经元综合起来就得到了全局特征，与神经元相连接的局部区域即为局部感受野[20]。而在卷积层中一般存在多张特征图，同一张特征图使用相同的卷积核，不同特征图使用不同的卷积核[21]，此特点称为权值共享，即同一张特征图上的所有神经元通过相同的卷积核连接局部感受野。卷积神经网络的局部感受野和嘀倒蚕硖氐愦蟠蠹跎倭送络训练的参数个数，降低了网络模型的复杂度。
采样层对卷积层提取到的特征图进行局部非重叠采样，即把特征图分为互不重叠的N×N个子区域，对每个子区域进行采样。卷积神经网络的采样方式一般有两种：最大值采样和均值采样。最大值采样即选取区域内所有神经元的最大值作为采样值，均值采样为区域内所有神经元的平均值作为采样值。最大值采样偏向于提取目标的特征信息，而均值采样偏向于提取背景的特征信息[22]。采样后的特征平面在保留了区分度高特征的同时大大减少了数据量，它对一定程度的平移、比例缩放和扭曲具有不变性。
卷积神经网络通过卷积层和采样层的循环往复提取到图像由低层次到高层次的特征，最后一般通过全连接层将所有特征图展开得到一维向量，然后输入到分类器进行分类。
卷积神经网络在处理二维图像时，卷积层中每个神经元的输入与上一层的局部感受野相连接，并提取该局部的特征，权值共享特点又使得各神经元保持了原来的空间关系，将这些感受不同局部区域的神经元综合起来就得到了全局信息。采样层对特征图进行局部特征提取，不会改变神经元之间的空间关系，即二维图像经过卷积层、采样层仍然保持二维形式。因此，卷积神经网络有利于提取形状方面的特征。虽然卷积神经网络的局部感受野、权值共享和子采样使网络大大减少了需要训练参数的个数，但是该网络作为多隐层神经网络还是十分复杂的。对于不同的数据库，为了达到比较好的分类效果，网络的层数、卷积层特征图个数以及其它参数的设置都需要探究。
2基于卷积神经网络的古玩图片分类
2.1特征提取及传递
不同古玩的主要区别在于形状不同，而花瓶、盘子和碗在古玩中最常见，因此将这3类图片作为实验对象，对于其它种类的古玩图片的分类，该网络同样适用。卷积神经网络采用如下图所示的5层网络结构，并对网络各层的特征图数目、大小均作了修改。对于网络的输入，先将原图像进行目标与背景分割，然后进行灰度化、统一分辨率的处理，最后输入到卷积神经网络。由于训练卷积神经网络的根本目的是提取不同古玩的特征，而背景不是目标的一部分，对古玩识别来说并不提供任何有用的信息，反而对特征的提取造成干扰，所以去除背景噪声后，网络结构会更加简单，同时也利于网络对特征的学习。但是因为进行了去背景的预处理，网络也失去了对复杂背景下图片的识别能力，所以使用该网络进行古玩图片分类前都要进行目标分割的预处理过程。
卷积神经网络对古玩图片的特征提取过程如下：
（1）输入网络的图片为100×100大小的预处理图，卷积神经网络的输入层之后为卷积层，卷积层通过卷积核与输入图像进行卷积得到特征平面，卷积核大小为5×5。如图2所示，特征平面上每个神经元与原图像5×5大小的局部感受野连接。卷积核移动步长为1个像素，因此卷积层C1的特征平面大小为96×96。这种卷积操作在提取到输入图像的某一方面特征时，必然会损失掉图像的其他特征，而采取多个卷积核卷积图像得到多个特征平面则会一定程度上弥补这个缺陷。因此，在卷积层C1中使用了6个不同的卷积核与输入图像进行卷积，得到6种不同的特征平面图。如图3所示，同一张特征图上的所有神经元共享一个卷积核（权值共享），图中连接到同一个特征图的连接线表示同一个卷积核，6个不同的卷积核卷积输入图片得到6张不同的特征平面图。卷积之后的结果并非直接储存到C1层特征图中，而是通过激活函数将神经元非线性化，从而使网络具有更强的特征表达能力。激活函数选择Sigmoid函数。
卷积层中所使用的卷积核尺寸若过小，就无法提取有效表达的特征，过大则提取到的特征过于复杂。对于卷积层征图个数的设置，在一定范围内，特征图的个数越多，卷积层提取到越多有效表达原目标信息的特征，但是特征图个数如果过多，会使提取到的特征产生冗余，最终使分类效果变差。卷积层的各平面由式（1）决定： Xlj=f（∑i∈MjXl-1j*klij+blj）（1）
式（1）中，Mj表示选择输入的特征图集合，l是当前层数，f是激活函数，klij表示不同输入特征图对应的卷积核，blj为输出特征图对应的加性偏置。
（2）卷积层C1后的采样层S1由6个特征平面组成，采样层对上一层特征图进行局部平均和二次特征提取。采样过程如图4所示，特征平面上的每个神经元与上一层4×4大小的互不重合的邻域连接进行均值采样，最终每个平面的大小为24×24。采样层的各平面由式（2）决定：
Xlj=f（βljdown（Xl-1j）+blj）（2）
式（2）中，down（.）表示一个下采样函数，l是当前层数，f是激活函数，βlj表示输出特征图对应的乘性偏置，blj为输出特征图对应的加性偏置。
（3）卷积层C2与C1层操作方式一样，唯一区别的是C2层每个特征图由6个不同的卷积核与上一层6个特征图分别卷积求和得到，因此C2层一共有6×6个不同的卷积核，卷积核大小为5×5，C2层每个平面大小为20×20，共6个特征平面。
（4）采样层S2与S1层操作一样，对上一层4×4大小邻域进行均值采样，输出6个5×5大小的特征平面。本文所用的网络共包括2个卷积层、2个采样层、1个全连接层，由于输入图片已经过背景分离的预处理，采样层S2特征图大小为5×5，所以图1所示5层网络已经有很好的表达能力。如果直接将原图作为输入，那么网络的层数以及特征图的个数将比图1所示的网络更加复杂。
（5）全连接层将上一层6个5×5大小的二维平面展开成为1×150大小的一维向量输入Softmax[23]分类器，输出层一共有3个神经元（即分类的种类数目），分类器将提取到的特征向量映射到输出层的3个神经元上，即实现分类。
2.2网络训练
训练方式为有监督地训练，网络对盘子、花瓶和碗共三类图片进行分类，所以分类器输出一个3维向量，称为分类标签。在分类标签的第k维中1表示分类结果，否则为0。训练过程主要分为两个阶段：
第一阶段：向前传播A段。
将预处理过的图片输入卷积神经网络计算得到分类标签。
第二阶段：向后传播阶段。
计算输出的分类标签和实际分类标签之间的误差。根据误差最小化的原则调整网络中的各个权值。分类个数为3，共有N个训练样本。那么第n个样本的误差为：
En=12∑3k=1（tnk-ynk）2（3）
式（3）中，tn表示第n个样本的网络输出标签，tnk对应标签的第k维，yn表示第n个样本的实际分类标签，ynk对应标签的第k维。为了使误差变小，利用权值更新公式（4）更新各层神经元的权值，一直训练直到网络误差曲线收敛。
W（t+1）=W（t）+η・δ（t）・X（t）（4）
式（4）中，W（t）表示算第n个样本时的权值，W（t+1）表示计算第n+1个样本的权值，η为学习速率，选取经验值，δ为神经元的误差项，X表示神经元的输入。
3实验结果及分析
实验在MatlabR2012a平台上完成，CPU 2.30GHz，内存4GB，所采用的图像由相关古玩网站提供，分辨率统一格式化为100×100。由于盘子、花瓶和碗在各种古玩种类中它们之间的形状差别比较明显，本文实验对这三类古玩图片进行分类。对古玩图片进行了水平翻转处理，增加图片数据量，以加强网络对古玩图片分类的鲁棒性。实验数据如表1所示，图5列出了3类图片的部分样本，实验所用图片均与图5所示图片类似，背景比较单一，少数图片下方有类似阴影。
为了形象表示网络各层提取的不同特征，图6展示了当网络输入为盘子时的各层特征图。卷积层C1中6张特征图分别提取到了输入图片的不同特征，而由于权值共享，同一张特征图中神经元的空间关系保持不变，所以6张特征图都抓住了盘子的圆形特征。采样层S1对C1进行均值采样，相当于模糊滤波，所以S1层各特征图看起来模糊了一些。卷积层C2中每张特征图由6个不同的卷积核卷积S1层各特征图叠加而成，S2层与S1层处理方式相同。
为了说明将背景分离后的图片作为输入的网络与原图输入的网络之间的差异，设计了如表3所示的两种网络结构，网络CNN4只需要4层网络层就可以达到0.19%的错误率，而原图作为输入的CNN8共6层网络层，在网络达到收敛的情况下，错误率为5.24%。由此可以说明，将背景分离后图片作为输入的网络结构更加简单。
网络的训练采用了批量训练方式，即将样本分多批，当一批样本前向传播完之后才进行权值更新，每批大小为100，训练集共2 200张图片，网络迭代次数为1时共进行22次权值更新，所以权值更新的计算次数与迭代次数有如下关系：
计算次数=22×迭代次数（5）
图7为网络在训练集上的误差曲线图，横坐标为误差反向传播的计算次数，纵坐标为训练集上的均方误差。可以看出，当网络训练次数达到270次（计算次数约6 000）时，训练集误差趋于平缓，网络已经基本拟合。训练好的网络可以用来对测试集图片进行分类，表4为不同迭代次数下训练的网络在测试集上的分类错误率，可以看出迭代次数在达到270次后，网络在测试集的错误率收敛，此时只有2张图片出现分类错误。
表5给出了图像分类算法中常用的人工特征+BP神经网络、人工特征+SVM分类器以及Hog特征+SVM分类器与CNN方法的性能比较。人工设计的特征包括图片中目标轮廓的最大长宽比、质心、圆度等特征。从准确率方面来看，CNN方法的准确率高于其他方法，Hog特征方法的准确率远远高于人工特征的方法，说明了特征的好坏对图像分类效果有着很大程度上的影响，CNN提取到的特征比Hog和人工设计的特征更具代表性。从测试时间来看，Hog方法与CNN方法相差不多，采用人工特征的方法时间最长。综合两个方面，CNN方法在测试时间和HOG方法相近的情况下，准确率最高。
4结语
针对网上古玩图片分类问题，为了克服现有算法中人工设计特征困难以及往往依赖个人专业经验的不足，提出一种基于卷积神经网络的方法。将背景分离后的目标图片作为网络输入，可以实现自动提取特征进行分类，背景分离后图片作为网络输入使得网络结构更加简单，并且设置了合适的特征图个数以使网络在古玩图片集上取得较好的分类准确率。实验数据表明，该方法能够解决网上古玩图片的分类问题，并且分类准确率达到99%，其准确率优于常用的Hog特征以及人工特征方法。另外该方法不仅可以应用于网上古玩图片，还可应用于鞋类、服装等其它商品图像的分类。
参考文献参考文献：
[1]K KAVITHA，M.V.SUDHAMANI.Object based image retrieval from database using combined features[C].in Signal and Image Processing （ICSIP），2014.
[2]董红霞，郭斯羽，一种结合形状与纹理特征的植物叶片分类方法[J].计算机工程与应用，2014，50（23）：185188.
[3]舒文娉，刘全香，基于支持向量机的印品缺陷分类方法[J].包装工程，2014，35（23）：138142.
[4]应义斌，桂江生，饶秀勤，基于Zernike矩的水果形状分类[J].江苏大学学报：自然科学版，2007，28（1）：3639.
[5]ZHU Q，YEH M C，CHENG K T，et al.Fast human detection using acascade of histograms of oriented gradients[C].Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006.
[6]M VILLAMIZAR，J SCANDALIANS，A SANFELIU bining colorbased invariant gradient detector with Hog descriptors for robust image detection in scenes under cast shadows[C].In Robotics and Automation，ICRA IEEE International Conference on.Barcelona，Spain：IEEE，2009.
[7]CHEN J，LI Q，PENG Q，et al.CSIFT based localityconstrained linear coding for image classification[J].Formal Pattern Analysis & Applications，2015，18（2）：441450.
[8]AHMAD YOUSEF K M，ALTABANJAH M，HUDAIB E，et al.SIFT based automatic number plate recognition[C].International Conference on Information and Communication Systems.IEEE，2015.
[9]LAWRENCE S，GLIES C L，TSOI A C，et al.Face recognition：a convolutional neuralnetwork approach[J].IEEE Transactions on Neural Networks，1997，8（1）：98113.
[10]TREVOR HASTIE，ROBERT TIBSHIRANI，J FRIEDMAN.The elements of statistical learning[M].New York：Springer，2001.
[11]Y LECUN，L BOUOU，Y BENGIO.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：22782324.
[12]DAHL J V，KOCH K C，KLEINHANS E，et al.Convolutional networks and applications in vision[C].International Symposium on Circuits and Systems （ISCAS 2010），2010：253256.
[13]余凯，贾磊，陈雨强，等.深度学习的昨天、今天和明天[J].计算机研究与发展，2013（09）：17991804.
[14]MAIRAL J，KONIUSZ P，HARCHAOUI Z，et al.Convolutional kernel networks[DB/OL].http：///pdf/1406.3332v2.pdf.
[15]Z世杰，杨东坡与刘金环，基于卷积神经网络的商品图像精细分类[J].山东科技大学学报：自然科学版，2014（6）：9196.
[16]程文博等，基于卷积神经网络的注塑制品短射缺陷识别[J].塑料工业，2015（7）：3134，38.
[17]邓柳，汪子杰，基于深度卷积神经网络的车型识别研究[J].计算机应用研究，2016（4）：14.
[18]T JONATAN，S MURPHY，Y LECUN，et al.Realtime continuous pose recovery of human hands using convolutional networks[J].ACM Transaction on Graphics，2014，33（5）：3842.
[19]S SKITTANON，A C SURENARAN，J C PLATT，et al.Convolutional networks for speech detection[C].Interspeech.Lisbon，Portugal：ISCA，2004.
[20]HUBEL D H，WIESEL T N.Integrative action in the cat's lateral geniculate body[J].Journal of Physiology，1961，155（2）：385398.
[21]JAKE BOUVRIE.Notes on convolutional neural networks[DB/OL].http：///5869/1/cnn_tutorial.pdf.
卷积神经网络的核心范文第2篇
关键词：卷积神经网络；自动编码器；非监督训练；多尺度分块；目标识别
中图分类号：TP391.41文献标志码：A英文标题
0引言
对图像中目标的精确和鲁棒识别是模式识别及人工智能领域的核心内容，在道路监控、战场侦察、精确打击等领域中有着重要的作用和广泛的前景。近年来，随着深度神经网络成为机器学习新的热点，基于卷积神经网络（Convolutional Neural Network，CNN）的图像识别算法因其较强的鲁棒性和突出的识别率被学术界和工业界所重视。
Alex等[1]提出基于大型深层CNN的自然图像识别算法，在ImageNet数据集上取得了很高的识别率；Dan等[2]提出了基于多核的CNN，并采用GPU并行运算的方法在三维NORB数据集上取得了很好的识别效果。以上算法虽然都取得了较高的目标识别率，但是由于算法采用有监督的训练方式，需要大量标签数据对网络权重进行调整，当数据量较小时会导致模型前几层网络无法得到充分训练，故只能针对含标签数据较多的大型数据集。针对此问题，目前主流的解决方法是采用特征提取算法对CNN的滤波器集进行非监督的预训练。文献[3]采用稀疏编码提取训练图像的基函数作为CNN的初始滤波器；文献[4]将独立成分分析（Independent Component Analysis，ICA）应用于CNN的预训练阶段，利用ICA训练滤波器集合，使识别率得到了一定提高。然而无论是稀疏编码还是ICA，其特征提取的效果都比较一般，应用于预训练阶段对算法识别率的提升也比较有限。所以如何更好地选择滤波器的预训练算法仍是十分困难的问题。
除了预训练外，影响CNN识别率和鲁棒性的关键参数还有滤波器的尺寸和下采样层的采样间隔。滤波器尺寸反映了CNN对输入图像局部特征的提取情况，文献[5]证明滤波器尺寸对最终识别结果有很大影响，并给出了单层条件下相对最优的滤波器尺寸。下采样层主要负责对特征进行模糊，从而获得平移、尺度等不变性。采样间隔反映了模糊的程度，间隔越大模糊越严重，模糊后的特征保持的全局空间信息就越少。文献[6]证明当采样间隔较小时，即使经过2次卷积和2次最大下采样（maxpooling），网络输出的激活值仍能重构出与原始输入看似相同的图案。然而下采样间隔过小会导致不变性丧失，过大则会损失大量细节信息，两者均会导致识别率的下降。
针对以上问题，本文提出基于多尺度分块卷积神经网络（MultiScale Convolutional Neural Network， MSCNN）的图像目标识别算法。首先利用稀疏自动编码器（Sparse AutoEncoder，SAE）对卷积神经网络的滤波器进行非监督预训练，通过最小化重构误差获得待识别图像的隐层表示，进而学习得到含有训练数据统计特性的滤波器集合，预训练效果相比ICA更好。其次提出多尺度分块的方法构建卷积神经网络，为了增加鲁棒性并减小下采样对特征表示的影响，对输入图像进行多尺度分块形成多个通路，并设计相应尺寸的滤波器进行卷积运算，将不同通路下采样后的输出进行融合从而形成新的特征，输入softmax分类器完成图像目标的识别。最后通过大量实验对比MSCNN算法与经典算法在通用图像识别任务中的识别率和鲁棒性差异，从而验证算法的有效性。
4仿真实验及分析
本文使用STL10公开数据集以及从全色波段的QuiekBird遥感卫星和GoogleEarth软件中截取的遥感飞机图像数据集进行测试实验，将所有图片变为64×64像素的RGB图。选择STL10数据集的原因是因为其含有不包含标签的训练集，可用于本文的非监督预训练算法，且图像中包含更多类内变化。STL10共10类目标，本文选用其中的4类目标进行实验。选择遥感飞机图像数据则是为了验证本文算法在遥感图像解译方面的可用性。该数据集包含5类遥感飞机，共400幅。实验时随机选取遥感飞机图像库中50%的图像作为训练样本，其余作为测试样本。本文的实验环境为CPU2.8GHz、内存3GB的计算机，实现算法的软件为Matlab（2011a）。
4.1算法识别率对比测试
MSCNN的各通路尺寸参数设置如图4所示，每个通道使用300个滤波器，滤波器初始值按照不同通道感受野大小利用稀疏自动编码器预训练得到。编码器设定为3层，稀疏参数ρ设定为0.05，训练周期为400。卷积神经网络的下采样方式采用最大下采样（max pooling）。
按照上述参数设置，通路1输出特征维度为2700，通路2输出特征维度为4800，通路3输出特征维度为4800，MSCNN输出特征维度总共为12300。所有算法的训练周期均为50。传统CNN参数设定与通路1参数设定相同，同样使用300个滤波器，滤波器初始值通过随机初始化得到。输出特征维度为2700。实验结果如表1所示。
从表1可看出，加入LCN的CNN较未加入的CNN对两种数据集的识别率有一定的提高，说明了加入LCN对目标识别率是有一定的贡献的；在两种数据集上MSCNN相比原始CNN都拥有更高的识别率。MSCNN通路1虽然参数设置与CNN相同，但在相同训练周期下识别率较加入LCN的CNN又有一定提高，说明了非监督预训练对识别率提高的有效性。对于STL10数据集，可看出通路2的识别率在3个通路中最高，通路3则最低，这是因为通路3输入的图像尺寸最小，而STL10类内变化很大且目标不全在图像中心，故识别率有所下降。通路之间进行两两累加后识别率都有所提高，在3个通路共同作用时识别率最高，达到83.5%。对于遥感飞机图像集而言，可看出3个通路中通路2的识别率最高，这是因为遥感飞机图像集均为飞机图像，不同类别之间的全局特征差异并不明显，而局部特征更能表示不同的飞机类别。通路3由于输入尺寸较小，识别率稍有下降。同样的，不同通路之间的叠加都让识别率有所提升，最终MSCNN三通路特征融合后的识别率达到了96.5%，完全满足对于可见光遥感图像目标识别的需求。
从表1还可看出，本文算法在3个通路CNN的情况下的识别率较1个通路或2个通路的CNN的识别率高，由此可以推断3个通路CNN所提取的特征具有较强的泛化能力和鲁棒性。此外3个通道能够兼顾不同的尺度，使模型能提取到尺度不同的特征。
4.2算法鲁棒性实验
为验证MSCNN的鲁棒性，在数据集中选取不同类别的图像对其进行平移、尺度、旋转变换，然后计算MSCNN输出的第一层全连接特征与图像变换后输出特征之间的欧氏距离，根据距离的大小可以衡量输出特征对于目标变化的鲁棒性，欧氏距离越小就说明特征对于目标变化越不敏感，鲁棒性就越好。对于STL10选取四类目标进行实验，对比算法为CNN；对于遥感飞机图像集随机选取10幅进行实验，并取距离的平均值，对比算法为ICA和CNN。测试结果如图6～7所示。
图6中虚线表示传统CNN算法得到的结果，实线则表示MSCNN得到的结果，从图6可看出：无论是面对平移、尺度还是旋转变换，MSCNN算法最终输出的特征向量变化率均小于CNN算法，证明其鲁棒性要好于CNN。
从图7也可看出：本文算法对于遥感飞机图像集的平移、尺度、旋转均表现出良好的鲁棒性，相比而言ICA提取的特征鲁棒性较差，目标图像微小的变化就导致了特征较大的改变。本文算法鲁棒性较好首先是因为MSCNN采用非监督的预训练方式，训练得到的滤波器含有更多图像不变性特征；其次是因为MSCNN采用多尺度输入，小块图像输入在一定程度上相当于另一种局部特征，这些特征相比全尺寸输入拥有更好的不变性；最后是MSCNN采用了局部对比度标准化，对于亮度变化较大和存在噪声的目标图像鲁棒性明显增强。
另外，本文算法采用了多通路多尺度分块的方法，必然会使网络参数增加，从而会使训练时间比较耗时；但在测试阶段，输入样本的计算仅包含一些简单的卷积和下采样，算法复杂度并没有因为通道的增加而增加，因此在测试阶段的实时性较传统的CNN并没有太大变化。
5结语
本文提出了MSCNN算法在卷积神经网络的基础上通过非监督预训练滤波器的方法解决传统卷积神经网络前几层无法得到有效训练的问题。针对传统神经网络对于复杂背景图像识别率不高的问题，利用多尺度输入图像增加局部不变信息，利用不同尺寸滤波器卷积搭配不同下采样间隔的方法在获得特征不变性的同时不至于丧失目标的细节信息，有效提升了识别率和鲁棒性。与经典算法的对比实验结果表明：该方法能够有效识别可见光自然图像和遥感图像，并对平移、尺度和旋转变换具有较强的鲁棒性。
参考文献：
[1]
ALEX K， ILYA S， HINTON G E. ImageNet classification with deep convolutional neural networks[EB/OL]. [20150210]. http：//papers.nips.cc/paper/4824imagenetclassificationwithdeepconvolutionalneuralnetworks.pdf.
[2]
DAN C， UELI M， JURGEN S. Multicolumn deep neural networks for image classification[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 3642-3649.
[3]
KAVUKCUOGLU K， SERMANET P， BOUREAU Y， et al. Learning convolutional feature hierarchies for visual recognition[EB/OL]. [20150210]. http：//cs.nyu.edu/～ylan/files/publi/koraynips10.pdf.
[4]
KAVUKCUOGLU K， RABZATO M， FERGUS R， et al. Learning invariant features through topographic filter maps[C]// IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2009： 1605-1612.
[5]
COATES A， LEE H， NG A Y. An analysis of singlelayer networks in unsupervised feature learning[C]// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Piscataway， NJ： IEEE， 2011： 215-223.
[6]
ZEILER M D， FERGUS， R. Visualizing and understanding convolutional neural networks [C]// ECCV 2014： Proceedings of the 13th European Conference on Computer Vision. Berlin： Springer， 2014： 818-833.
[7]
BALDI P， LU ZHIQIN. Complexvalued autoencoders [J]. Neural Networks， 2012， 33：136-147.
[8]
HAYKIN S.神经网络与机器学习[M].3版.申富饶， 徐烨， 郑俊， 译. 北京： 机械工业出版社， 2011：81-89.（HAYKIN S. Neural Networks and Learning Machines[M]. 3rd ed. SHEN F R， XU Y， ZHENG J， translated. Beijing： China Machine Press， 2011：81-89.
[10]
LECUN Y， BOTTOU L， BENGIO Y. Gradientbased learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
[11]
DERMANET P， LECUN Y. Traffic sign recognition with multiscale convolutional networks [C]// Proceedings of the 2011 International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2011： 2809-2813.
[12]
GONG Y C， WANG L W， GUO R Q， et al. Multiscale orderless pooling of deep convolutional activation features[C]// ECCV 2014： Proceedings of the 13th European Conference on Computer Vision. Piscataway， NJ： IEEE， 2014： 392-407.
[13]
JARRETT K， KAVUKCUOGLU K， RANZATO M， et al. What is the best multistage for object architecture？[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 2146-2153.
[14]
BOUVRIE J. Notes on convolutional neural networks [EB/OL]. [20150210]. http：//math.duke.edu/～jvb/papers/cnn_tutorial.pdf.
Background
This work is partially supported by the National Natural Science Foundation of China （61372167， 61379104）.
ZHANG Wenda， born in 1991， M. S. candidate. His research interests include pattern recognition and artificial intelligence.
卷积神经网络的核心范文第3篇
由于在移动数码设备（例如智能手机、掌上电脑、学习机等）以及平板电脑（Tablet PC）上的巨大应用价值，联机手写汉字
>> 联机手写汉字／词组识别的研究及其应用 基于联机手写汉字字块特征码提取的研究 用VB实现联机手写汉字的笔划端点提取 藏文联机手写识别的研究与实现索 基于多重卷积神经网络的大模式联机手写文字识别 联机手写维文字符的预处理和特征提取方法 基于过拆分和合并的联机手写英文单词分割技术 对脱机手写相似汉字识别方法的研究 基于神经网络的联机手写识别系统的研究和实现 立足细化处理解析脱机手写汉字识别 BP神经网络探析脱机手写汉字识别 脱机手写数字识别技术研究 一种改进的脱机手写汉字四角特征粗分类方法 基于字型特征的手写体汉字多分类识别的研究 脱机手写体签名识别的小波包隐马尔可夫模型 基于GABP神经网络的脱机手写藏文识别方法 基于置信度分析的脱机手写数字识别算法 手写汉字识别系统的研究与应用 手写数字识别的原理及应用 手写汉字的特性与生命力 常见问题解答 当前所在位置：l，运行时需要Java Runtime Environment 1.5以上版本的支持），已经能较好地识别笔顺无关的手写体汉字。目前该系统还没有加上虚拟笔划等一些草书识别技术及先进的结合联机及脱机识别引擎的多分类器集成技术，我们将来在适当时候会利用Java平台实现这些技术并在该页面上公布。
我们还构想了一个联机手写识别技术在计算机辅助汉字书写学习中的崭新应用――汉字听写学习，初步的原型网页见218.192.168.156:8080/ call/dictation.asp，（该页面同样用Java平台实现，运行时需要JRE支持）。 使用者可以进行在线汉字听写，然后系统利用联机识别技术自动评判使用者书写的字符是否正确，并给出反馈。该技术已经集成到我们正在设计的一个对外汉语书写教学网站之中。近年来，随着中国社会经济建设的飞速发展，汉语教学在世界各地受到越来越多的重视，国外的汉语学习者日益增多，尽管目前国内外有不少汉语教学网站或软件，但我们的学习系统利用低存储量的活动汉字编码技术及动态反走样还原显示技术、基于联机识别的汉字听写技术以及汉字书写质量评价技术，具有特色和创新。
六、结束语
我们认为，高自由度的草书识别及无约束的手写词组的识别是构造更自然、更快捷、更流畅的手写输入方式的核心技术，相信通过国内外同行的努力，在不远的将来，手写输入法会变得更实用、更高效、更具竞争力；此外，手写汉字/词组识别技术在计算机教育、智能机器人等领域中还可带来更多的创新应用。
卷积神经网络的核心范文第4篇
关键词：卷积神经网络；人脸识别；大样本；对抗生成网络
中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2017）07-00-04
0 引 言
近几年，基于大量训练数据的卷积神经网络（Convolutional Neural Networks，CNN）在目标检测、目标识别、显著性检测、行为识别、人脸识别和对象分割等计算机视觉领域取得了举世瞩目的成果。这些令人鼓舞的成绩主要归功于以下几点：
（1）将大量有标签的数据作为训练集，学习出具有百万参数的模型，从而使卷积神经网络能够有效提取对象的本质特征；
（2）不断改进性能优异的网络结构，如Very Deep VGG Network[1]，Google Inception Network[2]和Deep Residual Networks[3]等；
（3）各种并行计算硬件设备（如GPU）的支持，大大提高了CNN训练模型的效率。其中，将标签的大量数据作为训练集起着至关重要的作用。
本文以人脸识别为例，讨论和综述多样本算法的研究现状和发展方向。
有效的特征是目标识别的关键，对人脸识别问题来说亦如此。传统的主成分分析（Principal Component Analysis，PCA）[4，5]，线性区分分析（Linear Discriminant Analysis， LDA）[6]和局部二值模式化（Local Binary Pattern，LBP）[7，8]等取得了不错的成绩。基于传统特征的人脸识别受限于环境，此类特征作用在复杂或者背景多变的人脸图像时，其识别性能往往大幅下降，如在LFW数据集上其识别率骤然下降[9]。
采用CNN作为特征提取模型，主要考虑到该模型的所有处理层，包括像素级别的输入层，均可从数据中学习到可调节的参数。即CNN能自哟哟笫据中学习特征，无需人工设计特征。合理有效的特征需从大量数据和大量参数中自动学习获取，从而达到优秀的识别性能。基于卷积神经网络的世界领先方法均使用了上百万的数据，其中最具有代表性的如VGG-Face网络需要260万个人脸图像样本进行训练[10]，Facebook的DeepFace网络需要440万个有标签的人脸图像样本训练[11]。而Google更使用了2亿样本数据来训练FaceNet网络[12]。
1 多样本获取现状
如引言所述，有效合理的特征是目标识别的关键，而CNN能从大量有标签的数据中自动学习图像的本质特征。获得图像特征的关键因素是有标签的大数据。因此许多研究的前提工作均聚焦在人工获取数据和给数据加标签方面。然而，获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。虽然也有一些公开免费的数据集，且收集该类数据相对比较容易，如CASIA-WebFace[13]，有49万个图像，但远少于Facebook和Google的数据集。在这种情况下，缺乏大量样本直接阻碍了深度学习方法的使用，成为阻碍提高检测率和识别率的瓶颈。除了深度学习技术提取特征需要大量样本外，已有研究证明[14-19]，基于传统方法的技术同样需要大量样本作为支撑。在这种形势下，通过图像处理与机器学习技术自动增加样本集已成为必要手段。
无论基于传统方法的识别问题，还是基于深度学习的识别问题，大量有标签的数据作为训练集在算法中起着举足轻重的作用。如果样本不足，算法往往过拟合，无法提高算法的性能。为了获得更多样本，一些研究工作从网络上获取数据，例如在IMDb上，已经把9万有标签的数据集扩大到了26万 [10]。除此之外，Facebook获取了440万个有标签的人脸进行DeepFace网络训练[11]，而Google使用2亿个数据训练FaceNet网络[12]。
目前获取方法具有如下局限：
（1）现有方法耗时耗力，需要经费支持。获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。这种情况下，只有像Facebook和Google这样的大公司会收集大量有标签的数据进行网络训练。而大多数情况下的数据收集涉及个人隐私与财力物力等问题，对于一般的小公司或科研院所而言，收集数据普遍难度较大。
（2）收集特殊图片困难。对于一些特殊的图像，如医学图像，遥感图像，现实中数量本身就少，加之无法直接从网上获取，因此小样本很容易导致过拟合。
2 样本集扩大算法研究现状
2.1 基于传统方法的多样本算法研究现状
对于传统的样本生成算法，如果数据集中有足够的训练样本，均可得到比较满意的识别结果，但在现实的人脸数据库中，人脸的数据样本却是有限的。文献[20]表明，增加图像样本的数量可以较大幅度提高识别的准确率。
为了增加样本数量，提高识别准确率，科研工作者已做了大量工作。其中，借助原始样本产生虚拟样本是一种有效的增加数据集方法。这种方法大致分为如下几类：
（1）通过人脸图像的对称性来得到原始样本的虚拟样本，如Xu[14，15]和Liu等[21]提出借助原始图像的“对称脸”和“镜像脸”产生虚拟样本，从而扩大数据集并提高人脸识别的正确率，Song[22]也提出相应的算法来改进人脸识别的性能；
（2）通过改变图像的光照、姿势和表情等来产生虚拟样本，例如Boom等用一种称为VIG的方法对未知光照情况进行建模[16]，Abdolali[17]和Ho[18]等提出了类似的算法扩大数据集；
（3）基于人脸图像自身的特征生成虚拟样本，Ryu等根据原始样本的分布来产生虚拟样本[19]，Liu等也根据图像本身特性来产生虚拟样本[23]。
（4）基于数学的多样本产生方法，如Zhang等提出利用奇异值分解的方法获得基于原始样本的虚拟样本[24]。借助图像合成方法生成的新样本如图1所示。
图1 借助图像合成方法生成新样本
除了借助图像处理方法获得原始样本的新样本外，还可以利用图像合成算法获取多样本，本研究做了相关实验，其结果如图1所示。假设数据集中有c类人脸图像，每类有ni个样本，令表示第i类中的第j个样本，这里i=1，2，…，c，j=1，2，…，ni，h和w分别代表样本xij的高和宽（均为像素值）。用X=[X1，X2，…，Xc]代表所有样本，则Xi=[xi1，xi2，…，xini]，i=1，2，…，c代表第i类样本。则有：
其中， P（Xi）代表所生成的第i类新样本， f（g）表示图像处理函数，代表多个样本的串联，即将多个样本联合起来得到一个类别的新样本。
2.2 基于深度学习的多样本生成算法研究现状
大量有标签的训练数据是机器学习成功的关键，尤其对于强大的深度学习技术，大数据集能提高CNN的性能，防止过拟合[25]。为了扩充数据集，已有一些工作在不改变图像语义的情况下进行，如水平镜像[26]、不同尺度的剪裁[27，28]、旋转[29]和光照变化[27]等传统方法。
DeepID[30]采取了增大数据集手法来训练网络，只有大的数据集才能使得卷积神经网络训练得更加充分，该研究采用两种方法增大数据集：
（1）选择采集好的数据，即映入CelebFaces数据集。
（2）将原始数据集中的图片多尺度、多通道、多区域的切分，然后分别进行训练，再把得到的向量串联起来，即得到最后的向量。
以上方法仅局限于相对简单的图像处理技术，该类方法生成的多样本具有一定的局限性。比如，真正意义上的旋转应按一定的角度进行3D旋转，而不仅仅是图像本身的角度旋转。合成数据能一定程度上解决以上问题，如Shotton等通过随机森林合成3D深度数据来估计人体姿势，Jaderberg等使用合成数据来训练CNN模型识别自然场景下的文字[31]。这些研究的结果均优于使用剪裁，旋转等传统方法。但使用3D合成图像比较复杂，需要较多的前期工作。
近年来，借助生成对抗网络（Generative Adversarial Networks，GANs）来生成原始样本的方法吸引了很多学者。2014年6月，Goodfellow 等发表了论文《Generative Adversarial Nets》[32]，文中详尽介绍了GANs的原理、优点及其在图像生成方面的应用，标志着GANs的诞生。早期的GANs模型存在许多问题，如GANs网络不稳定，甚至有时该网络永远不会开始学习，生成的结果无法令人满意。文献[32]中生成器生成的图片十分模糊，针对此问题，Denton等提出一个被称为 LAPGANs的模型[33]，该模型用多个卷积神经网络连续生成图像，这些新图像的清晰度不断提高，最终得到高分辨率图像。GANs除了基于图像生成图像外，还可以通过文字生成图像，如文献[34]搭起了文本到图像的桥梁，通过GANs将文本直接转换成对的图像。文献[35]将GAN应用于超分辨率中，该文献提出了全新的损失函数，使得 GANs 能对大幅降采样后的图像恢复其生动纹理和小颗粒细节。另外，Radford 等提出了名为DCGANs的网络[36]，该文献指出，用大数据集训练出的 GANs 能学习一整套层级的特征，并具有比其他无监督学习模型更好的效果。以上方法均为基于一大类原始样本生成另一大类图像。
基于GAN生成样本的过程如图2所示。首先将同类别的原始图像输入到生成对抗网络GAN的生成器网络G中，生成“假冒”图像G1和G2，接着借助判别器D来判断输入的图像是真实图像还是“假冒”图像。生成器G努力生成类似原始样本的图像，力争判别器D难以区分真假；而判别器D应不断提高自身性能，有能力鉴别出由生成器G生成的图像为赝品。生成器G和判别器D的价值函数如下：
生成器G最小化log（1-D（G（z））），判别器D最大化logD（x），使得最大概率按照训练样本的标签分类， 生成模型G隐式定义了一个概率分布Pg，希望Pg 收敛到数据真实分布Pdata。
图2 GAN生成新样本示意图
3 结 语
综上所述，基于原始样本的多样本生成算法是一个值得深入研究探索的问题，具备清晰而明确的理论意义和现实应用意义。虽然研究人员已经对相关问题进行了一些研究，取得了一系列成果，但是多样本的产生方法缺乏全面、深入的理解，尚未出现具有里程碑意义的研究成果。具体而言，本文认为，基于原始样本的多样本生成问题需要在如下几个方面展开深入的研究：
（1）在研究多样本生成算法时，保留原始样本的本质特征，如在人脸识别中，抛弃不必要信息（光照、表情和姿势）的影响是一项十分有意义的工作。
（2）在合成新样本时，设计合理有效的构造元素，使合成的新表示更接近自然亦是一个值得研究的方向。
（3）基于生成对抗网络，研究某一类对象的生成新样本的核心算法是一项有意义的工作。
参考文献
[1] K Simonyan， A Zisserman.Very deep convolutional networks for large-scale image recognition [Z]. Computer Science， 2014.
[2] C Szegedy，W Lin，Y Jia， et al. Going deeper with convolutions[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015.
[3] K He，X Zhang，S Ren，et al. Deep residual learning for image recognition[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016.
[4] Turk， Matthew， Pentland， et al.Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 2014，3（1）： 71-86.
[5] A Pentland.Looking at People： Sensing for Ubiquitous and Wearable Computing[J].IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（1）： 107-119.
[6] C Liu， H Wechsler.Robust coding schemes for indexing and retrieval from large face databases[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2000，9（1）： 132-137.
[7] T Ojala，M Pietik?inen.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002，24（7）： 404-420.
[8] T Ahonen， A Hadid， M Pietikainen.Face Description with Local Binary Patterns： Application to Face Recognition[J]. European Conference on Computer Vision， 2004，28（12）： 469-481.
[9] GB Huang， M Mattar， T Berg，et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[Z].Month，2008.
[10] OM Parkhi， A Vedaldi， A Zisserman.Deep Face Recognition[C]. British Machine Vision Conference， 2015.
[11] Y Taigman，M Yang， Marc， et al. DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]. in Conference on Computer Vision and Pattern Recognition，2014.
[12] F Schroff，D Kalenichenko，J Philbin.FaceNet： A unified embedding for face recognition and clustering[C]. in IEEE Conference on Computer Vision & Pattern Recognition，2015.
[13] D Yi，Z Lei， S Liao， et al.Learning face representation from scratch[Z]. Computer Science， 2014.
[14] Y Xu， X Zhu， Z Li， et al.Using the original and ‘symmetrical face’ training samples to perform representation based two-step face recognition[J]. Pattern Recognition， 2013，46（4）： 1151-1158.
[15] Y Xu.Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing， 2014，31（7）： 191-199.
[16] BJ Boom， LJ Spreeuwers， RNJ Veldhuis.Virtual illumination grid for correction of uncontrolled illumination in facial images[J]. Pattern Recognition， 2011，44（9）： 1980-1989.
[17] F Abdolali，S Seyyedsalehi. Improving pose manifold and virtual images using bidirectional neural networks in face recognition using single image per person[Z]. in International Symposium on Artificial Intelligence and Signal Processing，2011.
[18] HT Ho，R Chellappa. Pose-invariant face recognition using Markov random fields[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2013，22（4）： 1573.
[19] Y.-S.， Ryu.，S.-Y.， O..Simple hybrid classifier for face recognition with adaptively generated virtual data[J]. Pattern Recognition Letters， 2012，23（7）： 833-841.
[20] A Wagner，J Wright， A Ganesh，et al.Toward a Practical Face Recognition System： Robust Alignment and Illumination by Sparse Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012，34（2）： 372-386.
[21] Z Liu，X Song，Z Tang.Integrating virtual samples and fuzzy discriminant analysis for sparse representation-based face classification[J]. Journal of Electronic Imaging， 2015，24（2）： 23013.
[22] YJ Song，YG Kim，UD Chang，et al. Face recognition robust to left/right shadows； facial symmetry[J]. Pattern Recognition， 2006，39（8）： 1542-1545.
[23] Z Liu， X Song， Z Tang.Fusing hierarchical multi-scale local binary patterns and virtual mirror samples to perform face recognition[J]. Neural Computing & Applications， 2015，26（8）： 2013-2026.
[24] G Zhang，W Zou，X Zhang，et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition[J]. Digital Signal Processing， 2017，62： 150-156.
[25] K Chatfield，K Simonyan，A V edaldi，et al. Return of the devil in the details： Delving deep into convolutional nets[Z]. Computer science， 2014.
[26] H Yang， I Patras.Mirror， mirror on the wall， tell me， is the error small？ [J]. Der Chirurg； Zeitschrift für alle Gebiete der，2015，69（12）：235-240.
[27] A Krizhevsky， I Sutskever， GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems， 2012，25（2）： 1097-1105.
[28] G Levi，T Hassner. Age and gender classification using convolutional neural networks[C].in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2015.
[29] S Xie， Z Tu. Holistically-nested edge detection[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015.
[30] Y Sun， X Wang， X Tang.Deep Learning Face Representation from Predicting 10，000 Classes[C]. in Computer Vision and Pattern Recognition，2014.
[31] M Jaderberg， K Simonyan，A Vedaldi，et al.Synthetic data and artificial neural networks for natural scene text recognition[Z]. Eprint Arxiv， 2014.
[32] I Goodfellow，J Pougetabadie， M Mirza， et al. Generative adversarial nets[Z]. in Advances in neural information processing systems， 2014.
[33] E Denton，S Chintala，A Szlam. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[Z]. Computer science，2015.
[34] S Reed，Z Akata， X Yan，et al. Generative adversarial text to image synthesis[C]. in Proceedings of The 33rd International Conference on Machine Learning，2016.
卷积神经网络的核心范文第5篇
AI从诞生到现在已经有60年的时间，期间经历两轮起落，呈阶梯式进化，走到今天进入第三个黄金期。如果按照其智能科技水平划分，今天的人工智能尚处在狭义智能向广义智能进阶的阶段，还是一名不折不扣的“少年”，未来拥有无限的可能和巨大的上升空间。
AI是一门交叉的学科：人工智能由不同的技术领域组成，如机器学习、语言识别、图像识别、自然语言处理等。而同时，它也是一门交叉学科，属于自然科学和社会科学的交叉，涉及到哲学和认知科学、数学、神经生理学、心理学、计算机科学、信息论、控制论、不定性论等学科。人工智能领域的技术壁垒是比较高的，并且会涉及到多学科协作的问题，对任何公司来说，想做好人工智能将是一门大工程。未来不大可能出现一个公司能包揽整个人工智能产业每一个部分的工作，更可能的模式将是一个公司专注于一个相对细分的领域，通过模块化协作的形式实现人工智能领域的不同应用。
进化史呈阶梯状，以阶段突破式为成长模式：人工智能的发展经历了两次黄金和低谷期，
现在正经历着第三个黄金期。1956年，麦卡赛、明斯基、罗切斯特和申农等年轻科学家在达特茅斯一起聚会，并首次提出了“人工智能”这一术语，标志着人工智能的诞生。第二年，由 Rosenblatt 提出 Perceptron 感知机，标志着第一款神经网络诞生。1970年，因为计算能力没能突破完成大规模数据训练，人工智能的第一个黄金期到此结束。
后直到1982年德普霍尔德神经网络的提出，人工智能进入第二个黄金期，之后BP算法的出现使大规模神经网络训练成为可能，人工智能的发展又一次进入。1990年，因为人工智能计算机和DARPA没能实现，政府撤资，人工智能又一次进入低估。2006年，随着“深度学习”神经网络取得突破性进展，人工智能又一次进入黄金时期。
AI将由狭义智能向广义智能进化，虽然人工智能的诞生已经有60年的时间但如果把它比喻成一个人的话，当前的他应该还未成年。按照人工智能的“智能”程度，可以将其分成狭义智能、广义智能、超级智能三个大的发展阶段，现阶段的图像与语音识别水平标志着人类已经基本实现狭义智能，正在向广义智能的阶段迈进。
狭义智能：即当前的技术已经实现的智能水平，包括计算智能与感知智能两个子阶段，计算智能指的机器开始具备计算与传递信息的功能，感知智能指机器开始具备“眼睛”和“耳朵”，即具备图像识别与语音识别的能力，并能以此为判断采取一些行动。
广义智能：指的是机器开始具备认知能力，能像人类一样获取信息后主动思考并主动采取行动。在这个阶段，机器可以全面辅助或代替人类工作。
超级智能：这个阶段的机器几乎在所有领域都比人类聪明，包括科学创新、通识和社交技能等。这个阶段目前离我们还比较遥远，到时候人类的文明进步和跨越或许将有赖于机器，而机器人意识的伦理问题也许将在这个阶段成为主要问题。
推荐引擎及协同过滤可以分析更多的数据
智能助手并不只局限于Siri等手机语音助手。微软率先在win10 系统中加入个人智能助理Cortana，标志着个人PC端智能助理的出现;图灵机器人以云服务的方式进入海尔智能家居、博世mySPIN车载系统，预示着多场景人工智能解决方案的潮流。初步实现人机交互的智能助手系统，已经被应用于智能客服、聊天机器人、家用机器人、微信管理平台、车载系统、智能家居系统、智能手机助理等多个软硬件领域。
垂直类网站及社交平台可以借助智能助手系统打造高专业度的“在线专家”以提升平台价值;企业可以借助以“语义识别”为基础的智能助手系统，打造智能客服，效率远高于传统的以“关键词对应”为技术支持的客服系统。
推荐引擎，是主动发现用户当前或潜在需求，并主动推送信息给用户的信息网络。挖掘用户的喜好和需求，主动向用户推荐其感兴趣或者需要的对象。传统推荐引擎通常利用用户在平台上的历史记录进行推荐，效率低、匹配度不高。目前随着大数据和深度学习技术的推进，推荐引擎及协同过滤可以分析更多的数据，乃至全网数据，并模拟用户的需求，真正达到按需推荐。全球最大的正版流媒体音乐服务平台Spotify也利用卷积神经网络参与建设其音乐推荐引擎;谷歌也提出利用深度学习方法来学习标签进行推荐建设。出品纸牌屋的全球最大在线影片租赁公司Netflix 也利用深度学习网络分析客户消费的大数据，还计划构建一个在AWS云上的以GPU为基础的神经网络。
“餐厅推荐引擎”Nara，便是一个利用AI技术的推荐引擎。在上线之初，Nara 就取得了400万美元的投资。Nara 的数据库中有超过100000家餐厅的信息，并利用特有的“Nara神经网络”，学习使用者的偏好，最终达到“电脑帮你点餐”的目的。
而今年3月22日，国内AI领军企业阿里巴巴旗下的阿里云数加启动“个性化推荐”引擎对外公测，该引擎用于帮助创业者可以快速获得媲美淘宝天猫的个性化服务能力。阿里云数加上的推荐引擎能够以更低的成本完成开发，节省程序量达到90%，推荐引擎的搭建时间将由几个月缩短到几天。
对于不了解算法的人，只能实现标签规则类的推荐，但如果要做成机械化、类似协同过滤的算法，创业公司需要配置大量的算法工程师，人力成本很高。现在用了数加的推荐引擎，商家只需要做数据的ETL加工，推荐的结果集、训练集都不用处理，只需要调整参加即可得到推荐结果。
AI带给人们新的视觉???
医疗：为健康诊断和药品研发插上高飞的翅膀
健康诊断有望迎来新纪元，海量的病历数据和医学界的新研究成果，单靠人工很难及时筛选并利用，而引入人工智能技术将充分发挥这些信息的价值。例如著名的个人健康管理产品公司Welltok将 IBM的Watson功能融入旗下产品 CafeWell Concierge APP中，借助 Watson 的认知计算能力理解人类语言，实现与用户沟通的能力，从大量数据中进行分析并为用户提供健康管理相关的答案和建议，实现健康管理、慢病恢复训练、健康食谱等功能，这一领域的良好前景使 Wellltok公司近年的融资额连创新高。另外，2015年IBM斥资10亿美元收购医疗影像与临床系统提供商Merge，将研究如何实现 Watson的“辨读”医学影像功能。此外，AI 还可以从医疗中心获得的健康数据，通过大数据分析，实现根据分析患者行为来制定个性化治疗方案的功能。
智能家居：天花板尚远，AI有望成为核心
行业天花板尚远，增速有望保持在 50%左右， 《钢铁侠》中的“Jarvis”作为智能管家，除了起到钢铁侠的小秘书的作用，还帮主人打理着日常生活，向我们展示了一个理想中的智能家居系统。虽然我们目前可能离那个无所不能的智能管家还很遥远，但智能家居对我们生活的变革确实已经开始了。根据《2012-2020 年中国智能家居市场发展趋势及投资机会分析报告》的预测，我国智能家居市场在 2016年将达到605.7亿的规模，同比增长50.15%，到2020年市场规模将达到3294亿，年均增速将保持在50%左右，具备充足的向上延伸空间。而智能家居想达到“Jarvis”般的终极效果，必然需要引入AI技术，实现家居的感应式控制甚至自我学习能力。
AI有望成为智能家居的核心，实现家居自我学习与控制。按照智能家居的发展进度，大致可以分为四个阶段：手机控制、多控制结合、感应式控制、系统自我学习。当前的发展水平还处在手机控制向多控制结合的过度阶段。而从多控制结合向感应式控制甚至自我学习阶段进化时，AI将发挥主要功能。到今天为止，家居的实体功能已经较为全面，未来的发展重点可能在于如何使之升级改造，实现家居的自我行为及协作，因此未来AI在智能家居领域的应用有望成为其核心价值。AI对智能家居的重构可以深入到方方面面，包括：控制主机、照明系统、影音系统、环境监控、防盗监控、门窗控制、能源管理、空调系统、花草浇灌、宠物看管等等。
无人驾驶：政策渐萌芽，AI决定可靠性
优点多、动机足、政策渐萌芽。据麦肯锡的调查显示，如果能解放驾驶员的双手，一辆无人驾驶汽车内的乘客通过移动互联网使用数字媒体服务的时间多一分钟，每年全球数字媒体业务产生的利润将增加 50亿欧元。此外，由于自动泊车无须为乘客下车预留开门空间，使得停车位空间可缩减至少15%。
如果无人驾驶汽车以及ADAS系统能够将事故发生率降低90%，即可挽回全美每年的损失约1千900亿美金。可以说诸多的优点使得无人驾驶技术的研发动机还是相当充分的，因此未来无人驾驶推行的力度应该还会保持在一个比较高的水平。美国勒克斯研究公司曾预计无人驾驶汽车的市场规模在2030年将达到870亿美元。
到目前为止，各国政府对于无人驾驶技术在政策上的支持正逐步放开，美国政府在年初刚刚宣布了40亿美元的资助计划;英国目前已经不需要获得额外批准和履约保证即可进行实际道路的无人驾驶汽车测试;而德国也在去年宣布将计划设立无人驾驶汽车测试路段，供安装有驾驶辅助系统或全自动驾驶系统车辆行驶;欧盟总部正在就如何修改现行有关驾驶的法律法规从而支持自动驾驶的发展展开讨论和研究工作;日本也提出要在2020年之前实现自动驾驶汽车方面的立法，并将自动驾驶作为 2016年9月七国集团交通部长会议的议题。
“无人汽车大脑”AI的智能程度决定了无人驾驶的可靠性。由于无人驾驶完全交由汽车的内置程序负责，因此AI就是无人汽车的大脑，而测距仪、雷达、传感器、GPS等。设备都是AI的“眼睛”。AI的智能程度直接决定了无人驾驶汽车在不同的路况、不同的天气、甚至一些探测设备出现故障的突况下能否及时做出正确的判断并灵活调整行驶策略，最终决定了无人驾驶汽车当前最亟待突破的可靠性。
NVIDIA 在2016年的 CES大会上了“Drive PX 2”车载计算机，以及一套与之搭配的具有学习功能的自动驾驶系统。该系统的亮点在于“自我学习”，通过让车辆自行分析路面状况，而不是在数据库中寻找预先储存的策略实现自动驾驶，系统背后连接着名为NVIDIA DIGITS的深度学习训练平台，最终连接到NVIDIA DRIVENET神经网络，为车辆的自我学习和完善提供支持。并且由于它是通过判断物体的行进轨迹而不是物体本身去计算路径，因此在驾驶时受天气影响较小。
AI 成必争之地
目前全球AI主战场依旧在欧美。Venture Scanner的统计显示，根据从事 AI相关业务的公司数量来看，目前全球 AI的主战场还是集中在北美和西欧地区。美国数量最多，达到450家左右的水平。而中国从事相关业务的公司数量还比较少，和俄罗斯、澳洲、部分欧洲国家及非洲南部国家水平接近，相比起欧美国家的AI公司数量，还有很大的提高空间。
Google：投资未来的人工智能帝国
建立Alphabet帝国，具备品牌背书效应。2015年，谷歌成立母公司 Alphabet， 搜索、广告、地图、App、Youtube、安卓以及与之相关的技术基础部门”仍属于谷歌，而Calico、Nest、Google Fiber、Google Venture、Google Capital 及 Google X 都将独立出来，成为 Alphabet 旗下的独立公司。通过建立 Alphabet集团，谷歌将不同业务的研发独立出来，以子公司的形式进行业务开展，保留在Google这个品牌下的基本都是原有的传统强势业务。
而其它公司负责在各自的领域“打头阵”，一旦业务研发成功，母公司连带着google这个品牌都可以受益，而如果研发失败，也不会公司的品牌造成多大的不良影响，建立了良好的品牌背书效应。将机器学习技术应用到所有产品之中，我们不难发现，谷歌近年几乎将人工智能渗透到了旗下的各类产品中，可谓是全线铺开。正应了谷歌 CEO的那句话：“我们将小心谨慎地将机器学习技术应用到我们所有的产品之中。”根据当前Alphabet 的集团架构，我们将涉及到AI应用的子公司情况以及相应的业务开展情况罗列如下：
Nest：从事智能家居生态系统建设。2014 年谷歌以32亿美元收购 Nest。Nest 生产智能恒温器，它能够学习用户的行为习惯，并且根据他们的喜好去调节温度。同时，Nest 也提供火警探测器和家庭安全摄像头等智能家居。
Google X：谷歌各类创新技术的“孵化池”。Google X开展的与AI有关的项目有：无人驾驶汽车、Project Wing 无人机送货项目、对抗帕金森氏症的 Liftware“反抖”汤匙、用于疾病预警和健康监控的可穿戴设备、Project Titan 太阳能无人机项目、以及 Replicant 团队负责的机器人项目等。
Verily：从事生命科学业务，即原来的 Google Life Science。代表产品有可以收集佩戴者体温和血液酒精含量等生物数据的智能隐形眼镜，以及监控血液中纳米粒子的智能腕表。
DeepMind：深度学习算法公司。2014年谷歌以4亿美元收购了DeepMind。
DeepMind的算法源于两种机器学习方法的结合：第一种是深度学习，是受人脑启发的一种结构。深度学习系统能够从大量的非结构数据中获取复杂信息。第二种是增强学习，灵感源自动物大脑中的神经递质多巴胺奖励系统，算法不断通过试错来进行学习。目前，DeepMind在深度学习上面的研究成果已经开始用在谷歌的机器人项目中。
