深度学习的基本理论与应用ppt课件.ppt

《深度学习的基本理论与应用ppt课件.ppt》由会员分享，可在线阅读，更多相关《深度学习的基本理论与应用ppt课件.ppt（42页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的基本理论与应用Haishan Li 2018年5月14日我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物目 录概述深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的应用我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概 述2012年6月，纽约时报披露了Google

2、 Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学习教授Andrew和在大规模计算机系统方面的世界顶尖专家Jeff 共同主导，用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”（DNN，Deep Neural Networks）的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，Deep Learning

3、）。2012.6 “谷歌大脑”项目2012.11 微软智能同声传译我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概 述2013年1月，在百度的年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个重点方向就是深度学习，并为此而成立Institute of Deep Learning（IDL）。这是百度成立十多年以来第一次成立研究院。2013年4月，麻省理工学院技术评论杂志将深度学习列为2013年十大突破性技术（Breakthrough Technology）之首。百度首席科学家吴恩达2014年1

4、2月19日表示，百度在深度学习领域的发展已经超过了谷歌与苹果，如果这项技术真具有划时代的革命意义，那么百度就此开启并且引领了语音2.0时代，也即是人工智能时代的一个重要分支，改变搜索，更改变交互。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概 述全球爆发人工智能产业浪潮 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概 述三大因素推劢人工智能快速发展我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽

5、的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概 述当前处亍行业应用大规模起量阶段我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物目 录概述深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的应用我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习简介识别识别系统主要的计算和测试工作耗时主要集中在特征提取部分；系统主要的计算和测试工作耗时主要集中在特征提取部分；特征的样式目前一般都

6、是人工设计的，靠人工提取特征的样式目前一般都是人工设计的，靠人工提取特征；特征；手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气；手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气；不能够自动地学习特征不能够自动地学习特征Low-level sensingPre-processingFeature extract.Feature selectionInference: prediction, recognition传统的模式识别方法（浅层学习）：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里

7、边有一个活的生物深度学习简介深度学习简介传统的模式识别方法（如BP算法）如如BP算法，随机算法，随机设定初值，计算当前网络的输出，然后根据当前输出和设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到样本真实标签之间的差去改变前面各层的参数，直到收敛收敛比较比较容易过拟合，参数比较难调整，而且需要不少技巧；容易过拟合，参数比较难调整，而且需要不少技巧；训练训练速度比较慢，在层次比较少（小于等于速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它）的情况下效果并不比其它方法更优方法更优；反馈反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越

8、来越小；调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小；收敛收敛易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易导致这一情况；易导致这一情况；需要需要有标签数据来训练，但大部分数据是无标签的；有标签数据来训练，但大部分数据是无标签的；我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习简介深度学习简介20062006年，加拿大多伦多大学教授、机器学习领年，加拿大多伦多大学教授、机器学习领域的泰斗域的泰斗Geoffrey

9、 HintonGeoffrey Hinton在在科学科学上发上发表论文提出深度学习主要观点：表论文提出深度学习主要观点：1 1）多隐层的人工神经网络具有优异的特征学习）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；画，从而有利于可视化或分类；2 2）深度神经网络在训练上的难度，可以通过）深度神经网络在训练上的难度，可以通过“逐层初始化逐层初始化”（layer-wise pre-layer-wise pre-trainingtraining）来有效克服，逐层初始化可通过）来有效克服，逐层初始化可通过无

10、监督学习实现的。无监督学习实现的。采用逐层训练机制的原采用逐层训练机制的原因在于如果采用因在于如果采用BPBP机制，对于一个机制，对于一个deep deep networknetwork（7 7层以上），残差传播到最前面的层以上），残差传播到最前面的层将变得很小，出现所谓的层将变得很小，出现所谓的gradient gradient diffusiondiffusion（梯度扩散）（梯度扩散）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习简介本质： 通过构建多隐层的模型和海量训练数据（可为无标签数据

11、），来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。与浅层学习区别：l强调了模型结构的深度，通常有5-10多层的隐层节点；l明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。3 Eric Xing CMU, 2006-2009M achine Learning Eric Xing CMU, 2006-2009Fetching a stapler from inside an office -the S

12、tanford STAIR robot从历史数据中学习知识，从而对未来做预测我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习简介好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。ImageNet图像分类结果图像分类结果我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物目 录概述深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的应用我吓了一跳，蝎子是多么丑恶和恐怖的东西，

13、为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的训练过程第一步：采用自下而上的无监督学习EncoderDecoderInput ImageClass labelFeaturesEncoderDecoderFeaturesEncoderDecoderl逐层构建单层神经元逐层构建单层神经元l每层采用每层采用wake-sleepwake-sleep算法进算法进行调优。每次仅调整一层，行调优。每次仅调整一层，逐层调整逐层调整l这个过程可以看作是一个这个过程可以看作是一个feature learningfeature learning的过程，的过

14、程，是和传统神经网络区别最大是和传统神经网络区别最大的部分的部分我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的训练过程wake-sleep算法:（1 1）wakewake阶段：阶段： 认知过程，通过下层的输入特征（认知过程，通过下层的输入特征（InputInput）和向上的认知（）和向上的认知（EncoderEncoder）权重产生每一层的抽象表示（权重产生每一层的抽象表示（CodeCode），再通过当前的生成（），再通过当前的生成（DecoderDecoder）权）权重产生一个重建信息（重产生

15、一个重建信息（ReconstructionReconstruction），计算输入特征和重建信息残），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（差，使用梯度下降修改层间的下行生成（DecoderDecoder）权重。也就是）权重。也就是“如果如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样实一样”（2 2）sleepsleep阶段：阶段： 生成过程，通过上层概念（生成过程，通过上层概念（CodeCode）和向下的生成（）和向下的生成（DecoderDecoder）权重，）权重，生成下层的状态

16、，再利用认知（生成下层的状态，再利用认知（EncoderEncoder）权重产生一个抽象景象。利用）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（知（EncoderEncoder）权重。也就是）权重。也就是“如果梦中的景象不是我脑中的相应概念，如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念改变我的认知权重使得这种景象在我看来就是这个概念”我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错

17、：表里边有一个活的生物深度学习的训练过程第二步：自顶向下的监督学习 深度学习的第一步实质上是一个网络参数初始化过程。区别深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习模型是通过无监督学于传统神经网络初值随机初始化，深度学习模型是通过无监督学习输入数据的结构得到的，因而这个初值更接近全局最优，从而习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。能够取得更好的效果。l这一步是在第一步学习获得各层参数进的基础上，在最顶的编这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、码层添加一个分类

18、器（例如罗杰斯特回归、SVMSVM等），而后通过等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数带标签数据的监督学习，利用梯度下降法去微调整个网络参数 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物目 录概述深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的应用深度残差网络的应用我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法生成式/无监督模型判别式模型l正则化

19、的自编码器正则化的自编码器降噪自动编码器降噪自动编码器(Denoising AutoEncoders)(Denoising AutoEncoders)稀疏自动编码器稀疏自动编码器(Sparse AutoEncoder)(Sparse AutoEncoder)l受限玻尔兹曼机受限玻尔兹曼机l深度置信网络（深度置信网络（ Deep Belief Networks DBNDeep Belief Networks DBN）l等等等等l递归神经网络递归神经网络l深度神经网络深度神经网络l卷积神经网络卷积神经网络（深度残差网络）（深度残差网络）l等等等等我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放

20、在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法自动编码器（ AutoEncoder ）lAutoEncoderAutoEncoder还不能用来分类数据，因为它还没有学习如何去连还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。入而已。l在在AutoEncoderAutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特的最顶的编码层添加一个分类器（例如罗杰斯特回归、回归、SVMSVM等），然后通过标准的多层神经网络

21、的监督训练方法等），然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。我们需要将最后层的特征（梯度下降法）去训练。我们需要将最后层的特征codecode输入到最输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种两种我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法自动编码器（ AutoEncoder ）l只调整分类器（黑色部分）只调整分类器（黑色部分）l通过有标签样本，微调整个系统：（如果有足够多的数

22、据，通过有标签样本，微调整个系统：（如果有足够多的数据，这个是最好的。端对端学习）这个是最好的。端对端学习）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法降噪自动编码器(Denoising AutoEncoders)l在自动编码器的基础上，对训练数据加入噪声，自动编码器必须在自动编码器的基础上，对训练数据加入噪声，自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因此，这就迫使编码器去学习输入信号的更加鲁棒的

23、表达，这也是此，这就迫使编码器去学习输入信号的更加鲁棒的表达，这也是它的泛化能力比一般编码器强的原因。它的泛化能力比一般编码器强的原因。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法稀疏自动编码器(Sparse AutoEncoder)l在在AutoEncoderAutoEncoder的基础上加上的基础上加上L1L1的的RegularityRegularity限制（限制（L1L1主要是主要是约束每一层中的节点中大部分都要为约束每一层中的节点中大部分都要为0 0，只有少数不为，只有少

24、数不为0 0，这，这就是就是SparseSparse名字的来源）名字的来源）稀疏性的约束是使得学习到的表达更有意义的一种重要约束；深度学习中要优化的参数非常多，如果不加入稀疏性的约束往往会使得学习到的权重矩阵为单位矩阵，这样就失去了深度的意义我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法受限玻尔兹曼机（Restricted Boltzmann Machine）l定义：假设有一个二部图，同层节点之间没有链接，一层是可视层，定义：假设有一个二部图，同层节点之间没有链接，一层是可视层，即

25、输入数据层（即输入数据层（v v) )，一层是隐藏层，一层是隐藏层( (h h) )，如果假设所有的节点都是，如果假设所有的节点都是随机二值（随机二值（ 0 0，1 1值）变量节点，同时假设全概率分布值）变量节点，同时假设全概率分布p(v,h)p(v,h)满足满足Boltzmann Boltzmann 分布，我们称这个模型分布，我们称这个模型Restricted BoltzmannMachine Restricted BoltzmannMachine (RBM)(RBM)。玻尔兹曼机 ( Boltzmann machine) 本质上是一种能量模型 。限制条件是在给定可见层或者隐层中的其中一层后

26、， 另一层的单元彼此独立。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法深度置信网络（Deep Belief Networks）-DBNlDeep Belief NetworksDeep Belief Networks是在靠近可视层的部分使用贝叶斯信念网是在靠近可视层的部分使用贝叶斯信念网络（即有向图模型），而在最远离可视层的部分使用络（即有向图模型），而在最远离可视层的部分使用Restricted Restricted Boltzmann MachineBoltzmann Mac

27、hine的模型。的模型。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNsl通过用卷积代替规则神经元的矩阵乘法运算来大大减少每层中需要通过用卷积代替规则神经元的矩阵乘法运算来大大减少每层中需要训练的未知权重系数的数量训练的未知权重系数的数量输入40 x60C1125x5S11220 x30C285x5S2810 x15卷积池化卷积池化全连接C3120softmax输出我吓了一跳，蝎子是多么丑恶和恐怖的

28、东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物卷积层上一层输出卷积核卷积核类似于滤波器，通过移动卷积核来提取上层输入的局部特征，卷积核也就是生物学里视觉系统上的“局部感受野” ，模拟视觉神经细胞接受刺激的方式。feature map（特征映射）二维离散卷积函数：深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNs我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物池化(pooling)对4x4的矩阵

29、进行步长为2的池化操作，结果矩阵为2x2，矩阵的大小降低了4倍，参数个数降低了4倍；池化能起到下采样的作用，能简化网络结构，减少网络参数，为增加网络深度留下余地。池化操作一般有两种：最大池化(max pooling)、平均池化(average pooing)。平均池化最大池化深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNs我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物特征表达n 从低级的V1区提取边缘特征，再到V2区的形状或者目标的一部分等，再

30、到更高层，整个目标、目标的行为等。n 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现高级语义。n 抽象层面越高，存在的可能猜测就越少，就越利于分类。人的视觉系统的信息处理是分级的人类视觉系统深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNs我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物全连接和SoftmaxK分类的Softmax假设函数是：n 全连接：就是添加一个隐含层，与上层输入的每个结点进行全连接；n Softma

31、x回归模型：是logistic回归模型在多分类问题上的推广，可以解决多分类的问题。所有k个类别加起来的概率和为1.深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNs我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的具体模型及方法卷积神经网络（ Convolutional Neural Networks ）CNNsl通过用卷积代替规则神经元的矩阵乘法运算来大大减少每层中需要通过用卷积代替规则神经元的矩阵乘法运算来大大减少每层中需要训练的未知权

32、重系数的数量训练的未知权重系数的数量 CNNCNN的优点：的优点：u 避免了显式的特征抽取，而隐式地从训练数据中进行学习；避免了显式的特征抽取，而隐式地从训练数据中进行学习；u 同一特征映射面上的神经元权值相同，从而网络可以并行学习，同一特征映射面上的神经元权值相同，从而网络可以并行学习，降低了网络的复杂性；降低了网络的复杂性；u 采用时间或者空间的子采样结构，可以获得某种程度的位移、采用时间或者空间的子采样结构，可以获得某种程度的位移、尺度、形变鲁棒性；尺度、形变鲁棒性；u 输入信息和网络拓扑结构能很好的吻合，在语音识别和图像处输入信息和网络拓扑结构能很好的吻合，在语音识别和图像处理方面有着

33、独特优势，成为这两方面的研究热点。理方面有着独特优势，成为这两方面的研究热点。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物目 录概述深度学习简介深度学习的训练过程深度学习的具体模型及方法深度学习的应用我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用机器视觉、智能语音成为产业化水平最高的人工智能领域我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测

34、没有错：表里边有一个活的生物深度学习的应用图像识别空间金字塔空间金字塔我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用图像识别我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用图像超分辨我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用CT图像重建（学习噪声）我吓了一跳，蝎子是多么丑恶和恐怖的东西

35、，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用目标检测我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用语音搜索短信短信输输入入微博微博输输入入古古诗输诗输入入新新闻输闻输入入我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物深度学习的应用视觉相似搜索百度技术Google搜索结果检索图片我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一

36、个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物展 望未来需解决的问题：未来需解决的问题：对于一个特定的框架，多少维的输入它可以表现得较优？对于一个特定的框架，多少维的输入它可以表现得较优？对捕捉短时或者长时间的时间依赖，哪种架构才是有效的？对捕捉短时或者长时间的时间依赖，哪种架构才是有效的？如何对于一个给定的深度学习架构，融合多种感知的信息？如何对于一个给定的深度学习架构，融合多种感知的信息？如何分辨和利用学习获得的中、高层特征语义知识？如何分辨和利用学习获得的中、高层特征语义知识？有什么正确的机理可以去增强一个给定的深度学习架构，有什么正确的机理可以去增强一个给

37、定的深度学习架构，以改进其鲁棒性和对变形及数据丢失的不变性？以改进其鲁棒性和对变形及数据丢失的不变性？模型方面是否有其他更为有效且有理论依据的深度模型学模型方面是否有其他更为有效且有理论依据的深度模型学习算法？习算法？是否存在更有效的可并行训练算法？是否存在更有效的可并行训练算法？我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物参考文献Zouxy博客专栏Deep Learning网址： http:/ 陈权崎， 章毓晋 . 深度学习及其在目标和行为识别中的新进展J . 中国图象图形学报， 2014， 19 ( 2 ) : 175 -184. 许可卷积神经网络在图像识别上的应用浙江：浙江大学，2012Rachel Zhang博客网址：http:/ https:/