最全整理.docx

《最全整理.docx》由会员分享，可在线阅读，更多相关《最全整理.docx（25页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、最全整理点击蓝色“AI专栏关注我哟选择“星标重磅干货第一时间送达这是站长的第42篇原创优质长文上一篇站长写的优质原创文章是【看完这篇AI算法以及笔记跟面试官扯皮没问题了|基于深度学习以及传统算法的人体姿态估计】其实在人体姿态估计前面的工作一般还需要进展目的检测以进步最后姿态估计的准确度。那么这一次呢站长就来跟大众谈谈目的检测并花心思为大众整理了万字长文来详细介绍目的检测领域。关于目的检测领域您要的都在这里目的检测是计算机视觉中的一个重要问题近年度来传统检测方法已难以知足人们对目的检测效果的要求随着深度学习在图像分类任务上获得宏大进展基于深度学习的目的检测算法逐渐成为主流。总体上站长我都做了su

2、mmary先上图为敬01PART目的检测要干什么?目的检测是机器视觉中最常见的问题。是一种基于目的几何以及统计特征的图像分割它将目的的分割以及识别合二为一其准确性以及实时性是整个系统的一项重要才能近年度来目的检测在人工智能人脸识别无人驾驶等领域都得到了广泛的应用。然而在目的检测的经过中会受到各种各样干扰比方角度、遮挡、光线强度等因素这些因素会导致目的发生畸变为目的检测增加了新的挑战。相比于图像分类目的检测更具难度。目的检测就是将目的定位以及目的分类结合起来利用图像处理技术、机器学习等多方向的知识从图像视频中定位感兴趣的对象。目的分类负责判断输入的图像中是否包含所需物体目的定位那么负责表示目的物

3、体的位置并用外接矩形框定位。这需要计算机在准确判断目的类别的同时还要给出每个目的相对准确的位置。02PART目的检测算法有哪些现有的目的检测算法有传统检测算法以及基于深度学习的检测算法。传统的目的检测算法多是基于滑动窗口的框架或者是根据特征点进展匹配。自2021年度AlexNet在当年度度ImageNet大规模视觉识别挑战赛中一举夺冠且效果远超传统算法将群众的视野重新带回到深度神经网络。传统的检测算法如下列图所示传统检测方法一般分三个步骤首先在给定图像上采用不同大小的滑动窗口对整幅图像进展遍历选择候选区域使用不同大小的滑动窗口框住待测图像中的某一局部作为候选区域然后提取该候选区域相关的视觉特征

4、特征提取如人检测以及普通目的检测常用的HOG以及SIFT特征等然后对这些区域提取特征分类器分类即使用训练完成的分类器进展分类如常用的支持向量机最后使用分类器进展分类。固然这种方法获得了不错的结果但是采用滑动窗口进展区域选择时没有针对性导致时间复杂度高且窗口冗余另外手工设计的特征没有很好的鲁棒性。基于深度学习的检测算法2021年度R-CNN的提出使得基于CNN的目的检测算法逐渐成为主流。深度学习的应用使检测精度以及检测速度都获得了改善。自从AlexNet在比赛中使用卷积神经网络进而大幅度进步了图像分类的准确率便有学者尝试将深度学习应用到目的类别检测中。卷积神经网络不仅可以提取更高层、表达才能更好

5、的特征还能在同一个模型中完成对于特征的提取、选择以及分类。在这方面主要有两种主流的算法一类是结合regionproposal、CNN网络的基于分类的R-CNN系列目的检测框架twostage另一类那么是将目的检测转换为回归问题的算法singlestage。03PART传统的目的检测算法传统的目的检测算法大致可以分为目的实例检测与传统目的类别检测两类目的实例检测问题通常利用模板以及图像稳定的特征点获得模板与场景中对象的对应关系检测出目的实例。目的实例检测关注的只是详细目的本身图像中的其余对象都是无关量。传统目的类别检测那么通过使用AdaBoost算法HOG特征以及支持向量机等方法根据选定的特征以

6、及分类器检测出有限的几种类别。基于SIFT系列算法SIFT算法Lowe提出的SIFT算法通过查找不易受光照、噪声、仿射变换影响的特征点来匹配目的是目前应用极为广泛的关键点检测以及描绘算法。该算法通过使用高斯模糊实现尺度空间高斯差分函数进展极值检测再通过对边缘主曲率的断定筛除边缘响应的不稳定点得到匹配稳定、抗噪才能强的关键点。最后利用方向直方图统计关键点邻域梯度以及方向获得描绘符。SIFT算法通过一系列方法保证提取的特征具有平移、缩放及旋转不变等特性对于光线、噪声、少量视角改变也具有一定的鲁棒性针对局部遮挡也有不错的识别率。但是SIFT算法存在复杂度高检测速度慢对模糊图像以及光滑边缘很难提取有效

7、特征点等问题。PCA-SIFT算法该算法在SIFT的根底上对其最后一步做出了改良。引入主成分分析PCA方法使用PCA替代直方图来对描绘子向量进展降维以进步匹配效率。相较SIFTPCA-SIFT维数更少且灵敏可变检测速度约为SIFT的3倍。但降维损失局部信息导致只对具有代表性的图像有较好效果具有局限性。SURF算法SURF算法也是一种基于SIFT的改良算法Hessian矩阵是该算法的核心。该算法利用高斯滤波保证尺度无关性并用盒式box滤波器替代高斯滤波器简化计算。通过构建Hessian矩阵获取关键点定位。另外在尺度空间中不同于SIFT构建不同尺度的图像SURF保持图像大小不变只改变滤波器的大小从

8、减少了计算量。简单来讲SURF算法利用近似的Hessian矩阵减少降采样经过快速构建尺度金字塔实现了目的检测速度的进步。对于SIFT、PCA-SIFT和SURF这三种算法站长作出如下总结PCA-SIFT与SURF算法分别对SIFT的匹配经过做出简化因此在特征点匹配精度上必然有所下降。其中SIFT算法提取的特征点最为丰富在尺度、旋转等情况下都具有最好的性能但高复杂度导致检测速度最慢且对于模糊、光滑边缘的提取效果并不理想PCA-SIFT使用PCA方法进展降维减少计算的同时产生信息丧失因此整体性能在三种算法中比拟一般SURF合理利用积分图减少运算小波变换、Hessian矩阵等方法根本不会降低精度因此

9、在获得好检测速度的同时也保证了整体性能优于PCA-SIFT。基于AdaBoost系列算法AdaBoost算法AdaBoost是一种是基于Boosting的机器学习算法。初始时设训练集中n个样本具有一样的权重。在每次训练后调整训练集中数据权重增加错误样本的权重使得下一个分类器可以对错误样本进展重点训练。经过N轮训练后将N个弱分类器整合根据各分类器的性能分配相应的权值组成一个高准确率、低错误率的强分类器。Viola-Jones算法Viola-Jones算法是第一种能实时处理且效果较好的人脸检测算法此算法的提出标志着人脸检测进入实际应用阶段。Viola-Jones检测算法简称VJ算法使用Haar特征

10、来描绘窗口反映部分区域的明暗变化并利用积分图的思路解决Haar特征提取时计算量大、重复的缺点。同时引入级联的思想。如下列图所示VJ根据分类器的复杂程度以及计算代价排列分类代价越高的分类器需要分类的图像越少减少分类工作量。概括地讲VJ算法利用Haar-like特征描绘目的共有属性利用积分图实现特征快速计算使用级联分类器减少AdaBoost的计算量快速检测出目的。Summary如下表所示站长针对传统算法做出比照总结。总的来讲这些算法的目的都是在保证提取丰富、准确特征的前提下快速地进展特征计算及预测。但传统算法提取的特征根本都是低层次、人工选定的特征这些特征相对更直观、易理解针对特定对象更有针对性但

11、不能很好地表达大量、多类目的。04PART主流CNN附源码下载LeNet-5LeNet-5于1998年度提出主要用于手写数字识别。该网络共有7层网络包括2个卷积层、2个池化层以及3个全连接层其准确率很高可由于当时计算机的计算才能及数据量的缺乏该模型未能受到重视进而没有很好地开展起来。AlexNet直到2021年度ILSVRC比赛中AlexNet在算法准确率方面以超过使用传统方法的第二名11%的情况获得冠军后才使卷积神经网络重回群众视野并得到重视。该网络是对LeNet-5的扩展它将卷积神经网络的思想应用到了更深更宽的网络上共有8层网络包括5个卷积层以及3个全连接层。VGGNetVGGNet那么充

12、分代表了从2021年度到2021年度在卷积神经网络构造上的一个进展。相比AlexNet来讲该网络会更深一些共有19层网络16个卷积层以及3个全连接层。该网络在2021年度ILSVRC比赛中获得了第二名在目的检测上获得了第一名。GoogleNetGoogleNet那么是2021年度ILSVRC比赛中获得第一名的网络。该网络通过增加网络的深度以及广度来获取更好的结果然而当网络加深加宽到一定程度时继续加深加宽反倒不能再进步效果。因此GoogleNet通过设计稀疏连接的Inception构造来解决这个问题。ResNet2021年度ILSVRC比赛中ResNet网络获得冠军。同样该网络也是用于解决网络加

13、深到一定程度就不能进步效果的问题进而使得网络可以继续加深到更深的层次。所有的论文以及代码都配有视频讲解为了让新手更容易理解以及入门所有的论文以及代码都配有视频讲解所以还不赶快关注【AI专栏】公众号吧。获取方式扫描下方二维码关注【AI专栏】公众号关注领取500多本程序员必读经典书籍在【AI专栏】公众号后台回复关键字经典论文复现即可获取。05PART基于深度学习的检测算法基于分类的检测算法Regionproposal候选区域是通过SelectiveSearch等算法根据图像中纹理、边缘、颜色等信息检测较少区域的同时保证了较高的召回率。OverFeat算法OverFeat是最先将深度学习应用到目的检

14、测中的算法之一。严格来讲OverFeat并没有使用regionproposal但其思路被后面的R-CNN系列沿用并改良。该算法通太多尺度的滑动窗口结合AlexNet提取图像特征完成检测。在ILSVRC2021数据集上的平均准确率为24.3%检测效果较传统算法有显著改良但照旧存在较高错误率。R-CNN算法在Overfeeat提出后不久RossGirshick等人提出了R-CNN模型使目的检测获得宏大打破。如下列图所示R-CNN利用SelectiveSearch获得候选区域约2000个。随即对候选区域大小进展归一化用作CNN网络的标准输入。再使用AlexNet获得候选区域中的特征最后利用多个SVM

15、进展分类和线性回归微调定位框。R-CNN将检测效果从OverFeat的24.3%大幅提升至31.4%ILSVRC2021数据集并在VOC2007数据集上获得58.5%的准确率。但是R-CNN对近2000个候选区域分别做特征提取而候选区域之间存在许多重复区域导致大量且重复的运算运行缓慢平均每幅图片的处理时间为34s。同时对每一步的数据进展存储极为损耗存储空间。另外对候选区域进展归一化操作会对最终结果产生影响。SPP-Net如下列图所示针对R-CNN对所有候选区域分别提取特征的缺点SPP-Net一次性对整张图片作卷积操作提取特征。使得特征提取从R-CNN的近2000次变为提取1次整张图片特征大大减

16、少了工作量。另外SPP-Net在最后一个卷积层后、全连接层前添加空间金字塔池化层SPP层提取固定尺寸的特征向量防止对候选区域大小进展归一化的复杂操作。以上两点改良使得SPP-Net的检测速度比R-CNN快38102倍并解决了候选区域归一化问题。SPP-Net固然更换了卷积网络但准确率相差无几。同时SPPNet仍然没有解决R-CNN存储空间消耗的问题确定候选区域、特征提取、对象分类、定位修正这些步骤仍然是别离的。Fast-RCNNFastR-CNN算法在SPP-Net的根底上将SPP层简化为ROIPooling层并将全连接层的输出作SVD分解得到两个输出向量softmax的分类得分和Boundi

17、ngbox外接矩形框的窗口回归。这种改良将分类问题以及边框回归问题进展了合并。用softmax代替SVM将所有的特征都存储在显存中减少了磁盘空间的占用。SVD分解那么在几乎不影响精度的情况了极大加快检测速度。FastR-CNN使用VGG16代替AlexNet平均准确率到达70.0%且训练速度较R-CNN提升9倍检测速度到达每幅图片0.3s除去regionproposal阶段。FastR-CNN仍然使用SelectiveSearch方法选取候选区域这一步骤包含大量计算。在CPU上运行时获取每张图片的候选区域平均需要2s。由此可见改良SelectiveSearch是FastR-CNN速度提升的关键

18、。Faster-RCNNSPP-Net以及FastR-CNN从特征提取的角度减少了工作量但仍然没有解决SelectiveSearch选择候选区域速度慢的问题。FasterR-CNN使用RPN网络替代SelectiveSearch算法使目的识别实现真正端到端的计算。如下列图所示RPN网络通过在特征图上做划窗操作使用预设尺度的锚点框映射到原图得到候选区域。RPN网络输入的特征图以及全连接层中的特征图分享计算。RPN的使用使FasterR-CNN可以在一个网络框架之内完成候选区域、特征提取、分类、定位修正等操作。RPN使得FasterR-CNN在regionproposal阶段只需10ms检测速度到

19、达5f/s包括所有步骤并且检测精度也得到提升到达73.2%。但是FasterR-CNN仍然使用ROIPooling导致之后的网络特征失去平移不变性影响最终定位准确性ROIPooling后每个区域经太多个全连接层存在较多重复算FasterR-CNN在特征图上使用锚点框对应原图而锚点框经太多次下采样操作对应原图一块较大的区域导致FasterR-CNN检测小目的的效果并不是很好。R-FCN目的检测要包括两个问题分类问题以及检测定位问题。前者具有平移不变性后者具有平移敏感性。R-FCN使用全卷积网络ResNet代替VGG提升特征提取与分类的效果针对全卷积网络不适应平移敏感性的缺陷该算法使用特定的卷积层

20、生成包含目的空间位置信息的位置敏感分布图ROIPooling层后不再连接全连接层防止重复计算。R-FCN的准确率到达83.6%测试每张图片平均花费170ms比Faster-RCNN快了2.520倍。但是R-FCN在得到Scoremap需要生成一个随类别数线性增长的channel数这一经过固然提升了目的检测精度但减慢了检测速度导致其难以知足实时性要求。MaskR-CNNMaskR-CNN是一种在FasterR-CNN根底上加以改良的算法增加了对实例分割的关注。该算法在分类以及定位回归以外参加了关于实例分割的并行分支并将三者的损失结合训练。实例分割要务实例定位的精准度到达像素级而Faster-R-

21、CNN因为ROIPooling层的等比例缩放经过中引入了误差导致空间量化较为粗糙无法准确定位。MaskR-CNN提出双线性差值RoIAlign获得更准确的像素信息使得掩码准确率提升10%到50%MaskR-CNN还使用ResNet根底网络在COCO数据集上的检测速度为5f/s检测准确性从FastR-CNN的19.7%提升至39.8%。MaskR-CNN在检测精度、实例分割方面都到达目前最高的层次。其后一些算法在性能上有所提升但根本维持在同一程度。但是该算法的检测速度照旧难以知足实时要求并且实例分割目前也还面临着标注代价过于昂贵的问题。Summary如下列图所示从R-CNN开场研究者将目的检测的

22、问题关注点集中到分类上采用“regionproposalCNNfeatureSVM的思路利用了CNN网络大大进步了检测的精度后面的SPP-Net、Fast-RCNN、Faster-RCNN等根本沿用了这一思路在检测效率上进展改良但Faster-RCNN只能到达5f/s就实时性而言略有缺乏。随后的R-FCN固然有所提升但效果仍然无法令人满意。对此研究者提出了另一种新思路直接将目的检测转化到回归上用一张图片得到boundingbox和类别。基于回归的检测算法YOLO从R-CNN到Faster-RCNN目的检测始终遵循“regionproposal分类的思路训练两个模型必然导致参数、训练量的增加影响

23、训练以及检测的速度。由此YOLO提出了一种“single-stage的思路。如下列图所示YOLO将图片划分为SS的网格cell各网格只负责检测中心落在该网格的目的每个网格需要预测两个尺度的boundingbox以及类别信息一次性预测所有区域所含目的的boundingbox、目的置信度和类别概率完成检测。YOLO采用以cell为中心的多尺度区域取代regionproposal舍弃了一些准确度以换取检测速度的大幅提升检测速度可以到达45f/s足以知足实时要求检测精度为63.4%较FasterR-CNN的73.2%差距较大。YOLO在极大进步检测速度的情况下也存在以下问题因为每个网格值预测两个bou

24、ndingbox且类别一样因此对于中心同时落在一个网格总的物体和小物体的检测效果差多物体环境下漏检较多由于YOLO关于定位框确实定略显粗糙因此其目的位置定位准确度不如Fast-RCNN对于外型非常规的物体检测效果不佳。SSDFaster-RCNN检测检测精度高但检测速度慢YOLO检测精度不高但检测速度快SSD那么结合两者的优点在YOLO的根底上借鉴了RPN的思路在保证高精度检测的同时兼顾检测速度。如下列图所示因为不同层的特征图具有对应大小的感受野特定层的特征图只需要训练对应尺度的对象检测。因此SSD结合高层以及底层的特征图使用多尺度区域特征进展回归。SSD300的mAP能到达73.2%根本与F

25、asterR-CNN持平而检测速度到达59f/s比FasterR-CNN快6.6倍。但是SSD具有以下问题小目的对应到特征图中很小的区域无法得到充分训练因此SSD对于小目的的检测效果仍然不理想无候选区域时区域回归难度较大容易出现难以收敛等问题SSD不同层的特征图都作为分类网络的独立输入导致同一个物体被不同大小的框同时检测重复运算。YOLOv2和YOLO9000YOLOv2通过在每一个卷积层后添加batchnormalization、多尺度训练参加K-mean维度聚类等方式使得检测速度以及精度的再次提升。该算法可以在76.8%正确率的同时到达67f/s的检测速度78.6%的正确率时到达40f/s

26、。该算法性能根本代表目前业界的最先进程度。同文还提出了YOLO9000该算法采用wordTree层次分类混合检测数据、识别数据集在分类以及检测数据集上同时训练实现9418类的检测。无论是YOLO系列还是SSD算法都沿用R-CNN系列算法先在大数据集上进展分类预训练再在小数据集上fine-tune的方法。但fine-tune预训练模型有以下问题预训练模型往往无法迁移到如医疗图像等特定数据上预训练模型构造根本固定难以修改预训练样本以及最终检测目的有所区别得到的模型未必是检测目的的最正确模型。Summary针对预训练模型的问题DSOD算法提出一种从零训练网络的方法到达媲美fine-tune模型的效果

27、。DSOD基于SSD算法在特征交融局部引入DenseNet思想减少了参数量mAP为77.7%与SSD300相当检测速度为17.4f/s较SSD300的46f/s尚有较大差距。R-SSD算法那么在SSD的根底上增加不同层之间特征图的关联防止同一物体重复框的问题同时增加特征金字塔中特征图的数量改善小物体的检测效果。该算法mAP为80.8%略高于SSD。但是特征图的增加导致计算量增加检测速度降低仅为16.6f/s。06PART目的检测可参考创新点基于深度学习的目的检测在检测精度和检测速度上较传统方法获得了极大的进步但仍然面临这一些问题对于小数据量对于小数据量目前的框架可能无法得到好的结果。目前的算法

28、大多使用了迁移学习也就是如今现有的大数据集中进展训练再将训练好的“半成品做fine-tune操作。假设目的数据不在ImageNet等数据集中训练效果要视目的与大数据集相关程度而定。DSOD算法固然设计了一种从零开场训练的网络也获得了不错的效果但是其检测速度尚有待提升。深度学习解释性差十分是在更深的层次上很多时候只能依靠测试以及经历来猜想其有效或者无效的原因对于中间的经过缺少明确的解释更像是一个黑盒。计算强度大GPU的使用提升了计算机的运算才能但是很多操作仍然过于庞大。怎样简化、复用计算的同时尽可能保证准确率可能会是一个可以创新的点。信息的损失对于场景信息、语义信息等视频中原有信息的利用不充分造

29、成一些有效信息的损失。小目的检测问题无论是R-CNN系列还是SSD等算法始终无法在小目的检测问题上获得令人满意的效果。就目前算法而言为保证检测速度通常减少特征金字塔的图像以减少计算量但这必然导致小目的在特征图上得不到充分训练如R-SSD增加特征图数量损失了检测速度。07PARTSummary目前已有诸多基于深度学习的目的检测算法且其相关研究仍在不断进展几乎每年度都有最新成果出现。即便如此当前这些方法的检测效果仍处于一个较低的程度进而导致不能广泛应用于实际通用的检测任务当中。此外尽管当前基于深度学习的检测算法成为开展的主流但传统的检测方法仍在使用并未完全被抛弃或者许将传统方法有效应用于深度学习方

30、法中会对检测效果的进步有所帮助。从最初的人为寻找特征到最近的基于深度学习的目的检测算法可以看出对于目的检测的要求始终是快速、精准和适用范围广。就目前来讲传统的目的检测方法仍在使用且在一段时间内仍会有一定市场。传统的目的检测技术对数据量要求少在针对数据来源不够丰富的工程时可能会获得比深度学习更好的效果。但是将深度学习应用到目的检测中是可以预见的主流趋势。十分是随着硬件设备性能的提升一定范围内的运算量处理将不会再成为实时检测的掣肘。怎样利用上下文关联信息、场景信息以及语义信息将会是接下来目的检测的一个重要研究方向。假使平行视觉的思路实在可行那么数据集标注困难、数据量缺乏的问题将获得较好的解决。另外

31、怎样更好解决与训练集关联性不大的小数据集检测问题也是一个比拟重要的研究方向。Hinton的capsule能否获得比传统CNN更好的效果也需要进展进一步的研究。08PART工程源码欢送各位站友关注【AI专栏】加十分宠粉的站长微信沟通沟通目的检测算法哈。巨人的肩膀 1KrizhevskyASutskeverIHintonGE.ImageNetclassificationwithdeepcnnJ.CommunicationsoftheACM2021602 2HuangGLiuZMaatenLVDetal.DenselyconnectedcnnC/ProceedingsofCVPR2016. 3Jeo

32、ngJParkHKwakN.EnhancementofSSDbyconcatenatingfeaturemapsforobjectdetectionC/ProceedingsofCVPR2017. 4万圣贤兰艳艳郭嘉丰等.基于弱监视预训练深度模型的微博情感分析J.中文信息学报2017313191-197. 5周俊宇赵艳明.卷积神经网络在图像分类以及目的检测应用综述J.计算机工程与应用2017531334-41. 6张慧王坤峰王飞跃.深度学习在目的视觉检测中的应用进展与展望J.自动化学报20174381289-1305. 7王坤峰苟超王飞跃.平行视觉基于ACP的智能视觉计算方法J.自动化学报20

33、1642101490-1500. 8高红红曹建荣李振宇等.基于背景分类的运动目的检测算法J.计算机工程与应用20175321179-184.唠叨唠叨最后呢非常感谢大众的支持为此站长我也会给各位站友共享更多实用、可复现、常用的工程也欢送大众关注我的CSDNbokeIDqq_40636639昵称AI专栏的站长。你以为这样就完毕了吗不不不还有以下丰富的干货资源教程工程等你拿谢谢大众站长个人微信添加站长个人微信即送500多本程序员必读经典书籍优选技术资料分享微信看朋友圈私货高手如云沟通社群关于沟通群目前站长已经建立多个AI技术细分方向沟通群欢送各位站友参加本公众号读者群一起以及同行沟通目前有双目立体视觉、三维重建、强化学习、分割、SLAM、识别、GAN、算法竞赛、医学影像、副业赚钱沟通、计算摄影、春招内推群、秋招内推群等微信群以后站长会逐渐细分所以一定要备注好方向谢谢。请扫描下面站长微信拉你入群请按照格式备注否那么不予通过。添加成功后会根据您的研究方向邀请进入相关微信群。请勿在群内发送广告否那么会请出群谢谢理解请务必备注研究方向学校/公司昵称“比方人脸识别检测上海交大静静“长按扫码申请入群添加人数较多请耐心等待关于本公众号当然是干货资源教程满满吖关注即可免费领取资源Goodbye我们下次见关注领取500多本程序员必读经典书籍最新AI干货我在看