基于改进bof算法的图像识别和分类-李康顺.pdf

《基于改进bof算法的图像识别和分类-李康顺.pdf》由会员分享，可在线阅读，更多相关《基于改进bof算法的图像识别和分类-李康顺.pdf（7页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第 47卷第 5期 中南大学学报 (自然科学版 ) Vol.47 No.5 2016年 5月 Journal of Central South University (Science and Technology) May 2016 DOI: 10.11817/j.issn.1672-7207.2016.05.020 基于改进 BOF算法的图像识别和分类 李康顺 1, 2，王福滨 1，张丽霞 1，李伟 1, 2 (1. 华南农业大学 信息学院，广东 广州 ，510642 ； 2. 江西理工大学 信息工程学院，江西 赣州 ， 341000) 摘要 ： 对 bag of features(BOF)

2、算法进行研究与改进，并将其应用到图像识别和分类中。针对传统 BOF算法执行效率低以及分类精度不够高等缺陷，提出一种结合 SURF(speeded up robust feature)与空间金字塔匹配原理的优化方法相结合的图像识别与分类算法。 SURF 算法可提高执行效率，而空间金字塔匹配原理的优化方法可提高分类精度。首先对分类图像应用 SURF算法提取特征描述符并生成视觉词典，该算法提取的视觉词典能更有效地表示图像特征，且能应对多变的尺度；然后应用空间金字塔匹配原理对图像 采用 视觉词典的直方图表示，进一步提高分类的准确度；最后利用 LIBSVM分类器进行分类。在 Graz， Caltech-

3、256和 Pascal VOC 2012这 3个数据集中进行实验测试。研究结果表明 ： 该方法与传统的 BOF 算法相比提高了执行效率和分类精度。在数据实验中通过与近几年一些相关研究工作在分类准确率方面进行对比，该方法具有很大的优越性。 关键词： bag of features算法 ；图像识别分类； SURF；空间金字塔匹配 中图分类号： TP391 文献标志码： A 文章编号： 16727207(2016)05159907 Image recognition and classification based on improved BOF algorithm LI Kangshun1, 2,

4、 WANG Fubin1, ZHANG Lixia1, LI Wei1, 2 (1. College of Information, South China Agricultural University, Guangzhou 510642, China; 2. School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou 341000, China) Abstract: Improved bag of features (BOF) algorithm was applied t

5、o image recognition and classification. In view of the low efficiency and low classification accuracy of the traditional BOF algorithm, a new recognition and classification algorithm combined SURF (speeded up robust feature) with spatial pyramid matching principle was proposed. SURF algorithm can im

6、prove the efficiency, and spatial pyramid matching principle can improve the classification accuracy. Firstly, the image feature was extracted by SURF algorithm and the codebook was generated using the features which were able to respond the changing scales. Secondly, the spatial pyramid matching pr

7、inciple was applied to the image histograms codebook which can improve the accuracy of the classification. Finally, the image histograms codebook was used to be the input of LIBSVM classifier. The experiments were carried out based on Graz, Caltech-256 and Pascal VOC 2012. The results show that the

8、proposed method is better than the traditional method in the efficiency and classification accuracy. In addition, the proposed method is compared with some related research work in classification accuracy, and the proposed method has obvious advantages. Key words: bag of features algorithm; image re

9、cognition and classification; SURF; spatial pyramid matching 收稿日期：2015 0526； 修回日期： 20150712 基金项目(Foundation item) ： 国家自然科学资金资助项目 (70971043)； 广东省自然科学基金资助项目 (2015A030313408)； 江西理工大学科研基金 资助 项目 (NSFJ2015-K13) (Project(70971043) supported by the National Natural Science Foundation of China; Project(2015A

10、030313408) supported by the Natural Science Foundation of Guangdong Province of China; Project(NSFJ2015-K13) supported by the Science Foundation of Jiangxi University of Science and Technology) 通信作者：李康顺，教授，博士生导 师，从事图像处理研究； E-mail: 中南大学学报 (自然科学版) 第 47卷 1600 随着多媒体技术的不断发展，图像逐渐成为一种主流的视觉信息载体。在图像处理和应用领域，

11、图像识别和分类一直是研究的热点。而随着网络全球化的发展以及涌现出来的各种门户网站，使得图像数量大量激增，这给图像识别和分类带来了巨大的 困难 。如何在浩瀚的数据中准确地获取用户所需的信息并进行处理，成为计算机视觉领域中亟待解决的问题之一。目前已经有很多比较成熟的图像识别和分类算法，BOF(bag of features)算法就是其中之一。 BOF算 法的思想来自于 BOW(bag of words)12算法， BOW算法最初用于文档匹配。近年来，由 CSURKA等 3将该算法的思想移植到图像处理领域 4，通过对图像采用 SIFT等相关的特征提取算法将图像转换为特征描述符，得到大量特征用来表示图

12、像的关键词；然后采用K-Meams聚类方法对得到的大量单词进行聚类，将聚类的中心定义为视觉单词， K-Meams算法得出所有的聚类中心构成视觉词典；最后将分类图像进行统一处理，通过 SVM 分类器对其进行分类。有部分研究者将该算法应用到行为识别 5中，提高了识别率。 还有部分研究人员创新地将该算法应用到糖尿病患者的食品识别系统中 6，大大地提高了系统的鲁棒性。 近 年来， BOF 算法在医疗领域中也取得了 重要 成果 78，为医疗事业做出了不少的贡献。然而， BOF算法在图像识别和分类问题的应用中存在一定的问题，执行速度不够快，分类精度不够高，因此 ， 需对其进行优化。传统的 BOF 算法采用

13、 SIFT(scale-invariant feature transform)9特征描述符。 K-Means 聚类方法和 SVM (Support Vector Machine)分类器来实现。由于 SIFT算法对复杂背景的特征提取鲁棒性不足，为了提高算法的鲁棒性，文献 10提出了一种基于部分模型的方法，但该方法复杂度比较高。简单的应用 K-Means聚类方法和 SVM分类器实现的 BOF算法拟合度和分类的精度都不够高，文献 11 通过使用概率学的思想，通过最大期望(Expectation Maximization ，EM)算法对 BOF模型进行拟合，虽然在一定程度上提高了精度，但对于复杂背景

14、的图像仍然存在着效率低以及分类精度不高的不足。本文 作者针对 BOF算法的缺点以及现有研究的不足，采用一种 SIFT 的改进算法 SURF(speeded up robust feature)12算法来提取图像特征描述符，以降低 BOF算法的复杂度、提高运行效率以及解决存储要求过高的问题；引入空间金字塔匹配原理 并采用 基于视觉词典的直方图表示，提高 BOF算法分类的精度；为了提高分类的效率，采用快速有效的 LIBSVM13分类器。将 SURF算法和空间金字塔匹配原理结合用到BOF算法中，在 Graz， Caltech-256以及 Pascal VOC 2012这 3个数据集下都可以达到较好的

15、分类效果。 1 改进的 BOF算法 本文应用 BOF算法有 3个步骤：特征提取和特征描述符的转化 、 视觉词典的构建 、 识别和分类。图 1所示为 BOF算法的基本流程。 图 1 BOF算法的基本流程 Fig. 1 Basic flow of BOF algorithm 根据图 1，应用 BOF 算法的实现过程可以归纳 如下。 首先，本文采用 SURF 算法代替传统的 SIFT 算法，利用 Hessian 矩阵来检测特征点，每个特征用 64维的向量进行表示，从图像中抽取出具有代表性的全局特征和局部特征作为图像的描述符。然后，采用K-Meams聚类方法，本文并没有指定聚类中心，而是通过随机选取聚

16、类中心，通过有限次数的迭代，最终收敛出聚类中心即词典。传统的方法将图像表示成为统计直方图的形式，如图 2所示。而本文引用了空 间金字塔匹配方案，提高了分类的准确度。最后使用LIBSVM分类器对其进行分类。 1.1 SURF算法 在 BOF算法中进行特征提取时，常用的特征描述符的算法有 SIFT，GLOH( gradient location-orientation histogram)14和 PCA-SIFT 等 15。SIFT 算法是不变性特征检测技术的一种基于尺度空间，对图像缩放、旋转、光照变化甚 至仿射变换保持不变性的图像局部特征描述方法。但是该算法计算数据量大，时间复杂度 第 5期 李

17、康顺，等：基于改进 BOF算法的图像识别和分类 1601 图 2 基于视觉单词的直方图 Fig. 2 Histogram based on visual word 高，算法耗时较长。针对上述缺点，本文提出一种基于 SURF算法的特征描述符方法，以提高 BOF算法的运算速度和性能。 SURF算法的基本流程主要包括特征点检测 (构建Hessian 矩阵，构建尺度空间，精确定位特征点 )，主方向确定以及生成特征点描述符。 1.1.1 特征点检测 在图像 I 中 ),( yxX 处的点，在尺度 上的Hessian矩阵定义为 ),(),( ),(),(),( XLXL XLXLX yyxy xyxxH

18、(1) 式中 ： xxL 为 高斯滤波二阶导数 )(22 gx 和 ),( yxI的卷积， )2/()(2 222e2 1)( yxg ； xyL 和 yyL 的含义与 xxL 的含义类似。 本文采用方框滤波 (box filters)近似代替二阶高斯滤波，采用计算量与模板大小无关的积分图像 16加速卷积以提高计算速度。如图 3所示，用一个 99 的方框滤波模板近似最低尺度 2.1s 的高斯二阶导数。 xxD ， yyD 和 xyD 为方框滤波和图像卷积后的值，用于分别代替 xxL ， yyL 和 xyL ，矩阵区域中的权值使用经验值 0.9，进一步求得 Hessian 矩阵的 det 表达

19、式为 2ap p ro x )9.0()det( xyyyxx DDD H (2) 要实现特征点的尺度不变性，本文采用图像金字塔来实现尺度空间，通过图像与不同尺度下的高斯函数卷积，并对初始图像采样处理，得到更高阶的图像金字塔，通过不同尺度下的滤波模板对原始图像处理，使得原始图像保持不变。 (a) y方向上的模板 ； (b) x和 y方向的二阶混合偏导模板 图 3 方框滤波对二阶偏导的近似 Fig. 3 Box filter approximations for the second order partial derivative 1.1.2 主方向确定 为了保证图像具有旋转不变性，对于每个特

20、征点，以该特征点为中心，画出 6s(s为特征点的尺度 )为半径的圆领域，并计算半径内所有特征点 x和 y方向上的Haar小波响应，根据特征点与中心点的距离赋权值，越近权值较 大；然后将 60范围内响应的特征点形成新的矢量，遍历整个圆形区域后，选择最 长矢量方向作为该特征点的主方向。 1.1.3 生成特征点描述符 确定了主方向之后，需要生成特征描述符。以特征点为中心，将坐标轴 x方向旋转到主方向，按主方向选择 1个 20s20s 的正方形区域，并将该窗口区域划分成 44 的子区域，每个子区域为 5s5 s，计算每个子区域的 Haar小波响应 dx和 dy (dx和 dy分别为相对于主方向水平和垂

21、直方向的响应 )；然后对区域中的响应和响应的绝对值 dx， dy， xd 和 yd 求和，得到 4维矢量 ),( yyxx ddddv 。这样，对每一个特征点，形成了 4(4 4)=64 维的特征向量，相对于SIFT算法的 128维，减少了一半，如图 4所示。 SURF算法的特征点的个数要比 SIFT 算法的个数少，减少了存储的容量。本文还对 SURF算法提取的特征向量进行归一化处理，提高了算法的鲁棒性。 1.2 空间金字塔匹配下的 BOF算法表示 空间金字塔匹配 17主要包含金字塔匹配核以及空间金字塔在 BOF算法下的匹配方案 18。金字塔匹配 中南大学学报 (自然科学版) 第 47卷 16

22、02 (a) SIFT特征点数； (b) SURF特征点数 图 4 SIFT与 SURF特征点数的对比 Fig. 4 Contrast SIFT and SURF feature points 的 核心思想是将特征集映射到高分辨率空间进行匹配，在匹配的过程中，随着层次划分的密集性增加，分配的权值会变大。 1.2.1 金字塔匹配核 假设 X和 Y分别表示 d维特征空间中的向量集，本文构造网格分辨率的序号为 0, L，其中 Ll ，以l 划分每一维时得到 l2 个 子集，在 d 维的特征空间中总的维数 dlD2 。令 lxH 和 lyH 分别表示 X和 Y的直方图， )(iHlX 和 )(iHlY

23、 分别 表示 X和 Y中落入第 i个子区域的点的个数。在 l 层上给出的直方图交叉函数匹配的数 为 Di lYlXlYlX iHiHHHL 1 )(),(mi n(),( (3) 简称 ),( lYlX HHL 为 lL 。通过观察，当分层为 1l时， l 层和 1l 层之间的差别匹配数可以表示为1ll LL ，其中 1,0 Ll 。 l层的权值为121L。综上所述，金字塔匹配核的定义如下： 10 1)(2 1),( Ll lllLLL LLLYX lLl lLL LL 1 10 2 121 (4) 1.2.2 空间金字塔在 BOF算法下的匹配方案 本文应用空间金字塔的匹配方案，量化特征向量为

24、 M 个离散的类型，即表示视觉单词的数量，采用K-Means 聚类将图像的特征聚类到视觉单词类别中，再将视觉单词采用直方图的形式表示。本文方法极大简化了匹配的计算，只需要比较 2个视觉单词是否一致。最终的核函数总和定义为 Mm mmLL YXYX 1 ),(),( (5) 空间金字塔的 BOF表示 如 图 5所示。 图 5 空间金字塔的 BOF表示 Fig. 5 BOF spatial pyramid representation 通过对图像进行不同层级的划分，并且进行基于视觉单词的直方图表示，根据式 (4)计算每个视觉单词的金字塔匹配核之后，利用式 (5)对所有的视觉单词求和，最终利用 SV

25、M 分类器对其分类。从图 5 可以看出：当 L=0 时，就是标准的 BOF 算法。对于具有 L层和 M个视觉单词时，结果集的向量维数如下： )14(314 10 LLl l MM (6) 本文将数据集中的图像统一归一化为 200 200像素，当 L增大时，维数会呈指数级增长，因此 ，要控制 L的大小。本文通过大量测试， 发现当 L=3时，在兼顾效率的同时分类准确率较高，因此 ， 本文的所有实验都采用 L=3。 1.3 LIBSVM软件包 LIBSVM是由 LIN开发设计的一个简单、易于使用且快速有效的 SVM 模式识别和回归的软件包 13，LIBSVM所涉及的参数调节相对较少，提供了很多的默认

26、参数，而且运行速度比较快，完全可以解决本文的识别和分类问题。 LIBSVM沿用 SVM分类器的思想， SVM的核心思想是寻找最优的分类面，对空间中不同的数据集进行分类。 SVM可以描述为如下最优化问题 19： li ibw C 1T, 21min ww (7) 约束条件为： )( T bxy ii w i1 ； i 0；i=1, , n。其中 ： nix R ； ly 1,1 ，表示数据点所属的类别 ； w 为与最优分类面垂直的向量 ；C 为惩第 5期 李康顺，等：基于改进 BOF算法的图像识别和分类 1603 罚因子； i 为稀疏变量。 使用 LIBSVM 软件包代替传统的 SVM，不仅减少

27、了代码量，而且 提高了 效率。 2 实验结果及分析 本文采用识别分类中最著名的 3 个数据集 即Graz， Caltech-256和 Pascal VOC 2012。这 3个数据集具有图像数量庞大，图像种类繁多，对象类内变化多样等特点，用来测试识别和分类算法很具有代表性。其中 Pascal VOC中具有较多的噪声，分类的难度比较大，最具挑战性。采用图像数据的种类包括 Bike， Car，Person， Ketch， Office， Outdoor， Running， Shooting，Watch， Biking， HorseRiding， PlayingGuitar， Bird，Cat， Fl

28、owers， Horse， Cake， Grasshopper和 Helicopter。 为了突出本文方法的优越性，将在人脸识别中识别率很高的 Adaboost 分类器与 LIBSVM 分类器进行对比。 2.1 实验结果 本文每类都统一使用 40幅图像作为训练样本， 使用 20幅图像作为测试样本，保证了数据量的充足。图6所示为节选的数据集的一部分。 表 1所示为 Graz， Caltech-256和 Pascal VOC 2012这 3 个数据集中传统的 BOF 算法与本文方法的比 较 结果。 表 2所示为在 Pascal VOC 2012数据集中使用本文方法采用 Adaboost 分类器与

29、LIBSVM 分类器的对比 结果。 表 3所示为本文方法与其 他 相关方法在 Caltech-256数据集中的对比 结果。 为了突出本文算法的效率，节选部分图像中 SIFT算法与 SURF算法效率的对比 。表 4所示为这 2种 算法的平均特征点数与运行时间的比对 结果。 2.2 实验分析 从表 1可以看出：应用 SURF提取特征描述符以及对图像进行空间金字塔匹配， 与传统的 BOF算法 相比，在匹配准确度方面得到了极大提高。因为 SURF算法产 生的视觉单词更具有代表性，而且本文通过归一化处理，在一定程度上避免了背景信息和位置变化等带来的干扰和影响，通过空间金字塔的划分细化，极大地 提高了算法

30、的鲁棒性。因此 ，本文算法在背景比较复杂 、噪声比较多的 Pascal VOC 2012数据集中 图 6 所选数据集的部分图像 Fig. 6 Part of image of selected dataset 表 1 本文方法与传统方法在 3大数据集下的对比 Table 1 Compare this method with traditional method at three datasets 数据集 方法 分类准确率 /% Graz 传统 BOF算法 76.70 本文算法 85.00 Caltech-256 传统 BOF算法 65.81 本文算法 89.43 PascalVOC2012 传

31、统 BOF算法 60.25 本文算法 73.75 表 2 本文方法在不同分类器下的对比 Table 2 Contrast to this method at different classifiers 方法 分类准确率 /% Adaboost分类器 48.75 LIBSVM分类器 73.75 中南大学学报 (自然科学版) 第 47卷 1604 表 3 本文方法与其 他 相关方法的对比 Table 3 Compare this method with other related methods 比较的方法 分类准确率 /% 文献 9 49.50 文献 17 64.60 文献 20 82.87 本

32、文方法 89.43 表 4 SIFT算法与 SURF算法效率对比 Table 4 Compare efficiency of SURF and algorithm SIFT algorithm 算法 特征点数 /个 运行时间 /s SIFT 579 1.120 1 SURF 286 0.676 2 也具有优越性 。 图 7所示为 Pascal VOC 2012这个数据集中的实验结果( 横坐标和纵坐标代表图像的类别，对角线深色部分代表分类的准确率，其他格子代表误差 )。从图 7可见： 虽然在这个最有挑战性的数据集中有些分类结果不是很好，但整体上，本文的方法可以适应复杂的图像，并且具有良好的效果。

33、 图 7 在 Pascal VOC 2012下的实验结果 Fig. 7 Result of Pascal VOC 2012 dataset 从表 2可以看出 ：在人脸识别中具有极好表现的Adaboost分类器，应用于 BOF算法中的效果远远没有LIBSVM分类器的效果突出， LIBSVM不仅在分类的准确性上超越了 Adaboost，在执行效率方面也有明显的优势。 从表 3可以看出 ：本文与当前一些相关研究工作对比，本文算法 的分类准确率 较高。 从表 4可以看出 ：经过改良的算法 其 执行效率提高了将近 1倍，这对于图片量比较大 时进行分类与识别具有重大意义。 3 结论 1) 将 SURF 算

34、法和空间金字塔相结合，应用到BOF 算法中进行图像 识别与分类。 SURF 算法用特征描述符生成视觉词典更能代表所要分类图像的特征，比传统方法更具鲁棒性，并且在一定程度上适应了多边尺度的图像。 2) 基于空间金字塔匹配原理，通过对图像进行划分，充分利用图像的空间信息，使得匹配精确度得到极大提高。通过实验结果对比，本文算法达到了良好的分类效果，并且与近几年来的相关算法相比具有一定的优越性。 参考文献： 1 WU Lei, HOI S C H, YU Nenghai. Semantics-preserving bag-of-words models and applicationsJ. IEEE

35、Transactions on Image Processing, 2010, 19(7): 19081920. 2 ZHENG Zhenzhu, YAN Luxin. Global and local explotation for saliency using bag-of-wordsJ. IET Computer Vision, 2014, 8(4): 299304. 3 CSURKA G, DANCE C, FAN L, et al. Visual categorization with bags of keypointsC/ Proceedings of IEEE Conferenc

36、e on Workshop on Statistical Learning in Computer Vision. Centre Europe, 2004: 122. 4 SIVIC J, LAB D, ECOLE N, et al. Efficient visual search of videos cast as text retrievalJ. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(4): 591606. 5 YU J, JEON M, PEDRYCZ W. Weighted fe

37、ature trajectories and concatenated bag-of-features for action recognitionJ. Neurocomputing, 2014, 131(2): 200207. 6 ANTHIMOPOULOS M M, GIANOLA L, SCAMATD L, et al. A food recognition system for diabetic patients based on an optimized bag-of-fetures modelJ. IEEE Journal of Biomedical and Health Info

38、rmatics, 2014, 18(4): 12611271. 7 SHEN Linlin, LIN Jiaming, WU Shengyin, et al. HEp-2 image classification using intensity order pooling based features and bag of wordsJ. Pattern Recognition, 2013, 47(7): 2419242. 8 PIRES R, HELINEK H F, WAINER J, et al. Advancing bag-of-visual-words representations

39、 for lesion classification in 第 5期 李康顺，等：基于改进 BOF算法的图像识别和分类 1605 retinal imagesJ. Plos One, 2014, 9(6): e96814. 9 LOWE D G. Distinctive image features from scale-invariant key pointsJ. International Journal of Computer Vision, 2004, 60(2): 91110. 10 LI Feifei, FERGUS R, PERONS P. Learning generative

40、 visual models from few training examples: an incremental Bayesian approach tested on 101 object categoriesJ. Special Issue on Generative Model Based Vision, 2007, 106(1): 5970. 11 LEUNG T, MAILIK J. Representing and recognizing the visual appearance of materials using three-dimensional textonsJ. In

41、ternational Journal of Compute Vision, 2001, 43(1): 2944. 12 BAY H, TUYTELAARS T, VAN GOOL L. SURF: speeded up robust featuresC/ Computer Vision-ECCV 2006. Graz: Springer Berlin Heidelberg, 2006: 404417. 13 CHANG C C, LIN C J. LIBSVM: a library for support vector machinesJ. ACM Transactions on Intel

42、ligent Systems and Technology, 2011, 2(3): 2753. 14 HUANG L, CHEN C, SHEN H, et al. Adaptive registration algorithm of color images based on SURFJ. Measurement, 2015, 66: 118124. 15 唐建鑫. 基于 Bag of Features的图像分类和检索研究 D. 西安: 西安电子科技大学信息学院 . 2012: 170. TANG Jinxin. Research on image classification and r

43、etrieval based-on Bag of FeaturesD. Xian: Xidian University. College of Information, 2012: 170. 16 VIOLA P, JONES M J. Rapid object detection using a boosted cascade of simple featuresC/ Conference on Computer Vision and Pattern Recognition. USA, 2001: 511518. 17 LAZEBNIK S, SCHMID C, PONCE J. Beyon

44、d bags of features: spatial pyramid matching for recognizing natural scene categoriesJ. IEEE Computer Society on Computer Vision and Pattern Recognition, 2006, 2: 21692178. 18 HUANG M, MU Z, ZENG H. Efficient image classification via sparse coding spatial pyramid matching representation of SIFT-WCS-

45、LTP featureJ. Iet Image Processing, 2016, 10(1): 6167. 19 徐渊, 许晓亮 , 李才年, 等. 结 合 SVM分类器与 HOG特征提取的行人检测 J. 计算机工程 , 2016, 42(1): 5660. XU Yuan, XU Xiaoliang, LI Cainian, et al. Pedestrian detection combining with SVM classifier and HOG feature extractionJ. Computer Engineering, 2016, 42(1): 5660. 20 赵春晖 , 王莹 . 一种基于词袋模型的图像优化分类方法 J. 电子与信息学报 , 2012, 34(9): 20642070. ZHAO Chunhun, WANG Ying. An optimized method for image classification based on bag of words modelJ. Electronics & Information Technology, 2012, 34(9): 20642070. (编辑 杨幼平 )