基于灰度共生的多线索目标联合优化跟踪-金广智.pdf

《基于灰度共生的多线索目标联合优化跟踪-金广智.pdf》由会员分享，可在线阅读，更多相关《基于灰度共生的多线索目标联合优化跟踪-金广智.pdf（6页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、 第 45 卷 第 2 期 电 子 科 技 大 学 学 报 Vol.45 No.2 2016年 3月 Journal of University of Electronic Science and Technology of China Mar. 2016 基于灰度共生的多线索目标联合优化跟踪 金广智，石林锁，刘 浩，牟伟杰，崔智高 (第二炮兵工程大学 502教研室 西安 710025) 【 摘要 】 为了提高跟踪算法对多种目标表观变化场景的自适应能力与跟踪精度，提出一种基于灰度共生的多线索目标联合优化跟踪算法。该算法首先提取目标灰度信息，通过灰度共生的高区分度特征对目标进行二元超分描述，结合

2、三阶张量理论融合目标区域的多视图信息，建立起目标的三维在线表观模型，然后利用线性空间理论对表观模型进行双线性展开，通过双线性空间的增量学习更新，降低模型更新时的运算量。通过二级联合跟踪机制对跟踪估计进行动态调整，以避免误差累积出现跟踪漂移。与典型算法进行多场景试验对比，表明该算法能有效地应对多种复杂场景下的运动目标跟踪。 关 键 词 灰度共生 ; 线性空间 ; 多线索 ; 三阶张量 中图分类号 TP391 文献标志码 A doi:10.3969/j.issn.1001-0548.2016.03.016 Object Joint Optimization Tracking Based on Gr

3、ay-Level Co-Occurrence and Multi-Clues JIN Guang-zhi, SHI Lin-suo, LIU Hao, MU Wei-jie, and CUI Zhi-gao (502 Faculty, The Second Artillery Engineering University Xian 710025) Abstract In order to improve the stability of the object tracking under different conditions, an object tracking algorithm is

4、 proposed. First, the algorithm extracts the gray information of target to describe the two high discrimination features of target by gray-level co-occurrence matrix, the dynamic information about target changing is fused by third-order tensor theory, the three-dimensional online appearance model of

5、 the object is constructed. Then, bilinear space theory is used to expand the appearance model, implement the incremental learning of model updating, and reduce the computation of the model updating. The secondary combined stable tracking of object is achieved by dynamic matching of two observation

6、models. Experimental results indicate that the proposed algorithm can effectively deal with the moving object tracking on a variety of challenging scenes. Key words gray-level co-occurrence; linear space; multi-clues; third-order tensor 收稿日期： 2015 08 17；修订日期： 2016 01 12 基金项目：国家自然科学基金 (61501470) 作者简介

7、：金广智 (1987 )，男，博士生，主要从事模式识别、计算机视觉方面的研究 . 目标跟踪是计算机视觉的重要领域，具有重要的研究意义和良好应用前景。但在实际的运动目标跟踪过程中，随着时间的推移目标表观往往会出现遮挡、旋转、尺度等各种复杂变化，对跟踪算法的稳定性和准确性均带来了极大的挑战，因此需要寻求一种跟踪精度高且适用多场景的目标跟踪算法1。 针对该需求，许多学者开展了深入的研究，粒子滤波由于跟踪精度高、不受系统线性与噪声高斯假设的限制，受到了越来越多关注。在该框架下，文献 2通过在线数据学习建立子空间表观模型，比典型方法更能适应目标表观的真实变化。文献 3-4找到了在线表观模型合适的表示方式

8、，并进一步提高了模型更新效率。文献 5成功将高阶张量理论引入到目标跟踪领域。 文献 6结合多重线性空间理论，提出的模型增量更新方式可更好地描述目标表观的动态变化。以上方法使用的是单视图的目标表观模型，难以应对目标姿态、尺度等多种表观变化，并容易导致跟踪漂移。 本文以灰度共生 (GLCM)与三阶张量理论为基础，通过三维表观模型、双线性空间下的增量学习更新及粒子滤波下的二级联合跟踪最终锁定目标。 该算法可以在保证跟踪精度的基础上有效应对遮挡、旋转、尺度变化等多种复杂场景下的目标跟踪。 1 基于 GLCM的三维在线表观模型 与跟踪领域的其他方法不同，本文利用灰度共生矩阵对目标区域的高区分度特征进行二

9、元超分描述，进一步提高表观模型的稳定性，并结合三阶张量的理论优势，集成目标的多视图信息，同时借助双线性空间理论，提出在线增量学习的模型更新方 第 2期 金广智，等 : 基于灰度共生的多线索目标联合优化跟踪 253 法，以更好地描述跟踪过程中表观的动态变化。 1.1 二元 GLCM特征超分提取 构建表观模型，应选取稳定性好、辨识度高的特征， 灰度特征运算方便且可较好地描述目标表观，但在光照变化时对目标与背景的区分度明显下降。但纹理特征受光线变化影响较小，且 GLCM可通过多种角度对目标的纹理特征进行描述， 分别从方向、相邻间隔、变化幅度等多方面对目标进行描述，同时兼具了灰度特征运算方便的优点。

10、GLCM表示图像在方向 上相距 s 的灰度像素对 (, )ij共同出现的概率分布，用,sP表示，包含角二阶矩、熵、对比度、逆差矩、相关度等统计量特征。文献 7证明了熵 ENT与对比度 CON为相关度最低、分辨能力最好的统计量特征，其中参数 s 根据不同需要一般从 1,2,4,8,16,32中进行取值8，该环节需要在获得稳定纹理描述的同时保持较低的运算复杂度，经大量实验表明， s通常取值为 4满足该条件9，此时最精细的超分窗口为 55()。 (, )pi j 代表,sP的元素， 目标区域定义为 ()NM ， 定义如下： 1100ENT (,)log (,)NMijpi j pi j=(1) 2C

11、ON ( ) ( , )ijijpij=(2) 式中， ENT为图像信息量的随机性度量，代表纹理的复杂程度； CON为图像纹理的清晰程度，其值越大纹理越清晰。本文通过超分窗口 55()，将目标超分为若干像素块，并通过 ENT和 CON特征进行描述，得到超分特征矩阵ENTP 与CONP 。步骤如下： 1) 首先对目标区域 NM()进行标定，并通过超分窗口 55()进行细分； 2) 对细分后的像素块分别提取灰度信息，通过运算得到其灰度共生矩阵 GLCM，并进行归一化； 3) 通过归一化后的 GLCM，经计算得到二维超分矩阵ENTP 与CONP 。 4) 当 N/5， M/5余数不足 5时，即图像边

12、缘像素块，令余数为 k，采取如下策略： 3512kk 空缺像素以最邻近像素补齐 舍弃对该像素块的超分运算1.2 三维表观模型的建立 为了更多地挖掘目标表观的有效线索信息，利用三阶张量来对跟踪序列图像中的目标进行表述，该模式的优势是既能保留目标区域的几何空域信息，并易集成目标区域的其他线索。因此三维表观模型可由特征矩阵与时域多视图信息建立。目标区域的特征信息由超分特征矩阵表示，组成模型的前两个数据模式；结合目标区域有限时刻的连续多视图观测信息，建立模型的第三个线索，时域视图模式。 令共选取 K种线索特征对目标进行建模， 并将相应第 k条线索的帧视图数据记为12I IkXR ， 取连续 n帧图像获

13、得连续视图观测数据，可表示为三阶张量形式12312, ,I IIkkk knXX X R=null ，3I n= ，即可相应建立起三维在线表观模型，关于熵 ENT和对比度CON的三维表观模型示意如图 1所示。 CON n I1I2图 1 三维在线表观模型 1.3 双线性空间下的增量学习更新 引入多维线索建立的三维表观模型会带来运算量的大幅提升，为缓解该不足，利用双线性空间9理论展开表观模型，并对其进行增量更新。 1) 双线性空间展开。实际场景中的目标表观变化在有限时间内可认定其服从线性变化理论，可引入双线性空间对目标模型进行展开， 其示意图如图 2所示，可利用线 性空间的正交基对模型进行特征表

14、示。同时对线性空间展开进行如下改进：首先通过对样本观测数据去均值化，能凸显样本观测数据的变 化，即1X = 1,nXX X X Xnull ，然后对其进行模型数据展开，得到两个模式12()1I nIR ，21()2I nIR 。正交基的表示形式为12() () (),iiiVV=V null ()()iPiV () ()iiI PR，为便于对训练样本中的数据变化信息进行表示， 可以对样本均值()i 的奇异值递推分解(RSVD)4获知其子模式的正交基， 通过其前()iP 个最大值对应的数据集()12() () (), , iPii i null 对正交基进行描述。 其中，()iP 的个数代表线性

15、空间模型的维度数，其取值利用式 (3)判定： (1)I1I1I1I2I2I2I1I2展开 1 展开 2 I1I2n(2)n n 图 2 观测数据双线性空间展开 ()iP = 11() ()arg min | 1,2, , ,ijjIKikjjiikk I = = null (3) 电 子 科 技 大 学 学 报 第 45 卷 254式 (3)中，阈值 依据经验确定 ( 01 )，为使 的取值能在保存最大数据变异信息的同时使运算量保持在一个合适范围内， 经实验验证， 取值 0.85时可取得较理想的结果。同时，通过投影降维可降低模型表示的运算量对线性空间的子模型进行投影降维，可降低模型描述的计算量

16、5，如式 (4)： TT1(1) 2(2)YX= VV (4) 式中，T1(1)V 和T2(2)V 分别表示展开 1模式和 2模式下的相应子空间的正交基。 2) 增量学习更新。常规模型更新需要保留较多的目标观测数据，且由于多维线索表观模型的引入按常规更新方式运算量明显加大，但可结合跟踪过程中的新增观测信息来更新目标表观模型10优化模型的表示，故特别提出结合双线性空间的学习更新方法。它以连续 n帧包含跟踪目标的视图为基础，通过紧跟 t 时间内新增的 m帧视图信息对模型进行学 习更新。令12, ,kkk ktnXX X = null 为 t时刻基于第 k条线索下的双线性空间模型的有效观测数据，12

17、, , kkk ktnn nmXX X+ += null 为间隔 t 后新录入的 m帧视图观测信息， 则 tt+ 时刻模型可表示为ktt+= 12 1 2, , , , , kK kk k knn n nmXX XX X X+ +nullnull，该环节问题则转化为对 tt+ 时刻模型进行表示的问题， 即增量模型的数据均值和正交基的求解问题。 实施方式如下： 求取已有样本数据集的均值11nkktiiXXn=，新增样本数据的均值11nmkktiinXXm+=+=； 引入新增样本后对模型均值进行更新 (h为消逝系数 )，kkktt t tmhnXXXhn m hn m+ =+; 为避免直接引入样本

18、均值对数据即时变化信息的影响，先对新增样本去均值处理：kt= 1, kk k kntnmtXX X X+ + null ，然后对模型再进行双线性展开，可得()|1,2ktii= ； 求解() () () () , ( ),kk kkiti ti tinmGXXnm=+1, 2i = ，其中()ktiX 与()ktiX分别为已有样本数据集均 值和新增样本均值的线性空间展开； 结合 RSVD4方法，可得到新模型的正交基。 常规模型更新通常直接进行数据学习，空域复杂度是2( )iIn m+，结合增量学习更新后空域复杂度变为()( )kiiI Pm+；常规模型更新方法的时域复杂度是2( )iIn m+

19、，结合增量学习更新后时域复杂度变为2()iI m 。 可见运算量并未随数据的增长而增多，运算复杂度总体较低。 2 二级联合跟踪 粒子滤波作为算法的跟踪框架，主要包括动态模型与观测模型，观测模型 (|)ttpz s 是保证跟踪效果的关键，需重点改进： 1) 以建立的三维表观模型为基础， 结合当前时刻信息分别进行在线权重估计，进而建立自适应观测模型，因连续的目标帧视图代表的表观变化通常较小，可通过自适应观测模型的自身调整克服； 2) 以真实目标视图为基准，建立目标的静态观测模型，防止长时跟踪过程中误差累积出现跟踪漂移； 3) 通过两个模型的联合匹配，实现对目标的稳定跟踪。 2.1 自适应观测模型

20、假定有 K条线索对目标模型进行描述， 利用式 (5)能得到目标的观测模型并实现线索的融合11： 1(|) ( |)Kkktt t t tkpz s pz s=(5) 式中 ，ktz 表示第 k条独立线索的样本观测数据 ；kt 表示第 k条线索的置信度 。 因 (|)kttpz s 2HFexp( )kt，且2 为预设方差， HFkt表示新增数据的重构残差值，因此通过 HFkt值便可得到观测模型 (|)kttpz s 的取值。为便于后续在线线索融合的实现， 可选取相应数目的新增粒子来动态估计各线索的权值12，同时为使权重的更新更接近表观线索的真实变化，引入消逝系数更新权重*1(1 )kk ktt

21、 tff =+，其中 f为消逝系数，权值更新越快， f越小，即旧样本数据对权值的影响越小，各线索之间便可起到相互补充的效果。 2.2 静态观测模型 模型更新过程中会出现场景突变，容易导致跟踪漂移。在滤波理论跟踪下首帧视图是唯一的目标真实信息，对其他时刻状态的预测均存在一定的误差，以首帧真实目标视图为基准，建立静态观测模型。具体步骤： 1) 标定初始化首帧图像中的目标视 图，提取特征信息0ENTP 与0CONP ； 2) 以连续 n张目标首帧视图信息为原型，建立目标首帧视图的三维表观模型； 3) 以首帧视图的表观模型为基础，建立目标的静态观测模型0(|)ttpzs。 3 实验分析 3.1 评价指

22、标与测试视频 运动目标跟踪算法评价体系中平均跟踪误差 第 2期 金广智，等 : 基于灰度共生的多线索目标联合优化跟踪 255 (ATE)与跟踪框重合率 (AOR)是非常具有代表性的评价指标。 平均跟踪误差由 ATEX与 ATEY两个指标决定；以 A表示跟踪算法的跟踪框，以 B表示测试视频的真实边界框，则计算方式如下： ATE ATEATE2XY+= (6) AOR /A BA B= (7) 测试视频选取的是目标跟踪数据集 Tracker BBenchmark v1.0中的序列视图10，如表 1所示。 表 1 对比测试视频 视频序列 分辨率 视频长度 视频场景 CarScale 640272 2

23、52 Scale Variation, Occlusion, Background Clutters Tiger1 640480 354 Deformation, Rotation ,Occlusion Soccer 640360 392 Motion Blur, Background Clutters Car4 360240 650 Illumination Variation, Scale Variation ,Fast Motion 3.2 实验与分析 为了有针对性地对本文算法进行测试，选取如下算法对照实验：多线索融合的目标跟踪算法(MAPF)，增量对数线性空间学习的跟踪算法 (IRST

24、)与增量线性空间学习的跟踪算法 (IVT)。 对比算法均以粒子滤波为跟踪框架， 且均采用相同的目标运动模型。 图 3a中 CarScale场景下，小车快速运动，存在明显的尺度变化与树木的遮挡，仅本文算法做到了该视频场景下的尺度自适应跟踪，其他跟踪算法偏差较大，验证了本文基于三维表观模型的多线索目标联合优化跟踪算法处理复杂场景的鲁棒性。图 3b为旋转扰动遮挡场景下的 Tiger1视频。图 3bi帧中，算法均可以准确的跟踪，图 3bii与图 3biii目标发生旋转与形变，表观发生较大变化， MAPF算法逐渐跟丢目标难以适应该场景， IRST算法由于基于对数线性空间建模，对目标表观变化更加敏感优于

25、IVT算法，而本文算法由于引入目标连续视图建立表观模型，能较好适应目标表观的大幅变化，且由于引入了二级联合跟踪机制，避免了跟踪漂移的出现。 图 3c的 Soccer视频为由于相机运动与背景大幅突变造成运动模糊的场景。与图 3b类似，初始阶段，几种算法均可较准确的捕捉到目标，区别较小，但随着庆祝场面升级，相机需要快速运动以捕捉Soccer造成视图严重模糊，由图 3cii与图 3ciii可见， 3种对比算法由于视图严重模糊无法跟踪目标，均出现了跟踪漂移现象，只有本文算法均成功捕捉到了跟踪目标。图 3d的 Car4场景下，目标表观存在明显的光线突变。 MAPF算法因为结合 LBP线索，跟踪精度显著优

26、于 IVT算法； IVT算法在光线突变后，目标被跟丢，表明仅利用灰度建模稳定性欠佳； IRST算法在小车刚进入桥下时，存在漂移现象，但在表观稳定后又找回了目标，表明仅利用 COV建模对场景突变鲁棒性较差；但本文方法由于采用的线索间可相互动态补充，能有效应对该跟踪场景。 MAPE IRST IVT 本文算法 i. 118帧 ii. 171帧 iii. 214帧 a. CarScale i. 9帧 ii. 120帧 iii. 164帧 b. Tiger1 电 子 科 技 大 学 学 报 第 45 卷 256i. 8帧 ii. 80帧 iii. 213帧 c. Soccer i. 42帧 ii. 1

27、88帧 iii. 234帧 d. Car4 图 3 多种表观变化场景实验对比 为了定量验证算法的跟踪效果，通过 ATE 与AOR两个指标作为评估依据，可看出本文算法相比对照算法有了较大进步，具有较高的跟踪精度，跟踪误差平均保持小于 9像素；表 2所示数据表明，本文算法亦可较好地适应目标的尺度变化，进一步验证了本文的模型及其更新方法对提高跟踪效率的良好效果；同时算法对视频的处理速度也相应提高，有效保证了跟踪的实时性。 表 2 算法定量对比评估 ATE(精度： pix) AOR(精度： 0.001) 算法 MAPF IRST IVT 本文算法 MAPF IRST IVT 本文算法 CarScale

28、 13.4 10.2 12.1 8.1 0.562 0.612 0.645 0.794 Tiger1 20.2 13.9 18.9 7.6 0.498 0.547 0.541 0.803 Soccer 33.4 21.6 28.7 8.9 0.282 0.503 0.487 0.741 Car4 12.6 9.8 11.4 4.6 0.601 0.742 0.686 0.857 4 结 论 本文针对视频跟踪过程中目标表观存在的复杂变化，提出了一种基于灰度共生的多线索目标联合优化跟踪算法。以灰度共生理论为基础，利用高辨识度特征对目标区域分别进行超分提取，从空域和时域角度分别对跟踪目标进行三维表观

29、建模；通过双线性空间的在线增量学习更新方式对模型进行动态更新，提高了算法的运算效率；同时二级联合跟踪能有效避免跟踪漂移，保证跟踪的精度。实验表明，该算法在多种包含剧烈表观变化的跟踪环境中可取得良好的跟踪效果。 参 考 文 献 1 YANG H, SHAO L, ZHENG F, et al. Recent advances and trends in visual tracking: A reviewJ. Neurocomputing, 2011, 74(18): 3823-3831. 2 HO J, LEE K C, YANG M H, et al. Visual tracking usin

30、g learned linear subspacesC/Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition. S.l.: IEEE, 2012. 3 LEE K C, KRIEGMAN D. Online learning of probabilistic appearance manifolds for video-based recognition and trackingC/IEEE Conference on Computer Vision and Pattern Recognition. S

31、.l.: IEEE, 2013. 4 ROSS D, LIM J, LIN R S, et al. Incremental learning for robust visual trackingJ. International Journal of Computer Vision, 2013, 77(1-3): 125-141. 5 LATHAUWER L, MOOR B, VANDEWALLE J. On the best rank-1 and rank-(R1, R2, null , Rn) approximation fhigherorder tensorsJ. SIAM Journal

32、 of Matrix Analysis and Applications, 2000, 21(4): 1324-1342. 6 LI X, HU W, ZHANG Z, et al. Visual tracking via incremental Log-Euclidean Riemannian sub-space learning C/IEEE Conference on Computer Vision and Pattern Recognition. S.l.: IEEE, 2013. 7 LI X, HU W, ZHANG Z, et al. Robust visual tracking

33、 based on incremental tensor subspace learningC/International 第 2期 金广智，等 : 基于灰度共生的多线索目标联合优化跟踪 257 Conference on Computer Vision. S.l.: s.n., 2012. 8 薄华 , 马缚龙 , 焦李成 . 图像纹理的灰度共生矩阵计算问题的分析 J. 电子学报 , 2014, 34(1): 155-158. BO Hua, MA Fu-long, JIAO Li-cheng. Research on computation of GLCM of image texture

34、J. Acta Electronica Sinica, 2014, 34(1): 155-158. 9 CLAUSI D A, HUANG D. Design-based texture feature fusion using Gabor filters and co-occurrence probabilitiesJ. IEEE Trans on Image Processing, 2013, 14(7): 925-936. 10 WU Y, LIM J, YANG M H. Object tracking benchmarkJ. Pattern Analysis and Machine

35、Intelligence, 2015, 37(9): 1834-1848. 11 KHAN Z H, GU I Y H. Online domain-shift learning and object tracking based on nonlinear dynamic models and particle filters on Riemannian manifoldsJ. Computer Vision and Image Understanding, 2014, 125: 97-114. 12 CHENG X, LI N, ZHOU T, et al. Object tracking

36、via collaborative multi-task learning and appearance model updatingJ. Applied Soft Computing, 2015, 31: 81-90. 编 辑 税 红 - (上接第 245页 )4 WU C, YANG Z, LIU Y, et al. WILL: Wireless indoor localization without site surveyJ. IEEE Transactions on Parallel and Distribution System, 2013, 24(4): 839-848. 5 BR

37、UNO L, ROBERTSON P. Observability of path loss parameters in WLAN-based simultaneous localization and mappingC/International Conference on Indoor Positioning and Indoor Navigation. Montbeliard-Belfort, France: IEEE, 2013: 1-10. 6 LUXBURG U V. A tutorial on spectral clusteringJ. Statistics and Comput

38、ing, 2007, 17: 395-416. 7 WANG J, SUN Y, LIU Z, et al. Route planning based on Floyd algorithm for intelligence transportation systemC/ IEEE International Conference on Integration Technology. Shenzhen: Institute of Electrical and Electronics Engineering Computer Society, 2007: 544-546. 8 HERMAN I,

39、MELANCON G, MARSHALL M S. Graph visualization and navigation in information visualization: a surveyJ. IEEE Transactions on Visualization and Computer Graphics, 2000, 6(1): 24-43. 9 LAZAREVIC A, KANAPADY R, KAMATH C, et al. Localized prediction of continuous target variables using hierarchical cluste

40、ringC/The 3rd IEEE International Conference on Data Mining. Melbourne, United States: Institute of Electrical and Electronics Engineers Incorporated, 2003: 139-146. 10 MACQUEEN J. Some methods for classification and analysis of multivariate observationsC/The 5th Berkeley Symposium on Mathematical Statistics and Probability. California, USA: University of California Press, 1967: 281-297. 编 辑 叶 芳