基于elm与mean shift的抗遮挡目标跟踪算法-毛晓波.pdf

《基于elm与mean shift的抗遮挡目标跟踪算法-毛晓波.pdf》由会员分享，可在线阅读，更多相关《基于elm与mean shift的抗遮挡目标跟踪算法-毛晓波.pdf（5页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、2016年 1月郑州大学学报(工学版) Jan. 2016第37卷第1期Journal of Zhengzhou University (Engineering Science) Vol 37 No 1收稿日期:2015 -03 -10;修订日期:2015 -05 -20基金项目:国家自然科学基金资助项目(61473266);河南省教育厅科学技术研究重点项目资助计划(14A410001)作者简介:毛晓波(1965 ),男,河南开封人,郑州大学教授,博士,主要从事仿生机器视觉研究,E-mail: mail-mxbzzu. edu. cn.引用本文:毛晓波,郝向东,梁静.基于ELM与Mean Sh

2、ift的抗遮挡目标跟踪算法J.郑州大学学报(工学版),2016,37(1):1 -5.文章编号:1671 -6833(2016)01 -0001 -05基于ELM与Mean Shift的抗遮挡目标跟踪算法毛晓波,郝向东,梁静(郑州大学电气工程学院,河南郑州450001)摘要:针对目标跟踪过程中发生遮挡时跟踪出现偏差的情况,在传统Mean Shift跟踪算法的基础上引入极限学习机(extreme learning machine,ELM),提出了基于ELM与Mean Shift的目标跟踪算法。该算法根据过去3个时刻的目标位置信息,利用ELM预测出目标当前可能位置,代替目标前一时刻位置作为Mean

3、 Shift迭代起始点,并在邻域范围内进行迭代,得到目标的真实位置.实验结果表明,与现有的改进算法相比,新算法减少了迭代次数和运算时间,同时在遮挡情况下能够准确定位目标位置并进行跟踪,提高了跟踪系统的实时性和鲁棒性.关键词:目标跟踪;遮挡;Mean Shift;ELM中图分类号: U461.6 文献标志码: A doi:10.3969/ j. issn.1671 -6833.2015030430引言目标跟踪技术是机器视觉的热门课题,广泛应用于工业生产、国防军事和生活安防等众多领域.遮挡问题是目前目标跟踪的难题之一,遮挡尤其是严重遮挡会直接影响跟踪的准确性和持续性,可能导致目标跟踪发生偏差甚至丢

4、失目标.因此,研究抗遮挡的目标跟踪算法具有重要的理论和实际意义.Mean Shift算法1、光流算法2、卡尔曼滤波算法3、粒子滤波算法4等都能在一定条件下有效地跟踪目标.其中,Mean Shift算法以其无需参数、快速模式匹配的特性被广泛地应用5.但是,当目标运动速度过快或遮挡较为严重时,传统Mean Shift算法往往会发生目标的定位偏差甚至跟丢.为解决上述问题,研究人员提出了一些有效方法,如在算法中引入模板分块匹配6或将MeanShift算法与滤波算法相结合7 -10等.这些方法能够提高跟踪算法的抗遮挡能力,但由于需要进行分块跟踪或进行复杂的滤波运算,增加了算法的复杂度,跟踪实时性受到影响

5、.针对以上问题,笔者提出一种基于ELM与Mean Shift的抗遮挡目标跟踪算法,利用ELM的快速学习和预测能力预测目标的运动趋势,以预测出的目标中心作为Mean Shift迭代起始点,通过迭代得到目标当前真实位置.笔者将新算法与基于模板分块匹配的Mean Shift算法和基于卡尔曼滤波的Mean Shift算法作了比较.实验证明,新算法能够在目标高速运动或遮挡情况下快速精确稳定地跟踪目标,具有很好的实时性和鲁棒性.1 Mean Shift算法Mean Shift算法是一种基于核密度估计的非参数模式匹配算法,通过建立加权直方图来描述目标的颜色分布11.该方法利用像素概率密度函数梯度最优化方法,

6、首先选定跟踪目标的区域,计算核函数加权下的目标区域的直方图分布,然后用同样的方法对当前帧的数据密度直方图进行漂移,且通过Mean Shift迭代寻找与目标区域相似性最大的区域,最终实现快速目标定位.1.1目标模型Mean Shift跟踪算法利用目标区域的直方图分布来描述目标,根据目标模型和候选模型的相似度进行中心的均值漂移.在第一帧中手动确定包含跟踪目标的区域,设中心坐标为d0;区域中包含n个像素,位置记为dii =1,2, ,n;特征值u =2郑州大学学报(工学版) 2016年1,2, ,m是直方图的颜色索引.则目标模型的特征估计概率密度可表示为qu = Chni =1s di - d0h

7、2 b di( ) - u . (1)式中:h为核函数的窗宽,即目标区域的大小;s( )为核函数的轮廓函数,对靠近中心的区域像素赋予一个大的权值,对远离中心的区域像素赋予越来越小的权值; 是克罗内科函数, 用于判断目标区域中像素di的颜色值是否属于第u个单元的颜色索引值,若为1,则是,为0,则不是;Ch为归一化常数,其取值满足Ch = 1/mi =1qu = 1. (2)1.2候选模型目标运动过程中,每一帧图像中目标可能存在的区域称为候选区域,其核函数窗宽中的特征模型称为目标候选模型.假设第k帧时得到的目标中心为yk,则在第k + 1帧中候选模型的特征值为:pu y( ) = Chni =1s

8、 di - ykh 2 b di( ) - u . (3)1.3相似度判定函数在跟踪过程中,Mean Shift算法将候选模型与目标模型进行相似性判别,寻找式(3)中最优的yk,使得pu和qu相似度达到最大. qu和pu的相似度可由如下函数判定: y( ) p y( ),q( ) = mu =1pu y( )qu . (4)式中:(y)是Bhattacharyya系数,其值在0 1之间,(y)值越大,表示两个模型相似度越高.目标发生遮挡时,(y)变小,给定遮挡阈值T,当(y) T时,认为目标发生遮挡.1.4 Mean Shift算法将上述式(4)在模型初始位置yk处泰勒展开得:p(y),q =

9、 12mu=1p yk( )qu + 12mu=1pu y( ) qupu yk( ).(5)将式(4)代入式(5)整理得:p(y),q 12mu=1p yk( )qu +Ch2ni =1wis y -dih 2.式中: wi = mu = ib di( ) - u qupu yk( ). (6)由式(6)可知,相似度函数只随等式右侧第二项中y的变化而变化,与第一项无关.通过Mean Shift算法在邻域内不断迭代,对相似度函数求最大值,即可得到跟踪目标新的位置:yk+1 = ni =1di wig yk - dih 2 ni =1wig yk - dih 2. (7)迭代结束后,得到的yk

10、+ 1,即为第k +1帧的目标中心.1.5 Mean Shift算法的缺点在实际应用中,由于Mean Shift算法没有专门有效的抗遮挡机制,当跟踪目标经过遮挡物时,往往会发生目标的跟偏甚至跟丢.另外,当目标高速运动时,Mean Shift算法跟踪效果变差.为此,笔者在Mean Shift算法的基础上引入了ELM算法12 -13,利用ELM的预测能力较好地解决了上述问题.2 ELM与Mean Shift相结合的算法2.1 ELM的基本原理若一个标准的单隐层前馈神经网络含有N个训练样本,记为xi, oi i =1,2, ,N,其中xi =(xi1,xi2, ,xin)T Rn,oi = (oi1

11、,oi2, ,oim)TRm,含有N个隐层节点,设其激励函数为g(x),则该神经网络的输出可以表示为f xj( ) = Ni =1ig wi xj + bi( ),j = 1,2, ,N. (8)式中:wi = (wi1,wi2, ,win)T为输入神经元与第i个隐层节点的输入权值;i = (i1,i2, ,im)T为第i个隐层节点与输出神经元的输出权值;bi为第i个隐层节点的偏置.神经网络的理想目标是实际输出与给定样本相等,因此存在i、wi和bi使得 Ni =1ig wi xj + bi( ) = oj, j = 1,2, ,N . (9)式(9)即为ELM的模型,其中,j为第j个输入样本的

12、对应的输出样本,该模型可用矩阵表示为H =O. (10)式中:H =g w1 x1 + b1( ) g wN x1 + bN( ) g w1 xN + b1( ) g wN xN + bN( )NN;第1期毛晓波,等:基于ELM与Mean Shift的抗遮挡目标跟踪算法3 =T1TNNm; O =oT1oTNNm. H为神经网络的隐层输出矩阵.在ELM中,输入权重wi和隐层偏置bi由系统随机确定,则H被唯一确定.由Moore-Penrose广义逆定理可求出H + ,则 =H + O . (11)2.2基于ELM与Mean Shift的抗遮挡目标跟踪算法在目标运动过程中,第t时刻目标的位置与其上

13、一时刻的位置、速度和加速度有关,即可以通过这3个参数确定目标当前时刻的位置.而这3个参数包含在第t -1、t -2、t -3时刻的目标位置信息中,因此,由前3时刻目标的位置可以预测出第4时刻目标的位置.首先,通过对无遮挡目标的精确跟踪得到一组目标运动轨迹,为了提高样本精确度,采用手工逐帧确定.取连续200组中的前160组位置坐标作为ELM的训练样本,将连续3组坐标作为输入,第4组作为输出来训练ELM神经网络.利用后40组作为测试样本,通过不断调节隐层节点数使预测达到最优.同理,对遮挡目标进行训练,训练样本和测试样本依然分别取160组和40组.调节隐层节点数,使两个训练集合的预测结果最佳.通过试

14、验,当隐层节点设为30时,预测值达到最优.用ELM进行目标位置预测时,首先假设初始时刻目标的速度和加速度均为零,同时假设前3时刻目标位置均为初始时刻选定的目标位置,即ELM的3组输入均为初始时刻目标位置.目标跟踪过程中,由前3时刻的目标位置d1、d2、d3通过训练好的ELM网络模型预测出当前时刻的目标位置,记为y,用y代替式(3)中的yk作为MeanShift迭代的起始点,在邻域范围内进行迭代,从而得到目标当前的真实位置yk + 1.式(3)变为pu y( ) = Chni =1s di - yh 2 b di( ) - u . (12)于是,式(7)变为yk+1 = ni =1di wig

15、y - dih 2 ni =1wig y - dih 2. (13)同时计算(y)并与遮挡阈值T进行比较,若(y) T,则继续执行;若(y) T,说明发生遮挡,则以y代替yk + 1作为当前帧目标的实际位置,然后进行下一帧的预测,直到再次(y) T,说明遮挡结束,跟踪正常,如此就完成了对目标的跟踪.3仿真结果分析在2.10 GHz主频4 GB内存的Windows8操作系统电脑上使用Matlab2010,对笔者提出的算法进行了测试实验,并在相同条件下与基于模板分块匹配的Mean Shift算法和基于卡尔曼滤波的Mean Shift算法跟踪效果进行了对比.为验证跟踪结果的实时性,我们对公路上高速行

16、驶的汽车进行了20次跟踪,统计3种算法对第11帧到110帧共计100帧目标进行20次跟踪的平均迭代次数,并对跟踪效果进行了对比.表1显示了3种不同算法的平均迭代次数对比结果.通过对比可以发现,由于新算法采用了位置预测,迭代起始位置与目标实际位置的距离大大减少,因此比基于模板分块匹配的Mean Shift算法迭代次数平均减少1. 20次;同时,新算法的位置预测方法较卡尔曼滤波更为简便,一定程度上简化了融合算法且计算效率有所提高,比基于卡尔曼滤波的Mean Shift算法平均减少0.76次.表1 3种算法迭代次数Tab.1 Iteration number of different algorit

17、hms算法迭代次数分块算法3.34滤波算法2.90新算法2.14表2为3种算法分别对100帧视频进行20次跟踪的平均时间.由表2可知,新算法平均跟踪时间是4 918 ms,比两种已有改进算法分别减少17.9%和7.2%.表2 3种算法跟踪时间Tab.2 Tracking time of different algorithms项目时间/ ms正常播放4 203分块算法5 993滤波算法5 302新算法4 918图1为3种算法跟踪效果,分别取第20、40、60、80帧图片.表3为3种算法的跟踪误差,表示跟踪位置和实际位置中心的距离,实际位置采用手工逐帧确定.由表3可知,新算法与基于模板分4郑州大

18、学学报(工学版) 2016年块匹配的Mean Shift算法跟踪误差近似,明显小于基于卡尔曼滤波的Mean Shift算法.图1高速运动车辆跟踪结果对比Fig.1 Tracking results comparison of high speed car表3 3种算法跟踪误差Tab.3 Tracking errors of different algorithms算法Frame20 Frame40 Frame60 Frame80分块算法5.385 18.601 40.792 52.631滤波算法6.708 24.839 61.221 107.415新算法6.000 17.804 44.689

19、54.918图2为3种算法对公路上被遮挡车辆进行跟踪的结果,分别取第5、17、29、43帧图片.表4为3种算法的跟踪误差.由表4可以看出,当目标发生遮挡时,3种算法跟踪误差变化较为剧烈,此时新算法的跟踪误差为66. 129,明显小于另外两种改进算法.遮挡结束后恢复到正常跟踪,3种算法跟踪误差均变小.图2遮挡车辆跟踪结果对比Fig.2 Tracking results comparison of occluded car表4 3种算法跟踪误差Tab.4 Tracking errors of different algorithms算法Frame5 Frame17 Frame29 Frame43分

20、块算法3.000 31.321 81.025 49.980滤波算法4.123 37.121 110.023 77.621新算法2.828 32.249 66.129 41.976表5为3种算法跟踪60帧车辆遮挡视频所用时间,新算法跟踪时间比另外两种改进算法分别减少18.5%和7.5%.表5 3种算法跟踪时间Tab.5 Tracking time of different algorithms项目时间/ ms正常播放2 187分块算法4 151滤波算法3 659新算法3 384图3为3种算法对被遮挡的行人进行跟踪的结果,取第20、40、50、70帧进行比较.由图3可以看出,由于跟踪过程中行人被完

21、全遮挡,基于模板分块匹配的Mean Shift算法无法进行子块匹配,造成了错误的跟踪,丢失了目标;而基于卡尔曼滤波的Mean Shift算法和新算法在目标被遮挡时自动以预测的目标位置为起点继续跟踪,遮挡结束后恢复正常跟踪,因此能够较好地跟踪目标.图3行人遮挡跟踪结果对比Fig.3 Tracking results comparison of occluded people以上实验表明,当目标高速运动或发生遮挡时,新算法具有更好的实时性和鲁棒性.4结论笔者提出一种基于ELM与Mean Shift的抗遮挡目标跟踪算法,解决了Mean Shift算法在目标发生遮挡时跟踪性能变差的问题.该算法利用目标

22、的历史位置信息,通过神经网络预测出当前位置信息,所需信息少,计算量小,有效地减少了迭代次数,在目标发生遮挡时以预测位置信息继续跟踪,能够准确跟踪目标.实验证明,新算法能够在目标发生严重遮挡时准确跟踪目标,具有很好的实时性和鲁棒性,并且与现有的改进算法相比,具有一定的优势.神经网络具有强大的自学能力、联想能力和第1期毛晓波,等:基于ELM与Mean Shift的抗遮挡目标跟踪算法5计算能力,将神经网络应用到目标跟踪技术中,突破传统算法的限制,使跟踪系统更加智能化,为解决目标跟踪问题提供了新方法,对于处理目标跟踪过程中的遮挡问题,提高复杂场景下目标跟踪的稳定性具有重要意义.笔者并没有考虑多目标跟踪

23、的问题,因此下一步将考虑对多个目标进行跟踪时如何利用神经网络实现有效跟踪.参考文献:1何志勇,蔡乐才,许继家.基于Mean Shift算法跟踪视频中运动目标J.郑州大学学报(理学版),2010,42(1):38 -40,48.2李剑峰,黄增喜,刘怡光.基于光流场估计的自适应Mean - Shift目标跟踪算法J.光电子激光,2012,23(10):1996 -2002.3 WENG S K,KUO C M,TU S K. Video object trackingusing adaptive Kalman filter J. Journal of visualcommunication and

24、 image representation, 2006, 17(6):1190 -1208.4屈鉴铭,刘志镜,贺文骅.结合有向场景运动模式的粒子滤波行人跟踪方法J.西安交通大学学报,2014,48(12):74 -79.5袁霄,王丽萍.基于MeanShift算法的运动人体跟踪J.计算机工程与科学,2008,30(4):46 -49.6颜佳,吴敏渊,陈淑珍,等.应用Mean Shift和分块的抗遮挡跟踪J.光学精密工程,2010,18(6):1413-1418.7章学静,陈禾,杨静.结合卡尔曼滤波和Mean Shift的抗遮挡跟踪算法J.北京理工大学学报,2013,33(10):1056 -10

25、61.8张伟丽,江春华,郝宗波.基于改进的均值漂移和卡尔曼滤波的目标跟踪算法J.计算机应用与软件,2014,31(5):240 -243.9 HE J W,YANG Y Y. Signal Processing, communica-tions and computing: ICSPCC2014C Multi-inter-ative tracking mathod using meanshift based on kalmanfilter. Guilin,2014:22 -27.10权义萍,金鑫,张蕾,等.基于Mean - Shift的卡尔曼粒子滤波车辆跟踪算法研究J.计算机应用与软件,201

26、4,31(9):236 -252.11杨杰,张翔.视频目标检测和跟踪及其应用M.上海:上海交通大学出版社,2012.12王杰,毕浩洋.一种基于粒子群优化的极限学习机J.郑州大学学报(理学版),2013,45(1) :100 -104.13胡义涵,张小刚,陈华,等.一种基于鲁棒估计的极限学习机方法J.计算机应用研究,2012,29(8):2926 -2930.Target Tracking Algorithm Based on Mean Shift with ELMMAO Xiaobo, HAO Xiangdong, LIANG Jing(School of Electrical Enginee

27、ring,Zhengzhou University,Zhengzhou 450001,China)Abstract: In view of the problem of object deviation when occlusions occur during the target tracking, a newalgorithm using Mean Shift with ELM is proposed. According to the formal information of the objects loca-tion, current possible location was pr

28、edicted by ELM, the iteration was started from the possible location in-stead of formal location, and the objects real center is calculated by mean shift algorithm. The simulation re-sults show that proposed algorithm can track precisely target occluded, operation time and number of iterationare reduced so that efficiency and robustness are improved.Key words: target tracking; occlusion; Mean Shift; ELM