基于cnn的高速铁路侵限异物特征快速提取算法-王洋.pdf

《基于cnn的高速铁路侵限异物特征快速提取算法-王洋.pdf》由会员分享，可在线阅读，更多相关《基于cnn的高速铁路侵限异物特征快速提取算法-王洋.pdf（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第卷第期年月仪器仪表学报收稿日期：基金项目：国家重点研发计划高速铁路系统安全保障课题（）项目资助基于的高速铁路侵限异物特征快速提取算法王洋，余祖俊，朱力强，郭保青（北京交通大学机械与电子控制工程学院北京）摘要：高速铁路异物侵限检测系统用来检测是否有异物侵入高速铁路安全限界。为增加系统的可靠性，提出了一种基于卷积神经网络（）的特征快速提取算法。针对特征计算速度缓慢的问题，提出简化的全连接网络结构；针对准确率因简化网络结构而下降的问题，提出将卷积层的卷积核进行预先训练；最后为防止因全连接而导致的对称性特征提取，提出加入稀疏性参数的快速特征提取算法。改进后的卷积神经网络，在保证准确率的基础上加快了计

2、算速度，同时满足了实时性和高准确率的要求。实验表明处理单幅图像的速度为，准确率为。关键词：异物识别；卷积神经网络；预先训练卷积核；快速特征提取；稀疏编码中图分类号：文献标识码：国家标准学科分类代码：，（，）：，：；（）；引言目前中国已经成为世界上高速铁路运营速度最高，运营里程最长以及在建规模最大的国家。高速铁路异物侵限检测系统作为铁路安全运营的重要保障，必须要对在不同铁路的场景中出现的山体滑坡、落石、行人穿越等异物进行检测，判断是否有异物侵入铁路安全限界事件的发生，特别是要保证系统在风、雨、雪、雾以及白天夜间等多种气候以及光照变化条件下仍能可靠运行。由于异物侵限事件具有突发性、无规律性和不可预

3、测性等特点，且人工巡视等常规方法有着可靠性差、工作量大和漏检率高的缺点，因此高速铁路异物侵限检测系统作为高速铁路防灾安全监控系统的重要组成部分，对高速铁路的安全运营起到了至关重要的作用。高速铁路异物侵限检测系统主要设置在山体宜滑坡地段、公跨铁桥、隧道口、万方数据仪器仪表学报第卷公路铁路并行地段等，检测是否有异物侵入安全限界，为运营中心的调度、指挥及维护管理提供预警、报警信息，对高速列车的安全运行有着十分重要的意义。根据检测原理的不同，高速铁路异物侵限检测系统主要分为接触式和非接触式两种。其中接触式异物侵限检测系统的典型代表是以双电网传感器技术和光纤光栅传感器技术为主的防护网式检测系统，其主要原

4、理是使用接触式传感器直接测量防护网自身的形变程度来判断是否有异物侵限事件的发生。非接触式异物侵限检测系统主要分两类：）采用红外光幕、激光扫描等检测技术，其主要原理是通过测量红外或激光光幕被侵限异物遮挡的缺失量，进而计算侵限异物的位置、尺寸等参数；）采用机器视觉技术，其主要原理是通过对视频当前帧和背景帧进行差分计算来提取侵限异物。机器视觉技术因为设备安装维护方便、可视化效果好等优点，在非接触式异物侵限检测系统中得到越来越多的应用。但是机器视觉技术在铁路场景中的应用受到环境因素影响较大，由于铁路场景的复杂性，包括每天内不同的光照条件变化、相机剧烈抖动以及雨雪雾等恶劣的自然气候，严重影响帧间差分计算

5、的结果，使得前景异物与背景难以准确分离，导致大量误报警情况的发生。为解决这些问题，文献采用一维灰度投影快速去抖算法，进而通过背景差分、目标标记、合并与特性分析提取前景物体；文献提出通过区域提取、背景建模、阈值分割和图像滤波来减少检测钢轨表面缺陷时所遇到的光照变化、反射不均、特征少等影响；文献通过连续帧之间的背景融合算法来消除渐变光照强度的影响。但是现有算法并不能完全补偿列车驶过引起的相机剧烈抖动以及车体反光引起的光照突变，本文为解决这些问题，引入深度学习中的卷积神经网络（，）。有着良好的旋转、平移不变性，并且能够识别不同背景中的物体种类，能够减少相机抖动与光照变化的影响。文献提出先通过四联通提

6、取瑕疵区域，进而使用来对火炮身管的损伤进行分类；文献提出中央周边差算法，提取铸件缺陷的微小特征，然后使用深度卷积神经网络对微小缺陷进行识别与分类。因此通过来对报警图像中的侵限异物进行识别与分类，进而剔除正常行驶的列车及空场景等误报警情况，将大大减少高速铁路异物侵限检测系统的误报率，提高系统的可靠性。但是传统卷积网络的理论模型和在铁路场景中的实际应用之间差异性太大，并且现有应用大多集中在分析处理事后汇总的图像数据而不是实时计算，无法直接套用于铁路场景的异物检测。传统的卷积神经网络是由等人提出，使用反向传播及梯度下降法来训练卷积神经网络模型，该模型在手写数字数据集上表现出当时最好的性能；机器学习领

7、军人物等人明确提出了深度学习神经网络的两个主要特点：使用多层人工神经网络提取特征向量和逐层训练深度网络；为了能够通过多层网络逐层提取原始图像的特征信息并对这些特征信息进行组合生成特征地图，等人定义了深度卷积神经网络的经典结构，个局部连接的卷积层、个池化层和个全连接的特征地图层，通过非对称局部连接的方式，强迫网络逐层提取不同的特征地图；等人通过使用反卷积计算从而获取中间网络层的可视化效果，进而分析每层学习到的特征；等人于比赛中在的基础上，提出了模块化卷积神经网络结构和最优局部稀疏结构；亚洲研究院的等人的采用了空间金字塔式的池化方法提取不同尺度的卷积特征。可以看出现有的都集中在增加网络宽度与深度，

8、设置多个卷积层和采样层，逐层提取原始图像的特征信息，进而得到高层的特征地图，然后用于分类，因此需要大量的计算时间，满足不了高速铁路异物侵限检测系统高实时性的要求。而简单的通过减少网络的深度与宽度来加快计算将会使网络对原始图像低层特征的提取不够精细，进而导致高层特征地图组合程度不足，最后导致分类准确率偏低。针对卷积神经网络在铁路场景应用时难以平衡准确率和实时性的问题，本文提出了基于的特征快速提取算法，预先训练卷积网络的卷积核，使其能更好地提取铁路场景信息，提高分类准确率；同时提出将非对称局部连接的多个卷积层和特征地图全连接层合并为全连接的第二卷积层，并加入稀疏性参数，在保证准确率的基础上减少了计

9、算时间。实验表明，改进后的卷积神经网络能够应对铁路特定场景中复杂的场景细节以及光照变化，能够更好地提取不同光照条件下物体的特征信息，并且能够在的时间内处理单幅图像，满足较高的实时性要求，且分类准确率也保持在。基于的特征快速提取网络模型传统尽管有着较高的识别准确率，在铁路场景中却鲜有应用，主要原因是其自身理论模型与在铁路场景中的实际应用之间存在较大的差异，导致计算量大幅增加，难以在保证高准确率的基础上实现实时性检测。针对这一问题，提出了改进的模型，通过预先训练卷积核来提高准确率，简化网络结构来加快计算速度，从而快速准确地识别高速铁路场景中的各类物体，有效地平衡了准确率与计算时间。万方数据第期王洋

10、等：基于的高速铁路侵限异物特征快速提取算法建立高速铁路场景样本库将传统的样本集合如数据集与铁路场景原始图像做对比，如图所示。由图可以发现，铁路场景原始图像有着尺寸较大、物体占据图像比例较小、包含多个物体以及物体种类总数较少等特点。图与铁路场景样本库对比表所示为传统样本图像与铁路场景原始图像之间的差异。铁路场景中，安全限界范围（见图黑色方框标识范围）内主要包含了轨道板、接触网支架、行驶列车、行人及异物等多类物体，直接将原始图片作为传统的输入层，将会大大增加网络参数数量，增加训练与计算时间。针对这一问题，提出建立高速铁路场景中各类物体的样本库，训练中尺寸的特征快速提取模型来扫描安全限界，并对限界以

11、内的物体进行分类。表传统样本与铁路场景图像的差异包含物体分类总数背景影响因素传统样本个物体占据原始图像中央占据绝大部分比例背景影响较小铁路场景样本多个轨道板接触网列车侵线异物行人物体占据比例较小光照突变相机抖动铁路沿线环境差异性大不同物体交叉重叠从目前公开的资料库中并没有查找到有关于铁路场景中各类物体集合的数据库，因此在沪杭高速铁路沿线建立了基于机器视觉技术的异物侵限检测系统，并从具有代表性的地点采集铁路场景原始图像，如公跨铁桥、弯道、隧道进出口、同一位置的上下行方向等。然后提取铁路场景中的中尺寸大小的轨道板、列车、接触网、异物及行人等图像建立样本库。提取过程如图所示。图样本集合与卷积核预先训

12、练样本集合的采集）使用的图像是整幅铁路场景的全尺寸图像（分辨率为，三色），图像中人工划分出安全限界区域（图见白色圆角方框区域），在安全限界范围内使用中尺寸的图像采集框（图中黑色方框，分辨率为）在安全限界范围以内随机位置采集轨道板和接触网等样本；在安全限界范围以外随机位置采集绿化带、建筑等并统归于背景一类。）采集大小不一，行驶方向及姿态各不相同的高速列车、穿越行人及异物等样本图像，统一调整为标准大小（分辨率为）。）最终得到的每类样本各有张图像，将来自号相机的样本集合用于训练和测试网络，而、号相机只用做测试样本集合，以验证系统的通用性。）从训练样本图像中随机位置用小尺寸采样框（分辨率为）采集张图像

13、补丁用来预先训练第一卷积层的卷积核。引入交叉验证，将高速铁路场景各类物体样本图像分为组：训练组占、测试组占、交叉验证组占。使用训练组与交叉验证组作为训练数据集合训练网络参数，将测试组与交叉验证组作为测试数据集合，分别计算训练集合和测试集合的代价函数。如图所示，当卷积核的数量取值小于最优值时，两组集合的代价函数值都偏高属于欠拟合；当卷积核的数量大于最优值时，测试集合的代价函数值将反弹意味着出现了过拟合现象。（）（）（）（）（）（）（）（）万方数据仪器仪表学报第卷图卷积核个数的选取由于后期将采用梯度下降法来更新卷积核的值，为快速准确的实现梯度下降，通过式（）对样本集合进行均值化处理。其中（）表示第

14、个样本的第维特征值，总计个样本，（），表示样本在该特征维度上出现的最大值或最小值。（）（）（），（）特征快速提取网络模型的结构由于要实现只包含一个物体的单幅图像的分类，因此必须采用较深的网络结构来增加特征地图的可分性，而铁路场景的特点有两个：包含物体总种类较少但同时包含多个物体；场景组成元素单一但变化很大。高速铁路场景一般只包含轨道板、接触网、路基设施等，但整条线路上的同类物体在不同环境的光照条件下变化较大。本文针对同类物体变化较大的特点，提出预先训练卷积核来提取更好的原始图像特征信息以便提高特征地图可分性；针对分类总数较少的特点，提出简化网络结构以加快计算速度。最终实现在减少计算时间的同时保

15、证准确率。传统的深度卷积神经网络（，）通常包含多个卷积层与采样层，如采用的就是一个包含个局部连接卷积层、个采样层和个特征地图全连接层的深度卷积神经网络，其中前层局部连接卷积层的卷积核是随机初始化的，采用非对称式局部连接，目的在于强制前层卷积网络层提取不同的特征地图，并通过显卡并行计算提高计算速度。考虑到铁路场景中的实际应用及成本问题，预报警图象将在铁路沿线监控中心的计算机上进行处理，无法大规模使用显卡，因此只能通过简化神经网络结构来减少计算时间。因此将网络结构精简为层卷积层以及两层采样层和一层分类层，如图所示，计算时间维持在，但是准确率骤减到了。在不增加运算时间的情况下为了提高准确率，就必须对

16、卷积核进行预训练，使其对原始图像中的色彩以及特征点、特征边缘更敏感，从而提取出可分性更好的特征地图，才能提高系统的准确率。图网络结构示意图改进后的卷积神经网络结构，第一卷积层的输入层为三色图像，分辨率，如图（）、（）所示，每个卷积核大小为，如图（）、（）所示共个卷积核，扫描步长为个像素，与原始图像进行卷积运算后，第一卷积层将输出张分辨率为大小的特征地图。第一采样层采用方式的均值采样，采样框大小为，步长为个像素，因此张特征地图将一一对应生成张分辨率为大小的特征地图，如图所示。图原始图像及第一采样层得到张中的张第二卷积层将采用全连接，生成张分辨率为的特征地图，因此需要预先训练个大小为的卷积核。生成

17、的可视化效果较好的一幅特征地图如图（）、（）所示。第二采样层依旧采用方式，张特征地图将一一对应生成张分辨率为大小的特征地图。采样框大小为，步长为个像素。最后将这张特征地图，像素尺寸展开成列向量，输入到最后一层的分类层。万方数据第期王洋等：基于的高速铁路侵限异物特征快速提取算法图多分类的原始图像及第二卷积层的特征地图与传统卷积网络相比，改进的的卷积层采用了预先训练的卷积核以便更好地提取铁路场景信息；同时整体网络结构仅采用两层卷积网络，可以快速提取原始图像特征，在保证准确率的基础上加快了特征提取速度，满足实时计算的要求。基于稀疏编码的快速特征提取算法如上文所述，在铁路场景中的应用最大的问题在于平衡

18、计算时间和准确率。新卷积神经网络最终将确定卷积核的大小为，并对卷积核进行预先训练来弥补失去的准确率；同时采用两个卷积层、两个采样层以及一个分类层的结构，减少计算时间。每个卷积层的卷积核将采用无监督自学习算法来进行预训练，最后使用预先训练的卷积核构建特征快速提取与分类网络结构。基于网络的卷积核训练算法卷积核的预先训练如图所示，将从铁路场景中采集到的彩色小图像补丁（像素大小为）使用用来预训练第一层卷积网络的卷积核。采用第节中提出的随机提取样本方法，采集到了张的小图像块（像素尺寸，三色），这些图像块随机采取自铁路场景以及高速列车车身。将每个图像补丁展开成列向量（大小为）输入到神经网络中，网络设计采用

19、层网络（见图），输出输出层都设定为个神经元，隐含层神经元节点图卷积核预训练过程为个，设定输出层输出等于输入层的输入，采用梯度下降法来无监督自学习网络传递参数（），和（），上标、表示网络层数，下标、表示相应位置的传递参数。卷积核的预先训练中每一次迭代按照以下过程更新网络参数、。（），（），（，）（），（）（）（，）（）（）式中：（），表示从第层第个神经元到第层第个神经元的传递参数，是学习率，是偏置量，（，）代价函数。无监督自学习过程如下。）每个样本做前向传导隐含层输入（）：（）（），（）（）（），（）（）隐含层输出（激活值）（）：（）（）（）输出层输入（）：（）（），（）（）（）输出层输出（）：

20、（）（）（）最终输出记作：（），（）（）其中：（）（）（）计算输出层的代价函数单个样本的代价函数：（，；（），（）（），（）（）对个样本（），（）样本集来说其代价函数为：（，）（，；（），（） ）（），）（），）( )万方数据仪器仪表学报第卷，（）（） （），）（），）( )（）其中，令，则该网络将完成无监督自学习，为权重衰减项，目的是减小权重的幅度，防止过度拟合。）反向求导计算各层残差（）（）（），（）（）（）（）（）（）（）（）（）（，；，）（）（）（）（）（）（）（），（）（）（）（）（），（）（）（），（）（）该残差表明了该节点对最终输出值的残差所产生的影响。）更新，（），（），（，）

21、（），（）（）（，）（）（）（，）（），（，）（）（）（），（）（）（），（，）（）（，）（）（）（）（）（）重复步骤）直到残差小于阈值即认为参数收敛将训练好的第一层传递参数（），组合成第个的卷积核（见图）作为第一卷积层的卷积核。图预先训练的卷积核加入稀疏项的卷积核训练算法改进后的特征快速提取，将不再采用传统卷积网络整体训练的方式，而是采用堆栈式网络训练模式，每层单独训练。第一卷积层的卷积核是通过采用的方式无监督自学习而来；第二卷积层卷积核也采用无监督自学习完成，设计一个新的层卷积神经网络网络，将输入层（）、输出层（）都定为第一采样层输出的张特征地图，隐含层卷积核个数与第二卷积层的个数相同，为

22、个大小的卷积核。训练过程采用节的无监督自学习流程，其中前向传输变为式（）、（），残差计算及反向传输为式（）、（），旋转卷积核完成反卷积运算（，）。其中第一层的第个输入（）、第个输出（）为：（）（）（），（）（）（）（），（）（）（）（）（），）（），( )（）（）（），）（），( )（）（，）（）（），（）（）将代价函数式（）改为式（）并增加了稀疏项，即式（）。（）（，（）（） （）( )（）（），（）（）式中：为控制稀疏性惩罚因子的权值，为稀疏编码的稀疏性参数，取接近的较小数值，为隐含层生成的第张特征地图在个样本的平均激活度。代价函数收敛以后将（），作为第二卷积层的卷积核。改进后的快速特征提

23、取神经网络的第一卷积层将采用节训练的卷积核，第二卷积层将采用节训练的卷积核，加上采样层后完成特征快速提取，使用带有标签的训练图像集合来训练分类层。实验结果高速铁路异物侵限检测系统会给出大小不一的预报警图像，最小的为仅包含异物的局部安全限界区域（分辨率为和），最大的则是的整个安全限界区域（分辨率为和）或整个站台。因此将万方数据第期王洋等：基于的高速铁路侵限异物特征快速提取算法对每张预报警图像通过分割与缩放为张图片，依次进行分类与识别。为验证改进后的对铁路场景中物体的识别与分类的准确率，与传做对比实验。如表所示，在相同网络结构的条件下，使用相同的铁路场景图像集合作为测试集，结果表明改进后的具有较高

24、的准确率。表不同网络类型的准确率第一层卷积层卷积核个数第二层卷积层卷积核个数准确率传统网络传统网络改进后改进后进一步的对比实验，如表所示。在采用预先训练卷积核的基础上，对比不同网络结构的处理时间及准确率。其中结构采用的是两层卷积层、两层采样层及层分类层，结构采用的是层卷积层、层采样层及层分类层。结果表明采用两个卷积层以及大小的卷积核，使用分辨率为的图像尺寸，有着较好的表现。且根据预报警图像大小的不同，单幅报警图像背缩放分割扫描成张图像，对应的准确率在之间，处理时间在，为最优的选择。表不同网络结构对比实验结果卷积核大小图像尺寸训练测试平均迭代时间准确率单幅处理时间结构结构视频监控系统根据可疑物体

25、的大小将生成预报警图像（分辨率为、和），下面以误报警的列车图像（见图）和空场景（见图）以及行人图像（见图）为例，将系统的工作流程分为以下个步骤。）在图（）中，以黑色方框表示的安全限界内出现的列车为例，根据列车由远及近将生成种预报警图像：远距离列车图像分辨率为，中距离分辨率为（见图（）上图）、近距离分辨率为（见图（）下图）。分辨率为的预报警图像将直接进行分类识别，剩余两种预报警图象将通过进一步缩放与分割扫描来生成一组张图像进行分类，如图（）、（）流程所示。图识别列车流程图剔除误报警图像流程图行人与站台原始图像及特征地图）在图（）中白色方框表示扫描框，按照步长个像素来扫描预报警图像，这一步将产生张

26、图像。）将图像进一步缩小为像素尺寸大小，如图（）所示，这样一幅列车图像就变为包含张图像的图像集。）将图像集输入到改进的中获取每张图像的分类标签。万方数据仪器仪表学报第卷）综合张图像的分类标签以及坐标位置，最终识别和确认出图像中的列车的存在与位置。空场景误报警的情况是指预报警图像中并不存在列车和侵限异物，这种情况是由于光照强度变化或者相机抖动的引起的场景变化而导致的，因此需要对预报警图像进行处理并剔除误报警图像。过程将重复上述的个步骤，按照步长个像素来逐行逐列的扫描误报警图像，当分类标签都被归类为属于安全限界场景的“轨道板”标签时剔除误报警情况以降低误报率，如图所示。针对行人检测主要是防止旅客行

27、人出现在禁止通行的区域，如站台两侧延伸部。同样采用扫描整体场景的方法确定前景物体位置并识别与分类。如图所示，与空站台的全尺寸的特征地图做对比，可以识别并精确定位行人。图（）、（）所示为站台上无人和有人的多张特征地图，可以发现其中第一张特征地图中有人无人的对比最为明显。高速铁路异物侵限检测系统在夜间运行时，由于铁路线路大部分位于野外，没有任何人工照明设备，普通相机在夜间拍摄到的将是几乎全黑的图像。考虑到工程量、工程造价和对信号灯影响等原因无法沿线安装人工照明设备，因此将普通相机更换为星光相机。星光相机是一种不需要任何辅助光源就能在微光条件下（如月光照射）采集清晰彩色图像的相机。在测试系统中采用了

28、中星电子生产的系列相机，其视频分辨率为，帧，在光照强度为下仍能采集清晰彩色画面的视频，使得高速铁路异物侵限检测系统在无人工照明条件的野外夜间仍然能够正常工作，相应场景拍摄效果如图所示。由于夜间列车车体特征会发生巨大变化（见图（），列车的车头车尾以及车身的灯光会成为列车的主要特征，因此白天和夜间的列车样本差异性太大，导致系统在夜间工作时准确率下降。针对这一问题，在原有一组列车模板的基础上，增加了一组夜间车体模板。通过换用星光相机和增加夜间车体模型提高了系统在夜间的工作能力。不同工作环境下系统的准确率如表所示。图清晨、雾天以及夜间安全限界场景有车无车对比，表夜间工作环境下的准确率相机光照条件及列车

29、模型数量准确率星光相机白天，单个列车模型星光相机白天夜间，单个列车模型星光相机白天夜间，两个列车模型结论本文针对传统在铁路场景中应用时所遇到的实时性和高准确率难以同时满足的问题，提出了适合铁路场景的卷积神经网络结构和算法，实验结果表明处理速度为，白天准确率为，全天准确率为，能够快速准确完成高速铁路场景中侵限异物的识别与分类任务。同时在所有测试实验过程中，是将现场台相机中的台相机数据作为纯训练样本，剩余台的数据用作为纯测试样本。在试验中，在网络参数被训练好之后，将其导入测试相机系统中，对测试相机在其他铁路地段拍摄的图像进行分类与识别。实验结果表明高速铁路异物侵限检测系统具有良好的通用性。由于高速

30、铁路异物侵限检测系统监控的重点区域是安全限界以内，因此安全限界以外的区域信息是无用冗余的，在实验过程中，目前是通过手工划定检测范围的方法来减少系统的计算量，在之后的研究中，将进一步采用增加网络训练样本种类，对整个场景进行识别与分割，自动划分安全限界的范围。参考文献于革，贾利民，秦勇，等视频监控铁路限界内逗留物体的检测方法中国铁道科学，（）：，（），（）：，：郭保青，朱力强，史红梅基于快速聚类的铁路异物侵限检测算法仪器仪表学报，（）：，（）：史红梅，柴华，王尧，等基于目标识别与跟踪的嵌入式铁路异物侵限检测算法研究铁道学报，（）：，万方数据第期王洋等：基于的高速铁路侵限异物特征快速提取算法，（）：武治国，王明佳，丁南南基于视觉分析的机场跑道异物检测技术研究仪器仪表学报，（增刊）：，（）：郭保青，杨柳旭，史红梅，等基于快速背景差分的高速铁路异物侵入检测算法仪器仪表学报，（）：，（）：贺振东，王耀南，刘洁，等基于背景差分的高铁钢轨表面缺陷图像分割仪器仪表学报，（）：，