基于双目视觉深度感知的带式输送机煤量检测方法-代伟.pdf

《基于双目视觉深度感知的带式输送机煤量检测方法-代伟.pdf》由会员分享，可在线阅读，更多相关《基于双目视觉深度感知的带式输送机煤量检测方法-代伟.pdf（9页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第42卷增刊22017年 12月煤 炭 学 报JOURNAL OF CHINA COAL SOCIETYV0142 Supp2Dec 2017代伟，赵杰，杨春雨，等基于双目视觉深度感知的带式输送机煤量检测方法J煤炭学报，2017，42(S2)：547555doi：1013225jcnkijCCS20170389DAI Wei，ZHAO Jie，YANG Chunyu，et a1Detection method of coal quantity in belt conveyor based on binocular vision depth perceptionJJournal of China

2、 Coal Society，2017，42(s2)：547555doi：1013225jenkijCCS20170389基于双目视觉深度感知的带式输送机煤量检测方法代伟12，赵杰1，杨春雨1，马小平1(1中国矿业大学信息与控制工程学院，江苏徐州221116；2东北大学流程工业综合自动化国家重点实验室，辽宁沈阳110819)摘要：针对带式输送机存在煤料图像难以识别，以及煤料内部颗粒间隙非均匀随机分布导致体积难以计算的问题，提出了一种由运输煤料识别模块、运输煤料三维信息提取模块和运输煤料量计算模块3部分组成的基于双目视觉深度感知的带式输送机煤量检测方法。其中，运输煤料识别模块采用小波变换算法增强运

3、输煤料图像，并结合K-means聚类算法分割出煤料图像；然后，运输煤料三维信息提取模块采用双目视觉方法获取煤料图像各点的深度信息，从而得到运输煤料三维点云信息；最后，运输煤料量计算模块将Delaunay算法与丁一s模糊推理算法相结合，求得煤料体积，进而应用煤量计算公式实现煤量的检测。利用实际图像进行了实验研究，结果表明所提方法的有效性。关键词：煤量检测；带式输送机；双目视觉；煤料识别中图分类号：TD679 文献标志码：A 文章编号：0253-9993(2017)$2-0547-09Detection method of coal quantity in belt conveyor based

4、on binocularvision depth perceptionDAI Weil一，ZHAO Jiel，YANG Chunyul，MA Xiaoping(1School ofInformation and Control Engineering，China University ofMining and Technology，Xuzhou 221116，China；2State Key Laboratory ofSynthetical Automationfor Process Industries，Northeastern University，Shenyang 110819，Chin

5、a)Abstract：In terms of the difficulties in identifying the coal image and calculating coal volume in non-uniform distribu-ted coal particles，this paper proposes a binocular vision detection method for coal quantity in belt conveyorThe meth-od consists of three modules，namely，identification module，th

6、reedimensional information extraction module and quantity calculation moduleFirst，the identification module uses wavelet transform algorithm and Kmeans clustenng algorithm to enhance and segment the coal image，respectively；Then，the threedimensional information extraction moduleis employed to obtain

7、the depth information of each point of coal image using binocular vision method，SO as to get thethreedimensional point cloud information of coal：Finallythe quantity calculation module combines Delaunay and nS fuzzy reasoning algorithms to calculate the coal volume，and further adopts coal calculation

8、 formula to achieve thecoal quantity detectionExperimental studies curried out using the actual images show the effectiveness of the proposedmethodKey words：coal quantity detection；belt conveyor；binocular vision；coal identification煤炭产量是衡量煤矿企业经济效益的一项重要指标，生产各环节中的煤量检测值不仅是产量统计与生产管理的依据，还为过程控制与优化提供重要的物料反馈

9、信息。当前，带式输送机是煤炭生产运输过程收稿日期：20170326 修回日期：20170818 责任编辑：许书阁基金项目：国家自然科学基金资助项目(61603393)；江苏省自然科学基金资助项目(BK20160275)；中国博士后科学基金资助项目(2015M581885)作者简介：代伟(1984一)，男，河南安阳人，副教授，硕士生导师。E-mail：daiweicumt126com万方数据煤 炭 学 报 2017年第42卷中使用量最多的设备，但由于煤矿开采的不均衡性，导致带式输送机常常处于“大马拉小车”的非最优运行状态，造成大量电能消耗。因此，根据煤量优化带式输送机转速成为迫切需要解决的问题，

10、而解决这一问题的关键和前提是实现带式输送机煤量的检测。目前，带式输送机煤量检测装置有电子胶带秤1和激光盘煤仪旧1两种。其中，电子胶带秤应用广泛，但是由于受称重拖辊非准直度、胶带张力及运行阻力等“胶带效应”，实际中难以修正称重误差、胶带速度误差、校准误差、环境影响误差等因素对煤量测量的影响J。激光盘煤仪使用非接触高速激光测量方式采集运输煤料的三维信息数据，进而求出煤料体积和质量Hq J，但其价格昂贵，难以普及。本文受激光测量方法启发，结合双目立体视觉三维信息测量技术。7 J，利用深度感知信息，研究带式输送机煤量的非接触式测量方法。当前，双目立体视觉测量技术已被广泛应用在小型工件M J、植物叶冠J

11、、家禽0|、工业现场大型设备刈等方面的体积测量中。一个完整的双目立体视觉三维信息测量系统包括图像获取，摄像机标定，图像校正，立体匹配，深度感知，三维重建6部分。其中，摄像机标定和立体匹配最为关键。在摄像机标定方面，文献12提出了一种通过建立并求解线性模型得到相机参数的标定方法，但其没有考虑成像过程中的非线性畸变问题。文献13提出了一种在线性成像模型基础上的非线性优化方法，其通过径向一致性约束，采用两步法估算相机内、外部参数，从而获得较高标定精度，但由于需要高精度的标定设备，使其难以适用于普通场景。文献14提出一种基于线性模型并结合非线性畸变的方法，在传感器阵列精确垂直基础上，采用参数迭代法求解

12、模型参数。文献15为一种棋盘格标定方法，采用线性模型估计相机参数，并对相机非畸变特性通过非线性优化技术进一步优选相机参数，获得了较高精度。当前，主要的立体匹配算法分为局部匹配算法、全局匹配算法和基于特征的匹配算法6|。局部匹配算法在一定的支撑域内，对每个像素单独计算匹配代价，通过局部最优的方式选择最佳匹配点，进而得出视差图。主要的局部支撑域有固定窗口j、多窗口is、自适应窗口19 3和自适应权重窗口20，其只依赖局部信息。全局匹配算法是在整个图像范围内，使某一指定的能量函数极小，进而得出视差图。基于特征的匹配算法是通过匹配图像中的点、线、几何区域等特征，并利用相似度计算视差，但其只能得到稀疏的

13、视差图。文献21针对颗粒状煤堆，利用双目视觉，并结合SURF(Speed Up Robust Features)特征匹配算法，研究了煤堆体积测量问题。基于特征的匹配算法能很好的处理视差不连续与畸变问题，但所提取图像中的特征是稀疏的，导致体积测量存在较大误差。此外，实际带式输送机上的煤料与胶带颜色相近，且处于不同生产流程中的带式输送机上煤矿颗粒大小、形状不同，导致填充率不同，使得相同体积和相同密度下可能产生不同的质量。注意到文献21并未考虑上述问题，因此难以直接将其应用在带式输送机煤料量检测中。本文针对带式输送机光照条件复杂多变，以及煤料内部颗粒间隙非均匀随机分布的特点，提出一种基于双目视觉深度

14、感知的带式输送机煤料量检测方法，包括基于多分辨率小波变换和K-means聚类的煤料识别模块、基于双目视觉深度信息的煤料三维点云数据提取模块、以及基于Delaunay与T-S模糊推理的精确煤量计算模块。以人工称重测得煤料量为依据，与电子胶带秤测量方法进行对比分析，表明所提方法可满足煤炭生产过程中对煤量检测精度和稳定的要求。1 基于双目视觉深度感知的煤量检测系统工作原理本文所研究的双目视觉煤料量检测算法是在如图1所示系统开展的，包括基于多分辨率小波变换和K-means聚类方法的煤料识别模块、基于双目视觉深度信息的煤料三维点云数据提取模块、以及基于T-S模糊推理的精确煤量计算模块，如图2所示。基于双

15、目视觉的：j一墚抖量检捌一j管管煤抖劁I 基j舣j税觉的煤料丝检测系统小患FigI Schematic diagram of cog quantity detection systembased on binocular vision(1)煤料识别模块：采用多分辨率小波变换算法增强运输煤料图像的对比度，并基于K-means聚类算法去除胶带等背景以实现煤料识别。(2)煤料三维信息提取模块：首先，采用张正万方数据增刊2 代伟等：基于双目视觉深度感知的带式输送机煤量检测方法运输煤料 仅含煤 运输煤料 运输胶带瞬垦塑堕堡网型堕堡n弱霹习三丝堡璺n网堕堡型霎I识别l I信息提取I l计算l双目l l信息

16、校正l l提取煤料校l立体匹视差图f盖面剥配算法 正图像l配算法初始体|质量塑冽丝l体积精确值。l煤料初呵丽靠雨刘修正图2基于双目视觉的煤量检测方法结构Fig2 Structure of coal quantity detection method based onbinocular vision友1纠标定方法求解相机的内部参数和外部参数；其次，采用基于Bouguet算法旧纠的双目校正方法，实现两幅图像同行共面；然后，通过基于Census立体匹配算法获取稠密视差图；进而利用由变换公式得出的运输煤料深度信息以构建运输煤料的三维点云数据。(3)煤料量计算模块：首先，采用Delaunay算法。2列对

17、煤料表面三维点云数据进行四面体剖分以估算煤料体积；然后，通过T-S模糊推理计算煤料填充率以修正煤料体积，最终结合密度计算煤料量。2 基于双目视觉深度感知的煤量检测方法运输机胶带背景与煤料颜色相近，导致对比度差、边缘细节模糊，图像识别困难。因此，本文首先将图像进行二维离散小波变换，以增强煤料的对比度，达到抑制胶带背景和减少噪声的目的，然后在增强的场景图像基础上，采用K-means聚类方法实现煤料识别。21基于小波变换和K-means聚类算法的煤料识别211基于小波变化的煤料图像增强算法由于煤料运输的光照条件复杂多变，因此运输煤料场景图采用对光照不敏感的HSV(Hue，Saturation，Val

18、ue)颜色模型。由于反映亮度信息的V通道图像中煤矿和胶带的对比度较大，故基于V通道的二维离散小波变换方法，采用式(1)来增强场景图像中煤料和胶带的亮度特征。f茚。(戈，)，)=h(k一2x)g(12y)ci(k，f)I姥(戈，y)=g(七一2x)h(12y)ci(k，f) 2 (1)l。(戈，)，)=g(k一2x)g(12r)cj(k，z)2Cj+I(石，)，)=h(k一2x)h(f一2y)cj(k，z)L f其中，(戈，Y)为运输煤料原始图像像素坐标；g和h分别为高通滤波器和低通滤波器；k，z的取值范围为(一，+)；c，为运输煤料原始图像；d工。(戈，Y)为垂直高频分量；d暑。(戈，Y)为水

19、平高频分量；d；D。(石，Y)为对角高频分量；c川为低频分量。由辐射和信号引起的大部分煤料图像噪声、煤料点特征和边缘细节等都处于高频子带d：。，d：。和d：。中，而低频子带c主要表征煤料图像的轮廓等近似信号，因此采用非线性变换方法对V通道低频近似分量进行对比度增强，并通过设置软阈值对V通道高频细节分量进行图像去噪处理。在此基础上，采用二维离散小波重构方法如式(2)对V通道的低频、高频分量进行重构，并合成HSV三通道图像，从而得到增强的运输煤料图像。q(戈，)，)=(七一2x)h(f一2y)cj+。(南，f)+g(k一2x)h(12y)艰。(五，f)+h(k一2x)g(12y)站。(戈，y)+g

20、(k一2x)g(f一2y)雌。(戈，y) (2)212基于K-means聚类的煤矿识别在增强的运输煤料图像基础上，本文采用Kmeans聚类方法实现煤料图像类别分割，并结合阈值法实现煤料识别。本文将煤料图像分别为胶带类、煤料类、地面类、阴影类和其他噪声类五大类，即设置聚类中心数为5。采用式(3)的误差平方和相似度函数，通过迭代计算，求得聚类中心C。，C：，c，。d Xi，Xj，=蠢Kcp嘏hxp(_毕)exp(一(S。一s。)1A(s。一s。i) (3)式中，m=1为H通道图像；m=2表示s通道图像；m=3表示V通道图像；d(戈i，戈，)为煤料增强图像的两个像素点石，和Xi之间的距离；or为一个

21、可调节空间距离标量；A为可调节灰度矩阵；p。和p。，为煤料对应通道图像内像素点戈i和xi的归一化空间坐标信息向量；s。和s。i为煤料对应通道图像内像素点戈。和戈，的归一化像素值信息向量。离线采集多组聚类中心的数据，利用统计学的方法，根据煤料聚类中心的像素值数据设定煤料聚类中心的阈值范围咒。k。在线运行时，计算煤料图像的聚类中心，从而通过上述阈值范围来判断煤料类别的聚类中心，实现煤料的识别。22基于双目视觉深度信息的煤料三维点云数据提取221双目校正本文采用Bouguet算法对仅含煤料的左右视图琴薷删增强一图像鼾撇嫩胭獭万方数据550 煤 炭 学 报 2017年第42卷进行校正，实现煤料左右图像

22、同行共面以降低双目匹配的难度，具体算法如下。(1)运用张正友标定方法获取相机旋转矩阵RR弘3和平移向量TR弘1，并采用式(4)将相机旋转矩阵R划分为左右相机的合成矩阵r。和r，以实现相机共面。r1=R2，r，=R。1以 (4)(2)为保证相机行对准，本文通过建立左右相机的行对准转换，将极点转换到无穷远处的方法来实现。首先创建平移向量r方向的旋转矩阵R。R。=Pl，e2，P31 (5)式中，P。=II丁II为与平移向量F同方向的极点，P。=彤|r|，丁=t，r。t1，t，丁，和t分别为z，Y和三方向的平移向量；e：为图像平面方向的向量，P2=一F。Tx，0。Jr2x+T：；P3=P1 xe2为垂

23、直于e与e：所在平面的向量。根上式计算出的R。以及r。和r，由式(6)求得左右相机的行对准转换R和R，。Rl=R，。，l，R，=R。， (6)(3)根据摄像机成像模型，结合左右相机的行对准转换矩阵R】和R，通过式(7)得到校正后的运输煤料左右图像像素坐标(M。，秽。)和(“。，秽，)。M=工。00。O O毯劬M1卧川，xt 0，M。2 0。l o o式中，M。和M，分别为校正前左右相机的内参；M。和M，分别为校正前左右相机的内参；(u。，秽。)和(“，秽，)分别为校正前运输煤料左右图像像素坐标；s。和s，分别为左右图像校正的比例系数坑。和六，分别为校正后左右相机在戈方向上的焦距i厂，厂v，分别

24、为校正后左右相机在Y方向上的焦距；(C扪C“)和(C。C。)分别为校正后左右相机的主点坐标；六。和六，分别为校正前左右相机在戈方向上的焦距，和f，分别为校正后左右相机在Y方向上的焦距；(C扪C，)和(C。C。)分别为校正前左右相机的主点坐标。222基于Census变换的立体匹配算法本文采用基于Census变换的立体匹配算法J，将中心像素与邻域像素灰度值进行比较，减小图像的增益和亮度偏差等因素的影响，并保留邻域像素的位置信息。算法包括以下4部分。(1)Census变换煤料校正图像的Census变换是将局部图像中心像素P和其邻域内N(p)像素映射为一个比特串，然后将这一比特串作为中心像素P的Cen

25、sus变换码，从而代替像素P的原有灰度值。Census变换的映射关系如下。Str(戈，Y)=o o亭(，(戈，Y)，(戈+i，Y+J) (8)姒，u=裂 式中，亭(L，Iq)为像素点q对于中心像素点P，通过其灰度值，。和，口比较运算后得到的比特位；Str(戈，Y)为煤料校正图像中心像素点(z，Y)的Census变换码；，(戈，Y)为煤料校正图像中心像素点(戈，Y)的灰度值；，(戈+i，Y+，)为坐标为(戈+i，Y+，)的像素点灰度值；f为窗口宽度的一半，r为窗口高度的一半；o为位串联符。(2)匹配代价计算在对煤料校正图像进行Census变换之后，利用汉明距离相似性测度函数(10)得到匹配代价。

26、C(戈，y，d)=Hamming(Strl(戈，Y)，Str。(龙一d，Y)(10)式中，Str。(石，Y)和Str，(戈一d，Y)分别为煤料校正左图像和右图像中像素点(戈，Y)的Census变换码；C(戈，y，d)即是匹配代价值，为位相异个数和，d表示左右煤料校正图像中对应像素点横坐标的差值。(3)代价聚合根据匹配代价值C(z，Y，d)，采用大小固定的矩形窗口，计算其内的聚合代价。Q。m(z，Y，d)=c(i，J，d) (11)式中，m和n分别为聚合窗口宽度和高度的一半。(4)视差图优化根据计算出的聚合代价c：。，通过式(12)求出煤料校正图像中每个像素点坐标为(X，Y)的视差D(戈，Y)。

27、D(z，Y)=argm!n Cs。(z，Y，d) (12)此后，利用左右一致性约束式(13)确定运输煤料初始视差图中的误匹配点。ldRL(戈+dLR(戈，Y)，Y)一dLR(z，Y)l丁(13)其中，d。(戈，Y)为煤料校正右图相对于左图中点(戈，Y)的视差；d。(戈+d。(戈，Y)，Y)为煤料校正左图中点(戈，Y)对应于右图中点(x+d。(戈，Y)，Y)的视差；设r【=lJq勺万方数据增刊2 代伟等：基于双目视觉深度感知的带式输送机煤量检测方法 551置丁为1，确定运输煤料初始视差图中的误匹配点。为消除运输煤料初始视差图中的误匹配点，进一步采用十字交叉邻域中的4点视差均值作为误匹配点的替代值

28、，从而优化运输煤料初始视差图，得到稠密的运输煤料视差图。223煤料三维信息提取通过所获取的运输煤料视差图，结合已标定相机参数，基于双目视觉三角测量原理，采用式(14)恢复运输煤料的三维点云信息，从而利用深度感知信息计算煤料体积。一L(zCxl)A一Dy：王!二型 (14)Dz：型其中，(x，y，z)为运输煤料表面点相对于左相机的坐标；(戈，Y)为运输表面点在左图像平面的坐标；Tx为戈方向的平移向量；(C加C，。)为双目校正后的左相机主点坐标if为戈方向的等效焦距。23煤料量计算231基于Delaunay算法的初始体积计算对煤料三维点云数据，根据文献25中的空外接球准则和局部性准则，采用基于逐点

29、插入法的三维Delaunay算法进行四面体剖分。考虑到存在煤料边界线和边界面的不完整性问题以及产生薄元的问题，将导致煤料剖分误差较大，影响运输煤料体积和质量的精度，因此本文采用基于a操作和口操作的约束边恢复方法和基于拓扑结构分解的约束面灰度方法心刮以保证煤料边界的完整性，并采用薄元分解法消除薄元问题以减小煤料剖分误差。遍历由煤料点云数据生成的所有四面体，运用式(15)求出每个四面体体积。y：上61 lX1 X2Yl Y2Z1 Z2(15)其中，(戈：，Y。，名。)为四面体的4个顶点坐标，i=1，2，3，4。对所有四面体进行体积求和即可求出煤料体积。232 T-S模糊推理体积修正算法由于带式输送

30、机煤料呈块状随机分布，导致煤料内部产生非均匀间隙，且间隙大小具有随机不确定性，而Delaunay算法是在煤料内部无间隙的假设条件下计算出煤料体积，因此存在较大误差。为获得较为精确的煤料体积，本文采用r一5模糊推理决策出适宜的煤料填充率，进行体积修正，从而消除煤料问隙对体积的影响，具体算法如下。(1)采用Canny算子对煤料表面煤块的边缘进行检测，结合轮廓提取方法，提取每个煤块的轮廓。由于煤块之间颜色相近，导致煤块边缘识别率差，使得轮廓可能不封闭，需采用直线连接轮廓的起点和终点的方法来使其封闭。封闭轮廓的数量n即为煤料表面煤块的数量，每个封闭轮廓的面积s和周长z即为煤料表面煤块的面积和周长，其作

31、为T-S模糊推理的输入变量。(2)根据多次实验结果，将输入语言变量“煤块面积”和“煤块周长”设置为7个等级：非常小(VS)，比较小(SS)，小(S)，中(M)，大(B)，比较大(BB)，非常大(VB)；煤块面积的论域为：10，30，50，70，90，110，130；煤块周长的论域为：10，20，30，40，50，60，70。煤块面积和煤块周长的隶属度函数采用三角形隶属度函数。(3)T-S模糊推理的煤料体积修正煤料体积修正采用一阶T-S模糊推理模型，即R。：if S=A and f=B，then A。=aj+o；5+a2t (i=1，2，n)(16)其中，m=49，为煤料体积的T-S模糊模型中规

32、则的数目；A。为第i项规则输出的煤料填充率；A，日分别为煤块面积s和煤块周长f的模糊集合；a。，a。，a：为根据实验设置的变量。根据式(17)采用加权平均法可求得运输煤料完全由第J个煤块组成时的填充率A，。批私觑A。A，=三一(歹=l，2，n)(17)肛。牡成i=l其中，A。由丁一s模糊推理中第i条规则决定；p。和肛战分别为输入煤块面积和周长的隶属度函数。基于式(17)，可得到运输煤料在n个不同煤块下的近似填充率A，即一 1 nA=一1 y，A(18)n。进而可计算煤料的体积修正值V=A V。233煤量计算设相机拍摄的视场范围为(mm)，胶带的速度为，则采样时间At=Lv。一定时间丁内，带式输

33、送机输送的煤量，采用式(19)计算获得。万方数据552 煤 炭 学 报 2017年第42卷M=pVi (19)i=Im=TAt式中，P为现场采集的煤料实际密度。3实验结果与分析本文基于Visual Studio 2010和开源计算机视觉库OpenCV(open source computer vision library)对所提出的带式输送机煤料量检测方法进行开发，并将其应用在我国某煤矿选煤厂。该选煤厂多采用非调速胶带，正常运行时速度在0525 ms范围内恒定不变，不同胶带光照条件不同，当胶带处于低照度环境时，通过设置平行光源来改善光照条件以适应实际工况环境。本文所开发系统采用PC(i5处理器

34、，4 G内存)为运行平台，其对实地采集的带式输送机运输煤料图像(分辨率为320240)平均处理时间为1632 S，相机视野中胶带长度为083 m。由于选煤厂输送机煤料一III瓣 l一羔誊专薯：j| 一j参帮o：了毒：一j 1【兰翌蔓二二L二_=iiiii!二二。二二_一量在正常运行时变化缓慢，因此可根据瞬时煤料量估算出一段时间内运输煤料量，从而满足实际带式输送机上运输煤料量的计算精度和效率要求。(1)煤料识别图3(a)为原始煤料左图像，从中可知煤料与运输胶带的颜色较为接近，对比度小以至煤料识别困难。将其经过RGB颜色空间转换成HSV颜色空间并提取如图3(b)所示的V通道煤料图像，然后通过式(1

35、)将V通道分解成如图3(C)所示低频分量和如图3(d)所示的高频分量。对V通道的低频分量和高频分量分别进行非线性增强和软阈值处理，分别得到图3(e)和(f)。此后，将V通道进行小波重构，得到图3(g)。最后合并H，S，V三通道图像，得到如图3(h)所示的煤料增强图像。可知，经过多分辨率小波变换增强后的运输煤料图像，其运输煤料与运输胶带的对比度明显增大，煤料的边缘特征也能很好的显现出来。一 图3基十小波变换的煤料图像增强过程Fig3 Coal images in enhancement process with wavelet transform运输煤料识别的精度直接影响最终运输煤料量的结果，对

36、比分析未加小波变换增强的煤料图像与基于小波变换增强的煤料图像分别采用基于K-means聚类算法进行煤料识别，结果如图4，5所示。由结果可知，对原始煤料图像直接采用识别算法，将存在很大的误差，使得胶带被误认为煤料。而图像增强后算法能够精确的识别出煤料，误差较小。因此，基于小波变换与Kmeans聚类算法相结合的运输煤料识别方法可获得更好的性能。(2)煤料三维信息提取运用Bouguet极线校正法得到图6(a)，(b)，从中可知，煤料校正后的左右图像中对应像素点的纵坐标相等，实现了左右煤料图像的同行共面，从而使左右煤料图像匹配从二维降到了一维，大大减少了计算复杂度。对校正后的煤料图像，采用基于Cens

37、us变图4朱加小波变换的煤料只别图像Fig4 Coal recognition image without wavelet transform万方数据增刊2 代伟等：基于双目视觉深度感知的带式输送机煤量检测方法 553图5 基于小波变换的煤料识别图像Fig5 Coal recognition image with wavelet transform(a)左视图煤料校正图像2 5002 000l 500l 0005000-3换的立体匹配算法进行匹配，得出稠密的煤料视差图，如图6(c)所示。结合双目相机的参数，将视差信息转换成深度信息以构建煤料表面三维点云数据，使用点云数据处理库PCL(Point

38、 Clouds Library)得到三维重建图6(d)。(3)运输煤料量计算煤料三维点云数据如图7(a)所示，将其采用Delaunay三角剖分算法进行四面体剖分，如图7(b)所示。由图7可知，运输煤料表面由一系列四面I鏊II纛I(c)煤料视差图像 (d)煤料三维重建图像图6煤料的双目视觉处理图像Fig6 Coal images in binocular vision processing(a)运输煤料表面三维点云图7运输煤料的点云处理图像Fig7 Coal images in point cloud processingI訇8“桀料表mI轮孱5秽H义Fig8 Contours extracti

39、on image of coal surface体组成，因此通过计算所有四面体体积之和得到运输煤料体积。然后采用Canny边缘检测结合轮廓提取的方法判断运输煤堆表面煤块的大小，如图8所示，并结合T-S模糊推理对煤料体积进行修正，从而利用式(19)计算煤料量。(4)运输煤料量检测对比分析本文分别在洗煤厂原煤入选胶带、中块调速胶带和地付胶带上各采集10组煤料图像数据，并以人工称重方法采集的运输煤料量为依据，将所提煤料检测方法与电子胶带秤和未加r一5模糊体积修正的双目视觉检测方法进行对比分析。其中，原煤入选胶带大块煤料居多，中块调速胶带中块煤料居多，地付胶带小块煤料居多。人工化验原煤入选胶带、中块调

40、速胶带和地付胶带的煤料密度分别为15，125和115 gcm3。煤料量的相对误差柱状如图9所示。可知，在洗煤厂3种胶带上的煤料量检测中，所提煤料检测方法的相对误差小于未加T-S模糊修正的双目视觉检测方法的相对误差，且所提煤料检测方法的相对误差比电子胶带秤检测的误差小。由表1可知，未加T-S模糊修正的双目视觉检万方数据554 煤 炭 学 报 2017年第42卷测方法得出的煤量误差偏差较大，其中最大误差为1697，最小误差达到467，平均误差最小为682。所提方法的煤量误差较小，其中最大误差为407，最小误差为061，平均误差为最小225，与未加T-S模糊修正的双目视觉检测方法煤鼍误差相比，最大误

41、筹降低了12个百分点，平均误差降低了4个百分点，最小误差降至1附近。所提方法相比于电子胶带秤，其测量误差有所改善，其中最大误差下降05个百分点，最小误差降低了1个百分点，平均误差下降到25附近。因此，本文所提煤量检测方法的精度和稳定性均可满足实际生产要求具有较好的实用价值图9煤料修正前后的相对误差Fig9 Histogram of relative error of coal quantity表1煤料量检测值Table 1 Measurement of coal quantity4结 论提出了一种基于双目视觉深度感知的带式输送机煤量检测方法，其主要创新之处在于：首先，提出一个带式输送机煤量双目

42、视觉检测框架，由运输煤料识别模块、运输煤料三维信息提取模块和运输煤料量计算模块组成。其次，针对图像中运输煤料与运输胶带的低对比度问题，将多分辨率小波变换算法与Kmeans聚类方法相集成，提高运输煤料图像中煤料的识别精度；然后，针对运输煤料内部颗粒间隙非均匀分布导致煤料量误差较大的问题，将Delaunay算法与T-S模糊推理算法相结合，以提高运输煤料量计算精度。通过实验进行对比分析，所提方法能够获得满意的测量误差，因此，可应用于实际工业带式输送机煤料量检测，为带式输送机的优化控制提供有效的煤量实时信息。在进一步的工作中，如何提高煤料图像立体匹配速度，以适用于高速运行的带式输送机煤料量检测，是下一

43、步研究的重点内容。参考文献(References)：1 厉达，何福胜皮带秤技术现状及发展趋势J衡器，2012，41(2)：14U DaHE FushengPresent situation and development trend of beltweighing technologyJWeighing Apparatus，2012，41(2)：142 张文军，舒新前，姜洪才，等基于激光三维扫描的不规则煤场测量系统设计J煤炭科学技术，2009，37(5)：11I114ZHANG Wenjun，SHU Xinqian，JIANG Hongcai，et a1Design of ir万方数据增刊2

44、代伟等：基于双目视觉深度感知的带式输送机煤量检测方法 555regular coal field measurement system based on laser three。dimen。_sional scanningJCoal Science and Technology，2009，37(5)：lll1143 史登跃电子皮带秤测量误差的分析及改进J化工自动化及仪表，2004，3l(2)：6769SHI DengyueAnalysis and improvemenl of measurenlenl error of e-lectronic belt scalesJChemical Auto

45、mation and lnslramentation，2004，31(2)：67694 BRENNER CBuilding reconstruction from images and laser scanningJInternational Journal of Applied Earth Observationand Geoinforumtion，2005，6(3)：1871985韦雪花，王永国，郑君，等基于三维激光扫描点云的树冠体积计算方法J农业机械学报，2013，44(7)：235240WEI Xuehua，WANG Yongguo，ZHENG Jun，et a1Canopy volu

46、me calculation method based on 3D laser scanning point cloudJJournal of Agricultural Mechanization，2013，44(7)：2352406LOWE D GObject recognition from local scaleinvariant featuresAThe Proceedings of the Seventh IEEE International ConferenceonCIEEE1999：115011577 ANCHINI R，LIGUORI C，PACIELLO V，et a1A c

47、omparison between stereo-vision techniques for the reconstruction of 3D coordi-nates of objectsJIEEE Transactions on Instrumentationand Measurement，2006，55(5)：145914668 GORPAS D，POLOTOPOULOS K，YOVA DA binoeular machinevision system for threedimensional suiface measurement of small ob-jeets，ComputJMe

48、dImaging Graph，2007，31：6256379 J BISKUP B，SCHARR H，SCHURR U，et a1A stereo imaging systemfor measuring structural parameters of plant canopiesJPlant，CellEnvironment，2007，30(10)：1299一130810MENESATFI P，COSTA C，ANTONUCCI F，et a1A lowcost stere-ovision system to estimate size and weight of live sheepJComputers and Electronics in Agriculture，2014，103：333811 YANG J，LIU W，FAN C，et a1Improved calibrationmethod of bin-ocular v