基于监督下降方法的左心室超声图像分割-魏雨汐.pdf

《基于监督下降方法的左心室超声图像分割-魏雨汐.pdf》由会员分享，可在线阅读，更多相关《基于监督下降方法的左心室超声图像分割-魏雨汐.pdf（5页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Journal of Computer Apphcations计算机应用，2018，38(2)：545549ISSN 10019081CODEN JYIIDU20180210http：wwwjocaca文章编号：10019081(2018)02-0545-05 DOI：101 1772jissn1001-90812017071859基于监督下降方法的左心室超声图像分割魏雨汐1扩，伍岳庆1，陶攀1”，姚宇1(1中国科学院成都计算机应用研究所，成都610041； 2中国科学院大学，北京100049)(通信作者电子邮箱weiyuxi272163com)摘要：针对基于表观模型的图像分割算法在特征点迭代

2、定位过程中计算量过大、对非线性局部特征的优化较为困难等问题，采用一种基于监督学习的梯度下降算法，建立4层多分辨率金字塔模型，并使用一种基于巴氏系数的特征提取函数(BSIFt)替代原方法中的尺度不变特征变换(SIFF)特征，对左心室心内膜及心外膜进行特征点定位。首先对训练集进行归一化处理，统一经食道超声心动图像(TEE)的尺度；然后建立基于多分辨率金字塔和B-SIFT特征的监督下降模型，得到特征点趋近于真实值的梯度下降方向序列；最后将得到的方向序列作用于测试集中，得到最终的左心室分割结果。将该方法与传统监督下降方法进行对比，其得到的分割平均误差相比传统监督下降方法降低了47迭代得到的最终值相对单

3、一尺度的梯度下降算法更加逼近真实值。关键词：左心室；特征点定位；超声心动图；图像分割；监督下降方法；尺度不变特征变换中图分类号：TP39141 文献标志码：ALeft ventricle segmentation in transesophagealechocardiography based on supervised descent methodWEI Yuxil，”，WU Yueqin91。TA0 Panl一，YAO Yul(1c鲥u Institute of Computer Application，Chinese Academy ofSciences，Chengdu Sichuan

4、610041，Chna；2Umvers豇y of Chinese Academy of Scicnces，Bering 100049，Chna)Ah耐aaet：The image segmentation method based on appearance-model has hi【sh computational complexity in iterativepositioning feature points，and it is difficult to optimize the nonlinear local featureTo solve these above problems a

5、nd locatefeature points of left ventrieular endocardium and epieardium，a gradient decent algorithm based on supervised learning Wasproposed，a multiresolution pyramid model of 4 levels Was built，and a new feature extraction function based on Bhattacharyyacoefficient，namely B-SIFF，Was used to replace

6、the Scale Invariant Feature Transform(sift)feature in the original methodFirstly，the training set images were normalized to unify the size of each TransEsophageal Eehoeardiography(TEE)Then thesupervised descent model based on BSIFY and multi-resolution pyramid Was built to get a gradient descent dir

7、ection sequencethat approaches the actual valuesFinally，the learned direction sequence Was ap曲ed to the test set to obtain the segmentationresults of left ventrieularThe experimental results show that compared with the traditional gradient decent method based onsupervised learning，the average segmen

8、tation elTor of the proposed method is reduced by 47，and the iteration results aremore closer to the actual values compared with the single-scale methodKey words：left ventricle；feature point location；echocardiography；image segmentation；Supervised Descent Method(SDM)；ScaleInvariant Feature Transform(

9、sift)0 引言在医学超声图中，经食道的超声心动检测是常见的超声探测方式之一，也是人体左心室功能评价的重要参考。医学图像分割是医学图像处理与分析领域复杂而关键的步骤，其目的是分割出医学图像中具有某些特殊含义的部分，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断B1。近年来。研究者们采用各类图像分割算法应用于医学图像处理领域，如：Pieciak【3 o基于主动轮廓模型(Active ContourModel，ACM)方法H o对核磁共振成像(Magnetic ResonanceImagig，MRI)的左心室进行分割；Hajiaghayi等”。利用改进的ACM方

10、法将心脏MRI数据重建为3D模型，提出了一种三维分割的算法；0Brien等mo基于主动形状模型(Active ShapeModel，ASM)o在3D图像中对左心室进行多轮廓分割；刘金清等1基于主动表观模型(Active Appearance Model，AAM)p一10方法对膀胱MRI医学图像进行分割。由于超声心动图的复杂性和多变性，其分割过程需利用图像中特征点位置的迭代变换，最终达到对目标区域进行轮廓提取的目的，其实质上可视为特征点定位的问题。而特征收稿日期：20170731；修回Et期：20170906。基金项目：四川省科技厅重点研发项目(2017SZ0010)；四川省科技支撑计划项目(2

11、016JZ0035)。作者简介：魏雨汐(1992一)，男，四川成都人，硕士研究生，主要研究方向：数字图像处理、机器学习；伍岳庆(1962一)，男，重庆人，研究员，硕士，主要研究方向：嵌入式系统、RFID在物联网中的应用；陶攀(1988一)，男，河南安阳人，博士研究生，主要研究方向：机器学习、医学图像处理；姚宇(1980一)，男，四川宜宾人，副研究员，博士，主要研究方向：机器学习、数据挖掘。万方数据计算机应用 第38卷点的定位过程可以理解为非线性最zl、Z乘近似问题1|。传统的基于统计分布的ASM方法或AAM方法在建立形状模型或表观模型时使用的牛顿法或拟牛顿法在算法中计算代价较高，为此文献12提

12、出了一种监督下降方法(SupervisedDescent Method，SDM)来替代搜索过程中雅克比矩阵和海森矩阵的复杂计算，用于解决计算机视觉中的非线性最小二乘问题，在图像的特征点定位上取得了很好的效果。SDM的目标函数定义为最优化两个特征向量的相似程度，传统的方法一般采用两个特征向量的欧氏距离来作为特征点之间的相似性判定度量。而文献13中已经通过实验证明了基于巴氏系数(Bhattacharyya coefficient)的直方图相似性判定相比传统的欧氏距离的准确性优势。同时，在超声图像处理领域，文献14提出了一种基于巴氏系数的主动轮廓模型图像分割方法，提升了原方法的鲁棒性。本文采用一种基

13、于巴氏系数改进的尺度不变特征变换(BhattacharyyaScaleInvariant Feature Transform，BsIFr)特征的SDM，并结合多尺度图像金字塔建立了心内膜与心外膜的联合形状模型，对左心室区域进行准确分割提取，取得了良好效果。1 基于监督下降的左心室超声图像分割方法在特征点定位过程中，传统的基于表观模型的AAM算法的优化目标可定义为一个非线性最小二乘问题：min ll d(八X，P)一U。c。旷 (1)f口P其中：X=石l，Yl，算2，Y2，h，YNR2肌1为图像d(x)中，v个特征点组成的形状向量；P为变换参数；以工，P)表示对工进行相应的仿射变换1钊和非刚性变

14、换0171；d抓工，P)表示变换后的图像；扩和c8为表观模型和表观参数。若用传统的牛顿法解决上述最优化问题，在每一步的迭代中都要计算相应的海森矩阵与雅克比矩阵，那么将花费巨大的计算代价1“。而SDM则无需进行上述复杂的计算，也无需建立表观模型，仅需利用提取到的局部特征从训练数据学习一组梯度下降方向，并应用到测试集图像上。其核心过程主要涉及以下步骤：1)对于训练集中的第i幅图像，给定Groundtruth位置工?和初始位置j。2)根据缸(i=工：一工j”，以及特征提取函数h求解线性最b-乘方程，得到第1次迭代的方向向量以及偏差项向量bo。3)计算对应特征点新的位置，更新位置迭代方向及其对应的偏差

15、项。4)重复2)、3)直至收敛，最终得到方向序列也和偏差项序列b。5)在测试过程中，将训练得到的足。和巩作用于测试集图像的初始位置，得到最终的特征点定位结果。11监督下降方法(SDM)SDM的优化目标和AAM有所不同，定义为特征函数之间的最优化问题，其目标为最优化式(2)所示的非线性最小二乘问题：以工o+x)=|I h(d(xo+工)一h(d(x)0 2 (2)其中：dR“表示一个具有m个像素点的图像；d(茗)彤州表示图d中的P个特征点组成的形状向量；为特征提取函数，h(d(x)表示在图像上对P个特征点的局部特征进行提取；向量了表示P个特征点的最佳位置，且在训练阶段是已知的；工。表示初始形状位

16、置，通常由训练样本的平均形状表示。左心室特征点优化的目标即为当前的特征点位置找到一个趋近于最优值的位置偏移工。为求解式(2)中的工，将其进行二阶泰勒展开，得：，(+血)一，(Xo)+五()1缸+缸1H(xo)缸(3)令纯=h(d(x。)，在式(3)对血求导并令其为0得到x的第一个更新：血I=一H(xo)“(而)=一2H(xo)。，(工o)(妒。一妒。) (4)其中：H(xo)为函数，在工。处的海森矩阵；()为函数，在X。处的雅克比矩阵。在SDM中，可通过监督学习找到表示迭代方向的民和表示偏差项的b。替代式(4)中的一2H(xo)。以()与2H(xo)一Jh(xo)妒。，由此便可构造出工，的求解

17、式如式(5)所示：血l=Ro妒o+bo (5)所以最初最优化问题转化为求解足。和氏，其求解方式由式(6)给出，上标i表示训练样本中的第i幅图像：窖n磊幂II缸o一妒5“一6。II 2 (6)其中：缸0=工?一Xo_i)；工：”和工0在训练阶段均已给出，巍。=|l(d“(。)为初始位置矗。的特征向量的提取。最终问题转换为线性最小二乘问题，可求出相应的氐和b。而对于非线性的最小二乘问题，需要多次迭代才能得到最优结果。对于每一次迭代都会产生一个墨和以，便组成一个方向序列甄和一个偏差项序列b。一般地，对于第k次迭代，结合前一步得到的墨一。和b，有：工I=工II+RIl妒Il+b一l (7)可由式(7)

18、递归地求解更新后的位置偏移缸=x0一工：。和新的位置工：o。同时，得到基于新位置的特征向量“o=h(d“(工：o)。对于R。、b。的求解，将式(6)一般化，即求解线性最tJ、-乘问题：a嘎掣n磊磊II ax(一只t矗“一6川2 (8)在测试阶段，给定待测试图像的初始位置而，将训练得到的最和西。作用于上，以得到最终的真实位置估计。图1简要描述了SDM从初始位置到最佳位置的大致过程。图1 SDM收敛过程Fig1 Convergence process of SDM万方数据第2期 魏雨汐等：基于监督下降方法的左心室超声图像分割 547由式(2)不难看出，SDM的核心在于最优化两个特征向量的欧氏距离，

19、所以特征提取函数的选取对算法迭代过程中风和b。的生成有直接影响。12基于SDM的改进算法由于图像特征提取函数的选取会影响SDM的最终分割效果，因此对左心室超声图像准确分割的实现有着重要意义。由于受光照程度不同、心内组织密度各异等客观影响，传统SDM采用的SIFT特征提取函数在左心室轮廓定位上取得的效果欠佳。为弱化上述客观影响，本文采用Bswr特征，其效果比传统的SIFT特征要好；同时，在模型中引入了多尺度图像金字塔模型来进一步提升最终左心室轮廓分割效果。121 基于SIFT特征的优化特征B-SIFrSI丌特征是一种局部特征检测方法，广泛应用于多类计算机视觉领域。其优点在于：具有尺度、旋转不变性

20、，对噪声、图像亮度变换有很好的抵抗力，所蕴含的局部特征信息量丰富等。对于sift特征向量的提取，在初始形状向量中的每一个特征点周围建立1616的像素框，计算其中每一个像素的梯度；然后每44的像素上计算8个方向的梯度方向直方图如图2(a)所示；绘制每个梯度方向的累加值，如图2(b)所示。于是便得到448=128维的swr特征向量(又称描述子)。一f一I(a)梯度方向直方图示意J LJ _J L1 一l J-I一 一I_L L_口： 七| 二I工I二 ：11j U J LI 一I上|- 一lLL1 H -1 fI 一I十| I寸Il、 71 H 一十-| I+|_ I斗卜一H 一#I I+l l斗

21、I长 沭 恭桨 疼 粘 兼静 芳 带 来-4, 弋 专缸 桨(b)12,q维特征向量建立【翻2 SIFT特征建直Fig 2 Construction of SIFF featu res同时，为了进一步减少光照、梯度方向直方图差异较大的影响，需要对得到的SIFr特征描述子进行归一化处理。即对于一个SIFt特征hsRm“，有0 hs旺=1。本文采用基于巴氏系数的BsI丌特征替代原sirr特征以辅助特征点定位，取得了较好的效果。其构造方法如下：对于两个n维单位特征向量工、Y，定义z与J，的巴氏系数为：Co(工，y)=两=(石)7(万) (9)且有石。=1，戈。o；Yi=l，Y。Oo不难发现，CoeB

22、(工，工)=茹i=1。为探讨其与欧氏距离的代数关系，尝试求解 日知舶的欧氏距离：Dist。(妇，妇)=II妇一妇Il 2=22(r)(y)=22CoeB(工，Y (10)可见，对于原基于欧氏距离优化问题的求解，可以转化为对巴氏系数的求解，只需根据式(9)构造基于巴氏系数归一化后的特征向量形式，以得到最终的基于BSIFT的特征点描述子Jl。，假设由式(8)得到的sIFr特征描述子为p=h(d(工)，有：厂ih口=妒叫h艄h妒o (11)V I。1根据式(11)得到BSIFT特征与sIFr特征的映射关系，在其处理过程中，降低了所提取的特征中较大值对特征向量相似度的影响权重，同时提升了较小值对特征向

23、量相似度的敏感程度。最后由h。替代原SDM迭代过程中求解得到的穰。作为新的特征点描述子，进行下一步的迭代。最终实验表明，使用Bsift特征的SDM在图像分割效果上优于基于SIFt特征的SDM。122 多尺度图像金字塔模型建立在左心室超声图的探测过程中，受左心室的形状、大小、心尖朝向等客观因素的影响，在对训练集或测试集中的图像统一归一化后，可能会造成局部纹理信息丢失，影响最终结果的准确性。于是，本文采用了基于多尺度图像金字塔模型的方式，将训练集中的图像归一至多个分辨率上，在低分辨率图像上进行步长较大的迭代，在高分辨率图像上进行步长较小的迭代，使特征点更为精确地贴近真实值。分辨率从上至下依次递增，

24、完成每一层的特征点匹配后，转至下一层。本文采用的四层金字塔结构如图3所示。a)多分辨率超声图(b)4层金字塔模型图3 多分辨率金字塔模型Fig3 Multiresolution pyramid nlod万方数据计算机应用 第38卷2 实验及其结果分析本文实验数据来自于华西医院专家标注的心动周期不同阶段的106张超声心动图，来自于25位不同的患者，提取其中81张作为训练集，25张作为测试集。在特征点标注方面，选取左心室心内膜和心外膜作为参考轮廓，分别标注17个特征点，其中O一16号特征点为心外膜，17到33号特征点为心内膜，如图4所示。图4手工标注的特征点Fig 4 Mannually labe

25、led feature points实验将本文采用的方法对测试集的经食道的超声心动图像进行了特征点定位操作，分割出心内膜与心外膜的轮廓，并与传统的SDM进行了对比，描述如下。21 BSIFT与SIFT实验效果对比在同时基于4层多尺度金字塔模型的基础上，从上至下缩放尺度依次设为025、05、10和20，每一层迭代次数为2，特征提取函数分别设为BSIFT和SIFT，实验结果如图5所示，图5(a)为采用SIFT特征的特征点定位轮廓，图5(b)为采用BSIFT特征的特征点定位轮廓。其中黑色特征点为真实值位置，白色特征点为实验结果位置。观察两者的心室轮廓的高曲率区域，发现基于B-SIFT特征的实验结果比

26、SIFT更加接近真实值。【a)SIFT (b)B-SIFT图5利用SIVI与BSIFT特征进行特征点定位的结果对比Fig5 Comparison of feature point location resultsusing B-SIFT and SIlT features22构建多尺度图像金字塔后改进效果本实验构建了4层多分辨率金字塔迭代模型，在采用相同特征提取函数的情况下，其相对于没有金字塔结构的SDM模型在精准度上有较大提升。选取测试集中的一张图像作演示：图6(a)为初始化特征点定位；图6(b)为非金字塔结构的监督下降方法SDM的分割效果，其只在单一尺度(scale=10)上进行迭代；图6

27、(c)是基于4层金字塔模型的特征点定位效果。其中黑色特征点为真实值位置，白色特征点为实验迭代结束位置。可以看出：基于多尺度图像金字塔模型的特征点定位更接近真实轮廓。综上所述，结合多尺度金字塔模型和B-SIFT特征提取函数的左心室轮廓分割方法在精准度上要优于传统的SDM特征点标注方法。本文方法与传统SDM的累计误差分布图如图7所示，其中横坐标为测试集序列号，纵坐标为其误差累计。从图7可以看出，基于BSIFT特征提取函数的方法效果优于传统SDM。(a)初始位置1O09O8籁O7闺06暴os雕04麟03020100(b)单一尺度SDM(c)多尺度BSIFT (d)真实位置图6多分辨率金字塔优化效果F

28、ig6 Optimization result of multi-resolution pyramid0 I 2 ： 4 o 6 i 8 9 II J 11 12 13 14 l 5 16定位误差l()。图7传统SDM和本文方法的累计误差分布对比Fig7 Cumulative elTor distribution comparison ofthe traditional SDM and the proposed method将传统SDM与本文方法作用于测试集中，得到的平均误差结果如表l所示。可以看出，基于BSIFT特征及多尺度图像金字塔的分割方法将平均误差从0055 73降低至0029 30，

29、准确度提升了4743。万方数据第2期 魏雨汐等：基于监督下降方法的左心室超声图像分割 549裹1 传统SDM与本文方法的平均误差对比Tab1 Average error comparison ofthe traditional SDM and the prepo“method3 结语本文基于SDM对经食道超声心动图中左心室轮廓进行了分割，针对传统方法在单一尺度上定位的精确性问题，建立了4层金字塔特征点定位搜索模型，并结合基于巴氏系数改进的尺度不变特征变换(B-SIFT)特征提取函数，进一步提高了算法的准确性，使最终的特征点定位输出更加接近真实轮廓。在下一步研究中，计划建立左心室特征点标注图像库

30、，增加标注图像的样本数量，利用局部特征描述子匹配，将算法应用于动态超声视频追踪上。参考文献：【I】 朱文玲超声心动图评价左心室功能【J】中国一0血管杂志，2008，13(4)：241243(ZHU W LEvaluation of left ventricularfunction by echocardiography【J】Chinese Journal of CardiovascularMedicine，2008，13(4)：241243)【2】 黄文博，燕杨，王云吉医学图像分割方法综述f J】长春师范大学学报(自然科学版)，2013，32(2)：2225(WANG W B，YANY，WAN

31、G Y JSurvey of medical image segmentation methods【J】Journal of Changchun Normal Univemity(Natural Science)，2013，32(2)：2225)【3】PIECIAK TSegmentation of the left ventricle using active contourmethod with gradient vector flow forces in shortaxis MRI【M】Information Technologies in Biomedicine，LNCS 7339Be

32、rlin：Springer，2012：2435【4】DAVATZIKOS C，PRINCE J LAn active contour model for map-ping the cortex【J】IEEE Transactions on Medical Imaging，1995，14(1)：6580【5】HAJIAGHAYI M，GROVES E M，JAFARKHANI H，et a1A 3-Dactive contour method for automated segmentation of the left ventricle舶m magnetic resonance images

33、fJ】IEEE Transactions on Biomed-ical Engineering，2016，64(1)：1 34144【61 0BRIEN S，GHITA O，WHELAN P FSegmenting the left ventrlcle in 3D using a coupled ASM and a learned nonrigid spatial model【COL3D Segmentation in the Clinic：A Grand Challenge Ill【Workshop】，MICCM 2009：Proceedings of the 12th Internatio

34、nalConference on Medical Image Computing and Computer AssistedIntervention【201703-16】http：dorasdcuie186261whelan200952pdf71 C00rES T F，TAYLOR C J，COOPER D H，et a1Active shapemodels-their training and印plication【J】Computer Vision andImage Understanding，1995，61(1)：3859【81 刘金清，吴庆祥一种AAM模型的MRI医学图像分割算法【J】电

35、子测量与仪器学报，2013，27(3)：236240(LIU J Q，WU QXAlgorithm of AAM model for MRI medical image segmentation【J】Journal of Electronic Measurement and Instrument，2013，27(3)：236240)【9】【10】【12】【13】【14】【15】【16】【17】【18】C00TES T F，EDWARDS G J。TAYLOR C J，et a1Activeappearance models【J】IEEE Transactions on Pattern Anal

36、ysis andMachine Intelligence，2001，23(6)：681685MATrHEWS I，BAKER SActive appearance models revisited【J】International Journal of Computer Vision，2004，60(2)：1 35一l“XIONG XSupervised descent method【cProceedings of the2015 IEEE Computer Vision and Pattern RecognitionPiscataway，NJ：IEEE2015：26642673XIONG X，

37、DE LA TORRE FSupervised descent method and its印pficafions to face alignment【elCVPR 2013：Proceedings ofthe 2013 IEEE Conference on Computer Vision and Pattern Recog-nitionWashington，DC：IEEE Computer Society，2013：532539ARANDJELOVIC RThree things everyone should know to improve幽ect retrieval【C】CVPR 201

38、2：Proceedings of the 2012 IEEEConference on Computer Vision and Pattern RecognitionWashing-ton，DC：IEEE Computer Society，2012：291 12918YUAN JActive contour driven by region-scalable fitting and localBhattacharyya distance energies for ultrasound image segmentation【J】IET Image Processing，2013，6(8)：107

39、51083LOWE D GObject recognition from local scale-invariant features【C】ICCV硼：Proceedings of the Seventh IEEE InternationalConference on Computer VisionWashington，DC：IEEE ComputerSociety，2002，2：l 150KENDALL R A，DUNNING H T，Jr，HARmSON R JElectronaffinities of the first-mw atoms revisitedSystematic basi

40、s sets andwave functions【J】Journal of Chemical Physics，1992，96：67966806谭志国，刘滕冲，孙即祥，等一种非刚性医学图像点匹配方法【J】武汉大学学报(理学版)，2007，53(6)：759764(TAN zG，LIU T C，SUN J X，et a1A non-rigid medical image pointmatching method【J】Journal of Wuhan University(Natural SCience Edition)，2007，53(6)：759764)邓梁基于ASM与AAM的人脸特征定位与匹配

41、算法研究【D】长沙：中南大学，2009：1520(DENG LResearch on face feature positioning and matching algorithm based on ASM and AAM【D】Changsha：Central South University，2009：1520)This work is paniaUy supported by the Key Research and Development Project of Science and Technology Department of Sichuan Province(2017SZ0010

42、)，the Science and Technology Support Project of SichuanProvince(2016JZ0035)WEI Yuxi，born in 1992，MScandidateHis research interestsinclude digit丑l image proceing，machine learningW1J Yueqing，born in 1962，MS，research feHowHis researchinterests include embedded system，apphcation of RFID in Internet ofthingsTAO Pan，born in 1988，PhDcandidateHis rescalch interestsinclude machine learning，medical image processingYAO Yu，born in 1980，PhD，associate research fellowHis research interests include machine learning，data mining万方数据