立体视觉深度获取ppt课件.ppt

《立体视觉深度获取ppt课件.ppt》由会员分享，可在线阅读，更多相关《立体视觉深度获取ppt课件.ppt（85页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第十章第十章 基于立体视觉的深度估计基于立体视觉的深度估计立体视觉立体视觉 立体成象立体成象 n我们将场景中同一点在两个不同图像中的投影我们将场景中同一点在两个不同图像中的投影点称为共轭对点称为共轭对n其中的一个投影点是另一个投影点的对应其中的一个投影点是另一个投影点的对应(correspondence)(correspondence)n两幅图像重叠时的共轭对点的位置之差两幅图像重叠时的共轭对点的位置之差(共轭共轭对点之间的距离对点之间的距离)称为视差称为视差(disparity)(disparity)n通过两个摄像机中心并且通过场景特征点的平通过两个摄像机中心并且通过场景特征点的平面称为外极

2、面称为外极(epipolar)(epipolar)平面平面n外极平面与图像平面的交线称为外极线外极平面与图像平面的交线称为外极线 立体成象立体成象 立体成象立体成象 由相似三角形可得由相似三角形可得合并两项，可得合并两项，可得F F是焦距，是焦距，B B是基线距离是基线距离 立体成象立体成象 n因此，各种场景点的深度恢复可以通过计算视差来实因此，各种场景点的深度恢复可以通过计算视差来实现现n大角度立体方法大角度立体方法 提高场景点深度计算精度的有提高场景点深度计算精度的有效途径效途径 主要的问题有：主要的问题有：随着基线距离的增加，两个摄像机的共同的可视范随着基线距离的增加，两个摄像机的共同的

3、可视范围减小围减小 场景点对应的视差值增大，则搜索对应点的范围增场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大大，出现多义性的机会就增大 由透视投影引起的变形导致两个摄像机获取的两幅由透视投影引起的变形导致两个摄像机获取的两幅图像中不完全相同，这就给确定共轭对带来困难图像中不完全相同，这就给确定共轭对带来困难立体成像的一般情况立体成像的一般情况n在实际中，两条外极线不一定完全在一条直线在实际中，两条外极线不一定完全在一条直线上，即垂直视差不为零上，即垂直视差不为零n两个摄像机的光轴不平行两个摄像机的光轴不平行 立体图像校正立体图像校正立体图像对重新取样，使外极线对应于立

4、体图像对重新取样，使外极线对应于图像阵列的行图像阵列的行立体图像校正立体图像校正 将两图像投影到一个平面上就能得到理想的极线将两图像投影到一个平面上就能得到理想的极线几何左几何左(右右)摄像机中的每一个像素点分别对应于左摄像机中的每一个像素点分别对应于左(右右)摄像机坐标系统中的一条射线。摄像机坐标系统中的一条射线。设设T Tl l和和T Tr r分别表示将左、右摄像机的射线变换到公分别表示将左、右摄像机的射线变换到公共平面坐标系的刚体变换，确定每个图像的顶点在公共平面坐标系的刚体变换，确定每个图像的顶点在公共平面上的位置，创建新的左、右图像网格，将每一共平面上的位置，创建新的左、右图像网格，

5、将每一个网格点变换回原来的图像上使用双变量线性内插个网格点变换回原来的图像上使用双变量线性内插方法内插像素值可确定公共平面上新的左、右图像中方法内插像素值可确定公共平面上新的左、右图像中的像素点。的像素点。平行光轴立体视觉系统平行光轴立体视觉系统Z Zw w=0=0 左摄像机左摄像机左图像左图像:参考参考右图像右图像:目标目标右摄像机右摄像机高度高度 Z Zw w视差视差景深景深 Z Z基线基线视差公式视差公式视差公式视差公式P(X,Y,Z)P(X,Y,Z)p pl l(x(xl l,y,yl l)光心光心 O Ol lf=f=焦距焦距像平面像平面左摄像机左摄像机B=B=基线基线景深景深平行光

6、轴立平行光轴立体视觉系统体视觉系统f=f=焦距焦距光心光心 O Or rp pr r(x(xr r,y,yr r)像平面像平面右摄像机右摄像机视差视差:dx=xdx=xr r-x-xl l 立体匹配立体匹配n求解对应问题是立体成象系统的核心内容求解对应问题是立体成象系统的核心内容n求解对应问题极富有挑战性，可以说是立体视求解对应问题极富有挑战性，可以说是立体视觉最困难的一步觉最困难的一步 n方法方法q基于特征（点、线）的匹配基于特征（点、线）的匹配(稀疏匹配稀疏匹配)q基于区域的匹配基于区域的匹配(稠密匹配稠密匹配)立体匹配的困难立体匹配的困难n场景投影到两幅图像中并不总是一致的场景投影到两幅

7、图像中并不总是一致的q摄像机相关摄像机相关n图像噪声、不同增益、不同对比度等等图像噪声、不同增益、不同对比度等等.q视点相关视点相关n透视畸变透视畸变n遮挡遮挡n镜面反射镜面反射n复杂场景因素复杂场景因素n重复场景重复场景n无纹理区域无纹理区域引入约束，减少搜索范围引入约束，减少搜索范围外极线约束外极线约束 n一幅图像上的特征一幅图像上的特征点一定位于另一幅点一定位于另一幅图像上对应的外极图像上对应的外极线上线上 n将二维搜索转会为将二维搜索转会为一维搜索问题一维搜索问题n在外极线的一个小在外极线的一个小邻域内进行搜索邻域内进行搜索 一致性约束一致性约束 n对图像进行规范化处理对图像进行规范化

8、处理(Normalization)(Normalization)设参考摄像机和其它摄像机的图像函数分别为设参考摄像机和其它摄像机的图像函数分别为和，则图像窗内规范化图像函数为：，则图像窗内规范化图像函数为：是图像窗内光强的平均值是图像窗内光强的平均值,是光强分布参数是光强分布参数:相似估价函数为差值绝对值之和相似估价函数为差值绝对值之和 顺序约束顺序约束n如如果果在在参参考考图图像像中中点点A A在在点点B B的的左左边边=在在目目标标图图像像中中点点A A的的匹匹配配点点也也在在点点B B的匹配点的左边的匹配点的左边n对细小物体不成立对细小物体不成立Image from Sun et al.

9、CVPR05Image from Sun et al.CVPR05其它约束其它约束n唯一性约束唯一性约束 一幅图像一幅图像(左或右左或右)上的每一个特征点只能上的每一个特征点只能与另一幅图像上的唯一一个特征对应与另一幅图像上的唯一一个特征对应 n连续性约束连续性约束 物体表面一般都是光滑的，因此物体表面物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的，它们的视上各点在图像上的投影也是连续的，它们的视差也是连续的差也是连续的 在物体边界处，连续性约束不能成立在物体边界处，连续性约束不能成立特征匹配特征匹配稀疏稀疏n在立体图像对中识别兴趣点在立体图像对中识别兴趣点(interes

10、ting point)(interesting point)，而后在两幅图像中匹配相对应的点而后在两幅图像中匹配相对应的点n识别兴趣点识别兴趣点(interesting point)(interesting point)在图像中具有很大变化的区域内寻找兴趣点在图像中具有很大变化的区域内寻找兴趣点 在以某一点为中心的窗函数中，计算其在不同方向在以某一点为中心的窗函数中，计算其在不同方向上的变化量上的变化量 为避免将多个相邻点选为同一个特征对应的兴趣点，为避免将多个相邻点选为同一个特征对应的兴趣点，将特征点选在兴趣测度函数具有局部最大值的地方将特征点选在兴趣测度函数具有局部最大值的地方 特征匹配特

11、征匹配n对于左图像中的每一个特征对于左图像中的每一个特征左图像左图像角点角点线线结构结构特征匹配特征匹配n在右图像中寻找在右图像中寻找 当相似度达到最大时的偏移量就是当相似度达到最大时的偏移量就是视差视差右图像右图像角点角点线线结构结构特征匹配特征匹配稀疏稀疏n基于特征的立体匹配算法产生对应于图像特征基于特征的立体匹配算法产生对应于图像特征点的场景稀疏深度图点的场景稀疏深度图 n仅仅能恢复用于求解共轭对的像素子集对应的仅仅能恢复用于求解共轭对的像素子集对应的特征点深度特征点深度 n要想得到其它点的深度值，必须通过使用有关要想得到其它点的深度值，必须通过使用有关计算方法来估算，如内插值技术计算方

12、法来估算，如内插值技术n n基于边缘特征的立体匹配算法基于边缘特征的立体匹配算法（1 1）采采用用标标准准的的摄摄像像机机设设置置，并并利利用用边边缘缘点点作为图像特征。作为图像特征。（2 2）采采用用外外极极约约束束使使匹匹配配过过程程简简化化：为为求求左左图图像像某某扫扫描描行行上上一一个个边边缘缘点点P Pilil在在右右图图像像上上的的对对应应点点，沿沿右右图图像像的的同同一一扫扫描描行行扫扫描描寻寻找找匹匹配配点点即即可可。根根据据相相容容性性约约束束，所所求求对对应应点点P Pirir也也应应为为一一边边缘缘点点，且且两两个个边边缘缘点点的的幅幅值值和和方方向应保持一致。向应保持一

13、致。n n基于边缘特征的立体匹配算法描述基于边缘特征的立体匹配算法描述输入图像：左边缘图像输入图像：左边缘图像e ell(i,j)(i,j)，1iI,1jJ1iI,1jJ 右边缘图像右边缘图像e err(i,j)(i,j)，1iI,1jJ1iI,1jJ输出图像：视差图像输出图像：视差图像d(i,j)d(i,j)，1iI,1jJ1iI,1jJ若干标记：若干标记：i ill 左图像的现行行指标；左图像的现行行指标；i irr 右图像的现行行指标；右图像的现行行指标；j jll 左图像的现行列指标；左图像的现行列指标；j jrr 右图像的现行列指标；右图像的现行列指标；n n基于边缘特征的立体匹配算

14、法描述基于边缘特征的立体匹配算法描述算法步骤：算法步骤：（1 1）初始化操作：将初始化操作：将d(i,j)d(i,j)清零，并置：清零，并置：i il l=1=1，i ir r=1=1，j jl l=1=1和和j jr r=1=1。（2 2）匹配运算：匹配运算：（2-12-1）从从左左边边缘缘图图像像的的第第i il l 行行当当前前列列开开始始，寻寻找找下下一一个个待待匹匹配配的边缘点的边缘点P Pilil。这里，。这里，P Pilil的列指标由的列指标由j jl l指示；指示；（2-22-2）在在右右边边缘缘图图像像的的第第i ir r=i=il l 行行上上，寻寻找找P Pilil的的对

15、对应应点点P Pirir。方方法法如如下下：比比较较候候补补边边缘缘点点和和P Pilil的的幅幅值值和和方方向向，看看是是否否一一致致。如如果果需需要要的的话话，可可引引入入顺顺序序约约束束以以进进一一步步减减少少匹匹配配运运算算。上上述述过过程程不不断断进进行行直直到到在在右右图图像像上上找找到到具具有有最最大大一一致致性性的的边边缘缘点点为为止止，并并将将其其定定为为P Pilil的的对对应应点点P Pirir。这这里里，P Pirir的的列列指指标标由由j jr r指指示示。然然后后，根根据据j jl l和和j jr r的的值值计计算算待待匹匹配配的的边边缘缘点点P Pilil处对应的

16、视差。即置处对应的视差。即置d(id(il l,j,jl l)=j)=jl l-j-jr r。n n基于边缘特征的立体匹配算法描述基于边缘特征的立体匹配算法描述算法步骤算法步骤(续续)：一一旦旦右右图图像像上上的的一一个个边边缘缘点点被被定定为为左左图图像像上上的的一一个个边边缘缘点点的的对对应应点点，则则根根据据唯唯一一性性约约束束，该该点点以以后后将将不不能能和和左左图像上任何别的边缘点相匹配。图像上任何别的边缘点相匹配。（2-32-3）进进行行行行终终止止检检查查。若若左左图图像像的的现现行行行行上上已已无无待待匹匹配配的的边边缘点，去（缘点，去（3 3）；否则，回到（）；否则，回到（2

17、-12-1）。）。（3 3）若若il=Iil=I，去（，去（4 4）；）；否则，置否则，置il=il+1il=il+1、jl=1jl=1和和jr=1jr=1，回到（，回到（2-1)2-1)；（4 4）根根据据视视差差图图像像d(i,j)d(i,j)和和摄摄像像机机的的系系统统参参数数，计计算算各各边边缘缘点处的三维坐标。点处的三维坐标。算法特点：鲁棒，但仅在图像的边缘点处可以算法特点：鲁棒，但仅在图像的边缘点处可以获得相应景物的三维位置信息。获得相应景物的三维位置信息。基于区域相关性的立体匹配基于区域相关性的立体匹配(稠密稠密)n计算一幅图像的一个小窗函数内的像素与另一幅计算一幅图像的一个小窗

18、函数内的像素与另一幅图像中具有同样的潜在对应特征的小窗函数的像图像中具有同样的潜在对应特征的小窗函数的像素之间的相关值具有最大相关值的小窗区域就素之间的相关值具有最大相关值的小窗区域就是对应区域是对应区域n只有满足外极线约束的区域才能是匹配区域考只有满足外极线约束的区域才能是匹配区域考虑到垂直视差的存在，应将外极线邻近的像素点虑到垂直视差的存在，应将外极线邻近的像素点也包括在潜在的匹配特征集中也包括在潜在的匹配特征集中立体匹配评价函数立体匹配评价函数立体匹配评价函数立体匹配评价函数稠密匹配稠密匹配n对参考图像中每一点找到对应于场景中同一对参考图像中每一点找到对应于场景中同一点的匹配像素，得到稠

19、密的视差图点的匹配像素，得到稠密的视差图n n导致稠密立体匹配困难的原因导致稠密立体匹配困难的原因 l ll左、右图像的彩色不一致左、右图像的彩色不一致左、右图像的彩色不一致n nn图像中存在遮挡区域图像中存在遮挡区域图像中存在遮挡区域n nn图像中存在镜面反射现象图像中存在镜面反射现象图像中存在镜面反射现象n nn图像中存在重复模式图像中存在重复模式图像中存在重复模式n nn图像中存在无纹理区域图像中存在无纹理区域图像中存在无纹理区域算法评估算法评估n以真实视差场为参照，对计算得到的视差场进以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配行评估，统计视差场的准

20、确度，以此反映匹配方法的性能方法的性能 nhttp:/vision.middlebury.edu/stereon n立体匹配算法的几个要素立体匹配算法的几个要素 特征特征特征 约束条件约束条件约束条件 优化方法优化方法优化方法 局部优化局部优化局部优化 全局优化全局优化全局优化l l基于滑动窗相关和连续性约束的立体匹配算法基于滑动窗相关和连续性约束的立体匹配算法l l基于滑动窗相关的动态规划立体匹配算法基于滑动窗相关的动态规划立体匹配算法l l基于区域特征的图割立体匹配算法基于区域特征的图割立体匹配算法l l基于置信度传播的区域匹配算法基于置信度传播的区域匹配算法经典相关窗法经典相关窗法n对参

21、考图像中每个点对参考图像中每个点(x(xl l,y,yl l)定义以它为中心的窗口定义以它为中心的窗口(x(xl l,y yl l)左图像左图像n在目标图像中一定范围搜索匹配点在目标图像中一定范围搜索匹配点(x(xl l,y yl l)右图像右图像经典相关窗法经典相关窗法n视差就是当相关值达到最大时的偏移量视差就是当相关值达到最大时的偏移量(x(xl l,y yl l)dxdx(x(xr r,y yr r)右图像右图像经典相关窗法经典相关窗法n n基于相关窗的立体匹配算法基于相关窗的立体匹配算法 匹配度计算：匹配度计算：误差函数误差函数使用特征：使用特征：右图所示组合特征右图所示组合特征n n

22、基于相关窗的立体匹配算法基于相关窗的立体匹配算法 匹配度计算：匹配度计算：使用特征：使用特征：右图所示组合特征右图所示组合特征相关函数相关函数n n基于相关窗的立体匹配算法基于相关窗的立体匹配算法 若干标记：若干标记：i il l 左图像的现行行指标；左图像的现行行指标；i ir r 右图像的现行行指标；右图像的现行行指标；j jl l 左图像的现行列指标；左图像的现行列指标；j jr r 右图像的现行列指标；右图像的现行列指标；w w 固定窗口的宽度指标；固定窗口的宽度指标；v v 固定窗口的高度指标；固定窗口的高度指标；输入图像：输入图像：左灰度图像左灰度图像f fl l(i,j)(i,j

23、)，1iI,1jJ 1iI,1jJ 右灰度图像右灰度图像f fr r(i,j)(i,j)，1iI,1jJ 1iI,1jJ 输出图像：输出图像：视差图像视差图像d(i,j)d(i,j)，1iI,1jJ1iI,1jJn n基于相关窗的立体匹配算法基于相关窗的立体匹配算法 算法步骤：算法步骤：（1 1）初始化操作：将）初始化操作：将d(i,j)d(i,j)清零，并置清零，并置i il l=v+1=v+1，i ir r=v+1=v+1和和j jl l=w+1=w+1。（2 2）匹配运算：）匹配运算：（2-12-1）在在右右图图像像的的第第i ir r=i=il l行行上上寻寻找找与与左左图图像像上上的

24、的当当前前像像素素P Pilil=f=fl l(i(il l,j,jl l)最最相相似似的的对对应应点点P Pirir。方方法法如如下下：以以固固定定尺尺寸寸的的窗窗口口套套住住当当前前像像素素P Pilil，并并让让同同一一尺尺寸寸的的窗窗口口顺顺序序滑滑过过右右图图像像的的第第i ir r行行，在在每每一一个个像像素素位位置置，计计算算所所定定义义的的误误差差函函数数E(iE(il l,j,jl l,d),d)（也也可可计计算算所所定定义义的的相相关关函函数数R(iR(il l,j,jl l,d),d)）,直直到到在在右右图图像像上上找找到到最最相相似似的的像像素素点点P Pirir为为止

25、止。并并将将P Pirir定定为为P Pilil的的对对应应点点。若若P Pirir的的列列指指标标由由j jr r指指示示，那那么么，置置d(id(il l,j,jl l)=j)=jl l-j-jr r。一一旦旦右右图图像像上上的的一一个个像像素素点点被被定定为为左左图图像像上上的的一一个个像像素素点点的的对对应应点点，则则根根据据唯唯一一性性约约束束，该该点点以以后后将将不不能能和和左左图图像像上上任任何何别别的的像像素素点点相相匹匹配配。同同样样，也也可可引引入入顺顺序序约约束束以以进进一一步步减减少少匹匹配配运算。运算。（2-22-2）做行终止检查：若）做行终止检查：若j jl l=J

26、-w=J-w，去（，去（3 3）；否则，置）；否则，置j jl l=j=jl l+1+1，回到（，回到（2-12-1）。）。（3 3）若）若i il l=I-v=I-v，去（，去（4 4）；否则，置）；否则，置i il l=i=il l+1+1、i ir r=i=ir r+1+1和和j jl l=w+1=w+1，回到（，回到（2-12-1）。）。（4 4）根据视差图像）根据视差图像d(i,j)d(i,j)和摄像机的系统参数，计算各边缘点处的三维坐标。和摄像机的系统参数，计算各边缘点处的三维坐标。n n基于相关窗的立体匹配算法基于相关窗的立体匹配算法 算法特点：算法特点：误匹配的原因：误匹配的原

27、因：（各类匹配算法的共同问题）（各类匹配算法的共同问题）l l 可获得稠密视差可获得稠密视差l l 误匹配可能较多。误匹配可能较多。l l 重复场景重复场景l l 遮挡遮挡l l 局部优化局部优化经典相关窗法结果经典相关窗法结果 自适应支持权值法自适应支持权值法n格式塔心理学格式塔心理学q相似性准则相似性准则q接近性准则接近性准则n根据相似性和接近性设计邻近像素对匹配根据相似性和接近性设计邻近像素对匹配窗中心像素的权值窗中心像素的权值Yoon CVPR05Yoon CVPR05n在CIE Lab颜色空间的相似性:n接近性:欧氏空间距离nWeights:n n 匹配代价累积公式 自适应支持权值法

28、自适应支持权值法自适应支持权值法结果自适应支持权值法结果自适应支持权值法结果自适应支持权值法结果自适应窗口加权法结果自适应窗口加权法结果 n“贴标签贴标签”，标签就是视差，标签就是视差n给特定像素分配一个标签有分配代价给特定像素分配一个标签有分配代价n给临近像素分配一对标签有分离代价给临近像素分配一对标签有分离代价n找到总的分配代价和分离代价之和最小找到总的分配代价和分离代价之和最小q图割算法图割算法q置信传播算法置信传播算法马尔科夫随机场马尔科夫随机场图割算法图割算法n通过计算赋权图的最小割集求能量最小化通过计算赋权图的最小割集求能量最小化q以割代价为能量，求得的割集就是标签以割代价为能量，

29、求得的割集就是标签,q通过最大流算法使能量迅速减少通过最大流算法使能量迅速减少n运行时间与像素数和标签数成线性关系运行时间与像素数和标签数成线性关系q近似地说近似地说,低维多项式低维多项式stcutL(p)p“cut”xy标签xy视差标签图割算法图割算法图割算法结果图割算法结果n在能量中包括遮挡项在能量中包括遮挡项Kolmogorov ICCV01Kolmogorov ICCV01置信传播算法置信传播算法n在马尔可夫网络上传播消息的迭在马尔可夫网络上传播消息的迭代推导算法代推导算法q消息消息:反映邻近站点变量取值对该站反映邻近站点变量取值对该站点变量取值的影响点变量取值的影响 n对树结构有精确

30、解，对有环图有对树结构有精确解，对有环图有较好的近似解较好的近似解D DD DD DD DV VV VV VV VD D对称置信传播算法结果对称置信传播算法结果MiddleburyMiddlebury评估网站排名第一评估网站排名第一(June 2005)(June 2005)MiddleburyMiddlebury评估网站排名第三评估网站排名第三(June 2005)(June 2005)对称置信传播算法结果对称置信传播算法结果Middlebury评估网站排名第一(June 2005)Middlebury评估网站排名第一(June 2005)对称置信传播算法结果对称置信传播算法结果基于分割区域

31、的算法基于分割区域的算法 n隐含假设隐含假设q颜色平滑的区域内部视差能够用平滑的视差模颜色平滑的区域内部视差能够用平滑的视差模型（常数、平面等等）代替型（常数、平面等等）代替 q视差不连续处与分割区域边缘相一致视差不连续处与分割区域边缘相一致n通常步骤通常步骤q图像分割图像分割q初始视差计算初始视差计算 q根据初始视差估计每个视差平面参数根据初始视差估计每个视差平面参数q根据定义能量以分割区域为整体采用合适算法根据定义能量以分割区域为整体采用合适算法优化优化基于分割区域的算法基于分割区域的算法 n优点优点q区域内的平滑是被强制执行的区域内的平滑是被强制执行的 q单眼线索所获得的视差边界在很多时

32、候比单纯由单眼线索所获得的视差边界在很多时候比单纯由视差估计的边界更为准确视差估计的边界更为准确 q对遮挡区域匹配的鲁棒性也得到改善对遮挡区域匹配的鲁棒性也得到改善 q效率更高效率更高 n缺点缺点q基于分割区域的方法的分割假设并不一定总是正基于分割区域的方法的分割假设并不一定总是正确的确的 q视差模型可能并不能表示区域真正的视差视差模型可能并不能表示区域真正的视差基于区域间协同优化的立体匹配算法基于区域间协同优化的立体匹配算法 均值偏移均值偏移(Mean Shift)(Mean Shift)图像分割算法图像分割算法 通通过过求求Mean Mean ShiftShift矢矢量量的的方方向向来来得

33、得到到梯梯度度的的方方向向,进进而而通通过过对对其其跟跟踪踪,得得到到密密度度最最大大的点的点,即聚类算法中的所谓模式点即聚类算法中的所谓模式点 不同带宽对立体匹配的影响不同带宽对立体匹配的影响不同带宽对立体匹配的影响不同带宽对立体匹配的影响鲁棒的视差平面拟合算法鲁棒的视差平面拟合算法nRANSACRANSACq随机地从数据集随机地从数据集S S中选择中选择s s个数据点组个数据点组成一个样本作为模型的一个例示成一个样本作为模型的一个例示 q确定在模型距离阈值确定在模型距离阈值t t内的数据点集内的数据点集为一致集为一致集q经过经过N N次试验，选择最大一致集，并次试验，选择最大一致集，并用的

34、所有点重估模型用的所有点重估模型 经过经过RANSACRANSAC平面拟合后的视差图平面拟合后的视差图 基于投票的鲁棒视差平面拟合算法基于投票的鲁棒视差平面拟合算法 n通通过过对对同同一一行行的的一一对对点点计计算算 ，可可以以得得到到平平面面参参数数a a的的一一个个估计估计 n将将所所有有同同一一行行的的估估计计值值在在一一维维的的a a参参数数空空间间进进行行投投票票，并并对对投投票票结结果果进进行行高高斯斯平平滑滑后后从从中中选选出出得得票票最最多多的的值值作作为为参参数数a a的的最最终终估估计计 n对同一列的点通过计算对同一列的点通过计算 ，可以得到参数，可以得到参数b b的估计的

35、估计n由上式可算出由上式可算出c c，采用类似的投票方法可确定参数，采用类似的投票方法可确定参数c c RANSACRANSAC方法和投票方法平面拟合结果的比较。其中，方法和投票方法平面拟合结果的比较。其中，红色横线表示投票方法的拟合错误率，蓝色折线表示红色横线表示投票方法的拟合错误率，蓝色折线表示RANSACRANSAC方法的拟合错误率方法的拟合错误率 经过投票平面拟合后的视差图经过投票平面拟合后的视差图 采用基于投票的平面拟合法得到的视差图采用基于投票的平面拟合法得到的视差图 协同优化算法的基本原理协同优化算法的基本原理 R1R2R3R4R5R6R8R7R9R10协同优化算法的基本原理协同

36、优化算法的基本原理 为了使各子目标函数之间的优化结果能够保为了使各子目标函数之间的优化结果能够保持一致，协同优化算法在优化每一子目标函持一致，协同优化算法在优化每一子目标函数的时候，考虑与之相关联的其它子目标函数的时候，考虑与之相关联的其它子目标函数的优化结果对其的影响。数的优化结果对其的影响。其中，其中，表示合作强度，而表示合作强度，而 则用则用于刻画传播的力度。于刻画传播的力度。协同优化算法的基本原理协同优化算法的基本原理 协同优化算法的迭代方程协同优化算法的迭代方程迭代过程不断进行直至算法收敛或执行完规定迭代过程不断进行直至算法收敛或执行完规定的迭代次数。由于对每一个区域的优化结果会的迭

37、代次数。由于对每一个区域的优化结果会在下一次迭代中向周边传播，经过若干次迭代在下一次迭代中向周边传播，经过若干次迭代后每一个优化变量在相关子目标函数中的最终后每一个优化变量在相关子目标函数中的最终取值将会取得一致。取值将会取得一致。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 n每个区域能量项定义每个区域能量项定义n其中，第其中，第1 1项是数据能量，第项是数据能量，第2 2项是遮挡能量，项是遮挡能量，而第而第3 3项是平滑能量。项是平滑能量。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 其其中中，V Vl l和和V Vr r分分别别表表示示当当前前区区域域在在左左右右

38、图图像像上上的的可可见见像像素素集集，p p、q q为为左左右右图图像像上上相相匹匹配配的的两两个个对应像素，对应像素，r r、g g、b b表示相应像素的表示相应像素的RGBRGB值。值。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 这这里里，BcBc表表示示参参考考图图像像上上当当前前区区域域的的边边界界点点集集，N N表表示示和和BcBc近近邻邻的的其其它它区区域域上上的的边边界界点点集集，BcBc中中的的p p 、N N中中的的q q为为四四连连通通意意义义上上的的两两个个近近邻邻像像素素，d(p)d(p)、d(q)d(q)为为像像素素p p、q q的的视视差差，而而l l

39、dispdisp为为所所设设置的平滑惩罚常量。置的平滑惩罚常量。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 考考虑虑参参考考图图像像上上的的两两个个相相邻邻区区域域A A和和B B，A A在在B B的的右右边边。当当A A区区域域在在相相邻邻边边界界处处的的视视差差大大于于其其左左邻邻域域B B的的视视差差时时，那那么么根根据据当当前前的的视视差差计计算算结结果果将将A A和和B B映映射射到到右右图图像像时时，B B的的一一部部分分（图图中中的的D D区区域域）将将被被A A所所遮遮挡挡（左左遮遮挡挡），而而当当A A区区域域在在相相邻邻边边界界处处的的视视差差小小于于其其左左

40、邻邻域域B B的的视视差差时时，映映射射到到右右图图像像后后的的两两个个区区域域A A和和B B之之间间将将会会出出现现空空隙隙（图图中中的的C C区区域），相当于右图像上域），相当于右图像上A A区域有一部分在左图像上被遮挡了（右遮挡）。区域有一部分在左图像上被遮挡了（右遮挡）。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 其其中中，和和 分分别别表表示示左左遮遮挡挡和和右右遮遮挡挡像像素素的的个个数数，而而occocc表表示示所所设设置置的的遮挡惩罚常量。遮挡惩罚常量。基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 n计算完每个区域的能量后，选用局部优化计算完每个区域

41、的能量后，选用局部优化方法对所有区域的视差平面参数进行迭代方法对所有区域的视差平面参数进行迭代优化优化 n当一个区域的平面参数变化时，它不仅会当一个区域的平面参数变化时，它不仅会影响本身区域的能量，同时也会对邻域的影响本身区域的能量，同时也会对邻域的能量产生影响。能量产生影响。n这里的邻域包括所有可能带来能量变化的这里的邻域包括所有可能带来能量变化的区域，即在视差搜索范围内的所有邻域区域，即在视差搜索范围内的所有邻域 基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 协同优化算法应用于标准图像对协同优化算法应用于标准图像对TsukubaTsukuba 基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 实拍图像实拍图像