(精品)双目视觉标定.ppt

《(精品)双目视觉标定.ppt》由会员分享，可在线阅读，更多相关《(精品)双目视觉标定.ppt（29页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、双目视觉系统的定位标定双目视觉系统的定位标定 主讲人：班 级：指导老师：2011年毕业设计答辩contents 软件界面设计软件界面设计 4 课题介绍及任务说明课题介绍及任务说明1 图像中角点的提取图像中角点的提取2 摄像机的标定摄像机的标定3总总 结结5 课题介绍课题介绍 双目视觉系统的标定双目视觉系统的标定图像角点的提取图像角点的提取标定算法的研究标定算法的研究角点提取角点提取基于基于基于基于边缘边缘的角点提取的角点提取的角点提取的角点提取 基于二基于二基于二基于二值图值图像的角点提取像的角点提取像的角点提取像的角点提取 基于图像灰度的角点提取基于图像灰度的角点提取基于图像灰度的角点提取基

2、于图像灰度的角点提取标标定算法研定算法研定算法研定算法研究究究究19661966年年年年B.HallertB.Hallert首先考虑畸变，引首先考虑畸变，引首先考虑畸变，引首先考虑畸变，引入最小二乘法，对结果进行优化。入最小二乘法，对结果进行优化。入最小二乘法，对结果进行优化。入最小二乘法，对结果进行优化。19751975年年年年W.FigW.Fig建立复杂的成像建立复杂的成像建立复杂的成像建立复杂的成像模型，并用非线性优化求解。模型，并用非线性优化求解。模型，并用非线性优化求解。模型，并用非线性优化求解。19861986年，年，年，年，R.Y.TsaiR.Y.Tsai建立经典的建立经典的建立

3、经典的建立经典的TsaiTsai摄摄摄摄像机模型，提出两部标定法像机模型，提出两部标定法像机模型，提出两部标定法像机模型，提出两部标定法19991999年张正友提出了基于移动模年张正友提出了基于移动模年张正友提出了基于移动模年张正友提出了基于移动模板的摄像机标定法，张正友标定板的摄像机标定法，张正友标定板的摄像机标定法，张正友标定板的摄像机标定法，张正友标定法法法法课题课题任务任务能够实现对图像角点的提取能够实现对图像角点的提取 实现对摄像机的标定实现对摄像机的标定 界面设计与误差分析界面设计与误差分析 图像中角点的提取 Harris角点提取的特点角点提取的特点ABCDEA A 计算简单计算简

4、单计算简单计算简单B B 提取的点特征均匀而合理提取的点特征均匀而合理提取的点特征均匀而合理提取的点特征均匀而合理C C 算法稳定算法稳定算法稳定算法稳定D D 它对尺度很敏感，不具有尺它对尺度很敏感，不具有尺它对尺度很敏感，不具有尺它对尺度很敏感，不具有尺 度不变性度不变性度不变性度不变性E E 提取的角点是像素级的提取的角点是像素级的提取的角点是像素级的提取的角点是像素级的HarrisHarris角点提取算法实现角点提取算法实现图像的预处理图像的预处理A图像锐化图像锐化求出求出X X、Y Y方向梯度方向梯度B高斯滤波高斯滤波窗口，对窗口，对图像滤波图像滤波C求出灰度强度求出灰度强度变化值变

5、化值D设定阙值，进设定阙值，进行非极大值抑行非极大值抑制，求出角点制，求出角点EHarrisHarris角点提取实验结果角点提取实验结果如图，红色如图，红色如图，红色如图，红色+表表表表示的是识别出来的示的是识别出来的示的是识别出来的示的是识别出来的角点。从图中可以角点。从图中可以角点。从图中可以角点。从图中可以看出，图像中的角看出，图像中的角看出，图像中的角看出，图像中的角点全部识别出来，点全部识别出来，点全部识别出来，点全部识别出来，效果较好效果较好效果较好效果较好HarrisHarris角点提取实验结果角点提取实验结果xy149820325302023567200460119856401

6、966675195图像中局部角点坐标图像中局部角点坐标图像中局部角点坐标图像中局部角点坐标亚像素级角点提取图像中某一点（图像中某一点（x，y），它的灰度值为是关于），它的灰度值为是关于x和和y的一个二元函数的一个二元函数f(x,y)。我们可知一点的梯度值。我们可知一点的梯度值H为为fx,fy)。为了计算方便，我们用。为了计算方便，我们用差分代替微分：差分代替微分：fx=f(x+1,y)-f(x,y);fy=f(x,y+1)-f(x,y)。P P不在边缘上，梯度不在边缘上，梯度不在边缘上，梯度不在边缘上，梯度H H为为为为0 0，则，则，则，则H H点乘点乘点乘点乘pqpq向量向量向量向量为为为

7、为0.0.P P在边缘上，梯度在边缘上，梯度在边缘上，梯度在边缘上，梯度H H不为不为不为不为0 0，但，但，但，但H H与与与与pqpq向向向向量垂直，点乘依然为量垂直，点乘依然为量垂直，点乘依然为量垂直，点乘依然为0 0亚像素级角点提取由于噪声的由于噪声的由于噪声的由于噪声的存在，一般存在，一般存在，一般存在，一般H H点乘点乘点乘点乘pqpq向向向向量不为量不为量不为量不为0 0，会有误差会有误差会有误差会有误差 调用像素级的角点调用像素级的角点调用像素级的角点调用像素级的角点坐标坐标坐标坐标设定邻域窗口大设定邻域窗口大设定邻域窗口大设定邻域窗口大小，在点的邻域小，在点的邻域小，在点的邻

8、域小，在点的邻域内求出各点的梯内求出各点的梯内求出各点的梯内求出各点的梯度值度值度值度值为了使为了使为了使为了使 最小，在每个最小，在每个最小，在每个最小，在每个角点邻域内采用优化角点邻域内采用优化角点邻域内采用优化角点邻域内采用优化算法，求出亚像素级算法，求出亚像素级算法，求出亚像素级算法，求出亚像素级的角点坐标的角点坐标的角点坐标的角点坐标亚像素级角点提取结果如图，绿色如图，绿色如图，绿色如图，绿色*表表表表示提取的图像中示提取的图像中示提取的图像中示提取的图像中的角点。很显然，的角点。很显然，的角点。很显然，的角点。很显然，效果较像素级角效果较像素级角效果较像素级角效果较像素级角点提取要

9、好。点提取要好。点提取要好。点提取要好。亚像素级角点提取结果xy1497.837202.5662530.244201.8173566.557199.7984601.244197.8285639.706195.7296675.354194.797图像中的局部角点坐标图像中的局部角点坐标图像中的局部角点坐标图像中的局部角点坐标摄像机的标定摄像机的标定 张正友标定法张正友标定法张正友标定法张正友标定法 ，要求摄像机在两个以上不同的方位拍摄一个平，要求摄像机在两个以上不同的方位拍摄一个平，要求摄像机在两个以上不同的方位拍摄一个平，要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和面靶标，摄像机和

10、面靶标，摄像机和面靶标，摄像机和2D2D平面靶标都可以自由移动。通过线性模型分平面靶标都可以自由移动。通过线性模型分平面靶标都可以自由移动。通过线性模型分平面靶标都可以自由移动。通过线性模型分析就可计算出摄像机参数的优化解，然后用基干最大似然法进行析就可计算出摄像机参数的优化解，然后用基干最大似然法进行析就可计算出摄像机参数的优化解，然后用基干最大似然法进行析就可计算出摄像机参数的优化解，然后用基干最大似然法进行非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可非线性求精。在这个过程中得出考虑镜头畸变的目标函数后就可非线性求精。在这

11、个过程中得出考虑镜头畸变的目标函数后就可以求出所需的摄像机内、外部参数以求出所需的摄像机内、外部参数以求出所需的摄像机内、外部参数以求出所需的摄像机内、外部参数 优点优点优点优点方法简单灵活方法简单灵活方法简单灵活方法简单灵活具有较好的鲁棒性具有较好的鲁棒性具有较好的鲁棒性具有较好的鲁棒性不需要昂贵器材，很有实用性不需要昂贵器材，很有实用性不需要昂贵器材，很有实用性不需要昂贵器材，很有实用性 张正友算法的实现张正友算法的实现张正友算法张正友算法张正友算法张正友算法不考虑畸变不考虑畸变不考虑畸变不考虑畸变时参数求解时参数求解时参数求解时参数求解考虑畸变考虑畸变考虑畸变考虑畸变时参数求时参数求时参

12、数求时参数求解解解解不考虑畸变时算法的实现不考虑畸变时算法的实现（一）（一）对空间变对空间变对空间变对空间变换矩阵换矩阵换矩阵换矩阵H H的求解优的求解优的求解优的求解优对已求得对已求得对已求得对已求得的的的的H,H,进行进行进行进行优化，得优化，得优化，得优化，得到较准确到较准确到较准确到较准确值值值值通过通过通过通过H H矩矩矩矩阵，求出阵，求出阵，求出阵，求出相机的内相机的内相机的内相机的内外参数外参数外参数外参数空间变换矩阵空间变换矩阵H 观察右边的坐标系图，空观察右边的坐标系图，空观察右边的坐标系图，空观察右边的坐标系图，空间变换矩阵间变换矩阵间变换矩阵间变换矩阵H,H,即是世界坐标

13、即是世界坐标即是世界坐标即是世界坐标系中的一个三维物理坐标，系中的一个三维物理坐标，系中的一个三维物理坐标，系中的一个三维物理坐标，投影到二维像平面得到像素投影到二维像平面得到像素投影到二维像平面得到像素投影到二维像平面得到像素坐标，所要经过的变换。坐标，所要经过的变换。坐标，所要经过的变换。坐标，所要经过的变换。空间变换空间变换空间变换空间变换H H矩阵包括矩阵包括矩阵包括矩阵包括1 12 23 3世界坐标系到摄像机坐标系变换世界坐标系到摄像机坐标系变换世界坐标系到摄像机坐标系变换世界坐标系到摄像机坐标系变换M1=R TM1=R T摄像机坐标系到图像中物理坐标系的变换摄像机坐标系到图像中物理

14、坐标系的变换摄像机坐标系到图像中物理坐标系的变换摄像机坐标系到图像中物理坐标系的变换M2M2图像坐标系中物理坐标系到像素坐标图像坐标系中物理坐标系到像素坐标图像坐标系中物理坐标系到像素坐标图像坐标系中物理坐标系到像素坐标系的变换系的变换系的变换系的变换M3M3H=H=M1*M2*M3M1*M2*M3 =A*M1 =A*M1 根据自己设制的根据自己设制的根据自己设制的根据自己设制的模板，求出一系模板，求出一系模板，求出一系模板，求出一系列三维物理坐标列三维物理坐标列三维物理坐标列三维物理坐标x y 1x y 1根据前面根据前面根据前面根据前面HarrisHarris角点提取方法，角点提取方法，角

15、点提取方法，角点提取方法，提取模板上的像提取模板上的像提取模板上的像提取模板上的像素坐标素坐标素坐标素坐标u v 1u v 1列出方程，通列出方程，通列出方程，通列出方程，通过最小二乘法，过最小二乘法，过最小二乘法，过最小二乘法，求出求出求出求出H H为了得到更加为了得到更加为了得到更加为了得到更加精确的值，对精确的值，对精确的值，对精确的值，对H H进行优化，进行优化，进行优化，进行优化，得到精确值得到精确值得到精确值得到精确值已知已知H矩阵后，求内外参数矩阵后，求内外参数我们知道，我们知道，我们知道，我们知道，M1M1中的旋转矩中的旋转矩中的旋转矩中的旋转矩阵阵阵阵R R中的中的中的中的3

16、 3个列向量满足正个列向量满足正个列向量满足正个列向量满足正交性。交性。交性。交性。H H与与与与R R、M2 M2、M3M3向量之间存在转换关系，向量之间存在转换关系，向量之间存在转换关系，向量之间存在转换关系，3 3个个个个列向量都可以用列向量都可以用列向量都可以用列向量都可以用H H表示，进而我们可以列出两个方表示，进而我们可以列出两个方表示，进而我们可以列出两个方表示，进而我们可以列出两个方程。再考虑到标定的一系列的角点坐标，我们可程。再考虑到标定的一系列的角点坐标，我们可程。再考虑到标定的一系列的角点坐标，我们可程。再考虑到标定的一系列的角点坐标，我们可以通过最小二乘法，求出内部参数

17、。得到内外参以通过最小二乘法，求出内部参数。得到内外参以通过最小二乘法，求出内部参数。得到内外参以通过最小二乘法，求出内部参数。得到内外参数后，求外部参数就轻而易举了！数后，求外部参数就轻而易举了！数后，求外部参数就轻而易举了！数后，求外部参数就轻而易举了！考虑畸变时算法实现（二）二）二）二）此处，我们仅考虑镜头的此处，我们仅考虑镜头的此处，我们仅考虑镜头的此处，我们仅考虑镜头的径向畸变的前面两个系数径向畸变的前面两个系数径向畸变的前面两个系数径向畸变的前面两个系数k1k1和和和和k2k2列出理想的图列出理想的图列出理想的图列出理想的图像坐标与畸变像坐标与畸变像坐标与畸变像坐标与畸变后实际坐标

18、间后实际坐标间后实际坐标间后实际坐标间的对应关系的对应关系的对应关系的对应关系根据已知的图像根据已知的图像根据已知的图像根据已知的图像中角点坐标和内中角点坐标和内中角点坐标和内中角点坐标和内外参数，通过最外参数，通过最外参数，通过最外参数，通过最小二乘法求出系小二乘法求出系小二乘法求出系小二乘法求出系数数数数K1K1和和和和K2K2通过非线性最小二乘通过非线性最小二乘通过非线性最小二乘通过非线性最小二乘法优化算法，对法优化算法，对法优化算法，对法优化算法，对k1k1和和和和k2,k2,以及以求得的内外以及以求得的内外以及以求得的内外以及以求得的内外参数优化，取得精确参数优化，取得精确参数优化，

19、取得精确参数优化，取得精确值值值值摄像机标定结果与分析摄像机标定结果与分析左边摄像机参数左边摄像机参数左边摄像机参数左边摄像机参数径向畸变参数k1=-0.4507K2=0.092内部参数矩阵A=1.0e+003*1.3358 0.0001 0.5007 0 1.3321 0.3917 0 0 0.0010右边摄像机参数右边摄像机参数右边摄像机参数右边摄像机参数径向畸变参数K1=-0.5287K2=0.3920内部参数矩阵 A=1.0e+003*1.3548 -0.0051 0.4380 0 1.3531 0.3969 0 0 0.0010摄像机标定结果与分析摄像机标定结果与分析针对标定的结果，

20、下面我做了个关于焦距的误差计算：针对标定的结果，下面我做了个关于焦距的误差计算：针对标定的结果，下面我做了个关于焦距的误差计算：针对标定的结果，下面我做了个关于焦距的误差计算：左边摄像机左边摄像机左边摄像机左边摄像机右边摄像机右边摄像机右边摄像机右边摄像机 误差分析误差分析1角点提取产生的误差：角点提取产生的误差：在进行角点提取时，要求在进行角点提取时，要求模板平面绝对平整，但在模板平面绝对平整，但在实际实验中，模板平面不实际实验中，模板平面不可能绝对的平，这会引起可能绝对的平，这会引起镜头拍摄的图像有微小偏镜头拍摄的图像有微小偏差，将这一微小偏差引入差，将这一微小偏差引入计算就会造成误差。此

21、外，计算就会造成误差。此外，图像采集卡的采集精度也图像采集卡的采集精度也会影响图像的精度变化会影响图像的精度变化 2摄像机标定产生误差：摄像机标定产生误差：标定系统造成的误差：标标定系统造成的误差：标定的选取和整个标定系统定的选取和整个标定系统各部分的结合都会造成系各部分的结合都会造成系统的误差。统的误差。3算法欠缺性产生误差：对于算法欠缺性产生误差：对于角点提取算法和张正友标定角点提取算法和张正友标定法都存在着误差，都不能非法都存在着误差，都不能非常准确的得到结果，只能将常准确的得到结果，只能将误差降低。误差降低。软件界面的设计软件界面的设计针对选用的摄像机，我通过针对选用的摄像机，我通过针

22、对选用的摄像机，我通过针对选用的摄像机，我通过MATLABMATLAB编程软件，编写了一编程软件，编写了一编程软件，编写了一编程软件，编写了一个个个个GUIGUI实验操作界面，便于更好的实验操作和显示，其主实验操作界面，便于更好的实验操作和显示，其主实验操作界面，便于更好的实验操作和显示，其主实验操作界面，便于更好的实验操作和显示，其主要功能如下：要功能如下：要功能如下：要功能如下：1 1读入图片，并对图片进行角点提取。读入图片，并对图片进行角点提取。读入图片，并对图片进行角点提取。读入图片，并对图片进行角点提取。2 2存储提取角点的坐标，并对其进行标定。存储提取角点的坐标，并对其进行标定。存

23、储提取角点的坐标，并对其进行标定。存储提取角点的坐标，并对其进行标定。3 3显示各个角点提取前后的图片，并显示标定结果。显示各个角点提取前后的图片，并显示标定结果。显示各个角点提取前后的图片，并显示标定结果。显示各个角点提取前后的图片，并显示标定结果。软件操作流程软件操作流程1 1点击点击点击点击 读入图像读入图像读入图像读入图像，输入图片的名字、图片的序号、需要标定的图片，输入图片的名字、图片的序号、需要标定的图片，输入图片的名字、图片的序号、需要标定的图片，输入图片的名字、图片的序号、需要标定的图片数，在下面坐标系中将显示图片图像。数，在下面坐标系中将显示图片图像。数，在下面坐标系中将显示

24、图片图像。数，在下面坐标系中将显示图片图像。2 2点击点击点击点击 提取角点提取角点提取角点提取角点 按钮，等待数秒后，将在一个新的图像窗口中显示经按钮，等待数秒后，将在一个新的图像窗口中显示经按钮，等待数秒后，将在一个新的图像窗口中显示经按钮，等待数秒后，将在一个新的图像窗口中显示经过角点提取的图片，并通过鼠标选择需要标定的角点区域，最后将在下过角点提取的图片，并通过鼠标选择需要标定的角点区域，最后将在下过角点提取的图片，并通过鼠标选择需要标定的角点区域，最后将在下过角点提取的图片，并通过鼠标选择需要标定的角点区域，最后将在下面的第二个坐标系中显示角点提取后的图片。面的第二个坐标系中显示角点

25、提取后的图片。面的第二个坐标系中显示角点提取后的图片。面的第二个坐标系中显示角点提取后的图片。3 3经过多组图片的角点提取得到角点坐标值，然后点击经过多组图片的角点提取得到角点坐标值，然后点击经过多组图片的角点提取得到角点坐标值，然后点击经过多组图片的角点提取得到角点坐标值，然后点击 标定标定标定标定 按钮，将在界面按钮，将在界面按钮，将在界面按钮，将在界面的右上角显示的右上角显示的右上角显示的右上角显示 图片已经过标定，等待显示图片已经过标定，等待显示图片已经过标定，等待显示图片已经过标定，等待显示。4 4最后点击最后点击最后点击最后点击 显示结果显示结果显示结果显示结果，将在界面的右上角显

26、示经过标定而得到的摄像机的，将在界面的右上角显示经过标定而得到的摄像机的，将在界面的右上角显示经过标定而得到的摄像机的，将在界面的右上角显示经过标定而得到的摄像机的内部参数，如图所示：内部参数，如图所示：内部参数，如图所示：内部参数，如图所示：软件界面显示结果软件界面显示结果我们可以看到界面下面两幅图：左边是标定我们可以看到界面下面两幅图：左边是标定我们可以看到界面下面两幅图：左边是标定我们可以看到界面下面两幅图：左边是标定模板图片，右边是角点提取后的效果图。右模板图片，右边是角点提取后的效果图。右模板图片，右边是角点提取后的效果图。右模板图片，右边是角点提取后的效果图。右上角显示的是标定后的

27、结果上角显示的是标定后的结果上角显示的是标定后的结果上角显示的是标定后的结果总结总结 本文提出的亚像素检本文提出的亚像素检本文提出的亚像素检本文提出的亚像素检测方法，利用角点领测方法，利用角点领测方法，利用角点领测方法，利用角点领域内图像灰度梯度变域内图像灰度梯度变域内图像灰度梯度变域内图像灰度梯度变化与角点到领域内任化与角点到领域内任化与角点到领域内任化与角点到领域内任一点的矢量点乘为零一点的矢量点乘为零一点的矢量点乘为零一点的矢量点乘为零的性质，采用迭代算的性质，采用迭代算的性质，采用迭代算的性质，采用迭代算法，获得了高精度的法，获得了高精度的法，获得了高精度的法，获得了高精度的亚像素角点

28、坐标，实亚像素角点坐标，实亚像素角点坐标，实亚像素角点坐标，实验表明能够满足高精验表明能够满足高精验表明能够满足高精验表明能够满足高精度摄像机标定的需求。度摄像机标定的需求。度摄像机标定的需求。度摄像机标定的需求。本文采用本文采用本文采用本文采用Levenberg-Levenberg-MarquardtMarquardt优化方法优化方法优化方法优化方法求精来得到所有参数。求精来得到所有参数。求精来得到所有参数。求精来得到所有参数。实验证明改进的方法实验证明改进的方法实验证明改进的方法实验证明改进的方法的方法优于张正友的的方法优于张正友的的方法优于张正友的的方法优于张正友的基础算法，能够有效基础算法，能够有效基础算法，能够有效基础算法，能够有效地提高最终的标定精地提高最终的标定精地提高最终的标定精地提高最终的标定精度度度度。