工业摄像机标定.ppt

《工业摄像机标定.ppt》由会员分享，可在线阅读，更多相关《工业摄像机标定.ppt（81页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1、引言：什么是摄像机标定、引言：什么是摄像机标定2、摄像机标定方法的分类、摄像机标定方法的分类3、传统摄像机标定方法、传统摄像机标定方法摄像机标定摄像机标定石鑫华视觉网摄像机标定的目的：三维重建摄像机标定的目的：三维重建三维重建：摄像机标定的主要目的，也是计算机视觉的最三维重建：摄像机标定的主要目的，也是计算机视觉的最主要的研究方向主要的研究方向.(Marr 1982)，所谓三维重建就是指从图象，所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。出发恢复出空间点三维坐标的过程。摄像机标定：建立摄像机图像像素位置与场景点位置之间摄像机标定：建立摄像机图像像素位置与场景点位置之间的关系，其

2、途径是根据摄像机模型，由已知特征点的图像的关系，其途径是根据摄像机模型，由已知特征点的图像坐标求解摄像机的模型参数。坐标求解摄像机的模型参数。三维重建的三个关键步骤三维重建的三个关键步骤摄像机标定：单个像机摄像机标定：单个像机图象对应点的确定：双目图象对应点的确定：双目二图象间摄像机运动参数的确定：单个像机运动二图象间摄像机运动参数的确定：单个像机运动1、引言、引言石鑫华视觉网O Ou u摄像机坐标系摄像机坐标系摄像机坐标系摄像机坐标系x xy yv v图像坐标系图像坐标系图像坐标系图像坐标系世界坐标系世界坐标系世界坐标系世界坐标系1 1 1 1、世界坐标系：、世界坐标系：、世界坐标系：、世界

3、坐标系：2 2 2 2、摄像机坐标系：、摄像机坐标系：、摄像机坐标系：、摄像机坐标系：3 3 3 3、图像坐标系、图像坐标系、图像坐标系、图像坐标系:坐标系坐标系石鑫华视觉网 在在 中的坐标为中的坐标为 象素在轴上的物理尺寸象素在轴上的物理尺寸为 Affine Transformation:Affine Transformation:Affine Transformation:Affine Transformation:图像数字化图像数字化U U U UC C C CV V V V齐次坐标形式齐次坐标形式:其中其中石鑫华视觉网摄像机的内参数矩阵摄像机的内参数矩阵 K石鑫华视觉网传统摄像机标定方

4、法基于交比不变的摄像机畸变系数标定2、摄相机标定方法分类、摄相机标定方法分类石鑫华视觉网1）传统的摄像机标定方法）传统的摄像机标定方法特点特点利用已知的景物结构信息。常用到标定块。利用已知的景物结构信息。常用到标定块。石鑫华视觉网1）传统的摄像机标定方法）传统的摄像机标定方法优点优点 可以使用于任意的摄像机模型，标定精度高可以使用于任意的摄像机模型，标定精度高不足不足 标定过程复杂，需要高精度的已知结构信息。标定过程复杂，需要高精度的已知结构信息。在实际应用中很多情况下无法使用标定块。在实际应用中很多情况下无法使用标定块。石鑫华视觉网2）基于交比不变的摄像机畸变系数标定特点：将畸变参数单独进行

5、标定优点：算法简单，与其它内外部参数分离缺点：误差受样本点的影响石鑫华视觉网3、摄像机传统标定方法、摄像机传统标定方法3.1、DLT方法方法3.2、RAC方法方法3.3、张正友的平面标定方法、张正友的平面标定方法(ICCV,1999)石鑫华视觉网Abdal-AzizAbdal-Aziz和和KararaKarara于于7070年代初提出了直接线性变年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估像机成像几

6、何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。计完全可以由线性方程的求解来实现。3.1、直接线性变换（、直接线性变换（DLT变换）变换）石鑫华视觉网直接线性变换是将像点和物点的成像几何关系在齐次坐标下直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：写成透视投影矩阵的形式：DLTDLT变换变换其中其中 为图像坐标系下的点的齐次坐标，为图像坐标系下的点的齐次坐标，为为世界坐标系下的空间点的欧氏坐标，世界坐标系下的空间点的欧氏坐标，为为 的透视投影矩的透视投影矩阵，阵，为未知尺度因子。为未知尺度因子。石鑫华视觉网DLTDLT变换变换消去消去 ，可以得

7、到方程组，可以得到方程组:石鑫华视觉网当已知当已知 个空间点和对应的图像上的点时，可以得到一个个空间点和对应的图像上的点时，可以得到一个含有含有2*2*个方程的方程组：个方程的方程组：DLTDLT变换变换其中其中 为为 的矩阵，的矩阵，为透视投影矩阵元素组成的为透视投影矩阵元素组成的向量向量 。石鑫华视觉网DLTDLT变换变换 像机定标的任务就是寻找合适的像机定标的任务就是寻找合适的 ，使得，使得 为为最小，即最小，即 给出约束：给出约束：为为 的前的前1111个元素组成的向量，个元素组成的向量，为为 前前1111列组成的矩列组成的矩阵，阵，为为 第第1212列组成的向量。列组成的向量。向量的

8、比例有意义向量的比例有意义石鑫华视觉网摄像机内外参数求解摄像机内外参数求解是正交单位矩阵的第是正交单位矩阵的第三行，行列式为三行，行列式为1石鑫华视觉网摄像机内外参数求解摄像机内外参数求解石鑫华视觉网DLTDLT变换变换是否合理？是否合理？约束约束 不具有旋转和平移的不变性不具有旋转和平移的不变性,解将随着世解将随着世界坐标系的选取不同而变化界坐标系的选取不同而变化.证明：证明：世界坐标系作刚性坐标变换世界坐标系作刚性坐标变换则则显然在一般的情况下显然在一般的情况下石鑫华视觉网另一个约束另一个约束 具有旋转和平移的不变性具有旋转和平移的不变性DLTDLT变换变换由向量向量 ,是两两是两两垂直的

9、单位向量垂直的单位向量石鑫华视觉网3.2、R.Tsai 的的 RAC的定标算法的定标算法 80 80年代中期年代中期TsaiTsai提出的基于提出的基于RACRAC的定标方法是计的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除心是利用径向一致约束来求解除 （像机光轴方向的（像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它平移）外的其它像机外参数，然后再求解像机的其它参数。基于参数。基于RACRAC方法的最大好处是它所使用的大部分方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复

10、杂性，因方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。此其定标过程快捷，准确。像机模型 径向一致约束 定标算法 石鑫华视觉网理想图像坐标到数字图像坐标的变换理想图像坐标到数字图像坐标的变换（只考虑径向偏差只考虑径向偏差）像机模型(ud,vd)为一个点的数字化实际坐标，（为一个点的数字化实际坐标，（u,v）为理想的数字化坐标，（为理想的数字化坐标，（u0,v0）为畸变中心）为畸变中心（u0,v0）(ud,vd)（u,v）石鑫华视觉网径向一致约束 在图像平面上，点在图像平面上，点 ，共线，与共线，与直线直线 平行或斜率相等平行或斜率相等.理想透视投影成像坐标理想透视投影成像

11、坐标真实透视投影成像坐标真实透视投影成像坐标摄像机中坐标摄像机中坐标石鑫华视觉网世界坐标系和摄像机坐标系的关系世界坐标系和摄像机坐标系的关系像机模型uv由径向约束由径向约束石鑫华视觉网移项得：移项得：同除以同除以 得：得：写成矢量形式得：写成矢量形式得：石鑫华视觉网定标算法 1.利用径向一致约束来求解利用径向一致约束来求解 和和 定标步骤定标步骤:2.求解有效焦距求解有效焦距 、方向上的平移方向上的平移T T3 3 和畸变参数和畸变参数 石鑫华视觉网定标算法步骤一1.1.求解像机外参数旋转矩阵求解像机外参数旋转矩阵 和和 、方向上的平移和方向上的平移和（1）（2）石鑫华视觉网（3）（4）石鑫华

12、视觉网（5）确定确定 的符号并得到的符号并得到假定假定 为正，在标定点中任意选取一个点，进行如下计算为正，在标定点中任意选取一个点，进行如下计算若若计算计算石鑫华视觉网定标算法步骤二2.求解求解Tz,f,k（1）（2）石鑫华视觉网3.3、基于交比不变的摄像机畸变系数标定、基于交比不变的摄像机畸变系数标定 对于空间中同一直线上的四个点：对于空间中同一直线上的四个点：交比：交比：空间点透空间点透视关系：视关系：石鑫华视觉网对于空间四个点对应的理想图像点为：对于空间四个点对应的理想图像点为：对于空间四个点对应的实际图像点为：对于空间四个点对应的实际图像点为：石鑫华视觉网石鑫华视觉网张正友方法 3.4

13、、张正友的平面标定方法、张正友的平面标定方法石鑫华视觉网张正友方法基本原理：基本原理：在这里假定模板平面在世界坐标系在这里假定模板平面在世界坐标系 的平面上的平面上 其中，其中，为摄像机的内参数矩阵，为摄像机的内参数矩阵，为模为模板平面上点的齐次坐标，板平面上点的齐次坐标，为模板平面上点为模板平面上点投影到图象平面上对应点的齐次坐标，投影到图象平面上对应点的齐次坐标，和和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量平移向量H石鑫华视觉网根据旋转矩阵的性质，即根据旋转矩阵的性质，即 和和 ，每，每幅图象可以获得以下两个对内参数矩阵的基本约

14、束幅图象可以获得以下两个对内参数矩阵的基本约束由于摄像机有由于摄像机有5个未知内参数，所以当所摄取得的图象数个未知内参数，所以当所摄取得的图象数目大于等于目大于等于3时，就可以线性唯一求解出时，就可以线性唯一求解出张正友方法石鑫华视觉网张正友方法所用的平面模板张正友方法石鑫华视觉网算法描述张正友方法1.打印一张模板并贴在一个平面上2.从不同角度拍摄若干张模板图象3.检测出图象中的特征点4.求出摄像机的内参数和外参数5.求出畸变系数6.优化求精石鑫华视觉网张正友方法张正友方法张正友的平面标定方法是介于传统标定方法和自标定方法之张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既

15、避免了传统方法设备要求高，操作繁琐间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统面视觉系统(DVS)(DVS)的标定要求。的标定要求。张的方法是需要确定模板上点阵的物理坐标以及图像和模板张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。便。石鑫华视觉网孟胡方法所用的模版3.5、孟晓桥、胡占义的圆标定方法、孟晓桥、胡占义的圆标定方法石鑫华视觉网孟胡方法 从至少三个不同方

16、位拍摄模板图象，根据射影从至少三个不同方位拍摄模板图象，根据射影不变性计算出每幅图象上的圆环点像的坐标，不变性计算出每幅图象上的圆环点像的坐标，得到关于内参数矩阵的至少六个方程，即可解得到关于内参数矩阵的至少六个方程，即可解出所有内参数。出所有内参数。石鑫华视觉网孟胡方法计算圆环点像的原理：模板平面无穷远直线无穷远直线圆环点为无穷远点，它是绝圆环点为无穷远点，它是绝对二次曲线上的一对共轭点对二次曲线上的一对共轭点(1,i,0,0)(1,-i,0,0)是一对圆环点是一对圆环点石鑫华视觉网孟胡方法在图像上，两个圆环点的图像在图像上，两个圆环点的图像 被计算出，被计算出，则有：则有：石鑫华视觉网孟胡

17、方法孟胡的方法与张的方法相比：过程相似；所用的模版不同，孟胡的方法基于曲线拟合（稳定），并且不需要任何匹配，而张的方法基于点，需要匹配模版的点和图像点。石鑫华视觉网吴等的标定方法吴等的标定方法平行圆平行圆：同一个平面上的圆、或平行平面上的圆。：同一个平面上的圆、或平行平面上的圆。原理原理：利用摄像机成像的准仿射不变性，计算图：利用摄像机成像的准仿射不变性，计算图像上二此曲线的交点，得到圆环点的图像像上二此曲线的交点，得到圆环点的图像进而：进而：3.6、吴等的平行圆标定方法、吴等的平行圆标定方法石鑫华视觉网该方法从平行圆的最小个数出发，基于准仿射不该方法从平行圆的最小个数出发，基于准仿射不变性，

18、分析了所有可能情况的计算圆环点的方变性，分析了所有可能情况的计算圆环点的方法法吴等的标定方法吴等的标定方法a)The concentric caseThe line at infinityb)The inner-tangent caseThe line at infinityThe line at infinityc)The outer-tangent casee)The separate caseThe line at infinityThe line at infinityf)The enclosing but not concentric caseThe line at infinity

19、d)The intersecting case共面分布：共面分布：石鑫华视觉网吴等的标定方法吴等的标定方法以上可进行推广到非共面的平行圆的情形以上可进行推广到非共面的平行圆的情形石鑫华视觉网吴等的标定方法吴等的标定方法利用利用K重建一个垂直角；重建平行线之间的交角重建一个垂直角；重建平行线之间的交角重建的垂直角重建的垂直角89.28重建的平行角重建的平行角0.0000475石鑫华视觉网吴等的标定方法吴等的标定方法该方法和以往的基于圆的标定方法相比该方法和以往的基于圆的标定方法相比:(1).从最小个数出发从最小个数出发;(2).计算圆环点图像简单计算圆环点图像简单;(3).只需要从拟合的二次曲线

20、出发只需要从拟合的二次曲线出发,不需要任何匹配不需要任何匹配,不需要计算圆心不需要计算圆心;(4).应用场合广泛应用场合广泛,不仅仅限于平面的情形不仅仅限于平面的情形.可应用可应用基于转盘的重构。基于转盘的重构。石鑫华视觉网H.Wu,Q.Chen,T.Wada,Visual Line Estimation from a Single Image of Two Eyes.ICPR(3)2004.应用于:G.Jiang,L.Quan,H.T.Tsui,Circular motion geometry by minimal 2 points in 4 images,ICCV2003.自动化所一角(1

21、)视线定位视线定位(2)基于转盘的重建基于转盘的重建(3)车辆机器车辆机器人等的定位人等的定位石鑫华视觉网胡占义等的主动视觉标定方法基于平面单应矩阵的正交运动方法基于外极点的正交运动方法4、主动视觉标定方法、主动视觉标定方法石鑫华视觉网胡主动视觉标定方法基于平面单应矩阵的正交运动方法原理 是摄像机一组正交的平移运动，两个单应矩阵：满足：石鑫华视觉网胡主动视觉标定方法基于平面单应矩阵的正交运动方法原理即：，其中 五组两正交运动可完全求解5个内参数。石鑫华视觉网胡主动视觉标定方法 第1、2幅图像在第0幅图像的外极点分别是：则：基于外极点的正交运动方法原理012石鑫华视觉网胡主动视觉标定方法基于外极

22、点的正交运动方法原理 从而：五组两正交运动可完全求解5个内参数。石鑫华视觉网胡主动视觉标定方法 这两种主动视觉标定方法与最经典的主动视觉标定方法（马颂德的三正交运动法）相比，具有如下优点：照相机的二正交运动比三正交运动更容易实现。可以求解摄像机的所有5个内参数，马颂德的 方法可以求解4个内参数。石鑫华视觉网5.1、预备知识：、预备知识：什么是摄像机自标定什么是摄像机自标定？为什么要对摄像机进行自标定为什么要对摄像机进行自标定？对极几何对极几何 5.2、基于Kruppa方程的自标定方法 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系5、摄像机自标定方法、摄像机自标

23、定方法石鑫华视觉网摄像机自标定是指不需要标定块，仅仅通过图象点之间的对应关系对摄像机进行标定的过程。什么是自标定？什么是自标定？为什么要进行自标定？为什么要进行自标定？实际应用的需求，主要应用场所的转移优缺点：优缺点：优点：灵活，方便缺点：精度不太高，鲁棒性不足5.1、预备知识、预备知识石鑫华视觉网自标定的基本假设及任务自标定的基本假设及任务1、假定图象点之间的对应关系已经确定。2、一般来说，认为在拍摄不同图象时，摄像机的内参数没有发生变化3、所谓的自标定，就是要标定摄像机的内参数矩阵K石鑫华视觉网一些预备知识一些预备知识1、点的齐次坐标、点的齐次坐标二个齐次坐标如相差一个非零因子，则这二个齐

24、次坐标相同2、无穷远直线上的点、无穷远直线上的点如点 为无穷远直线上的点，则 t=0石鑫华视觉网一些预备知识一些预备知识3、通过二点的直线、通过二点的直线 如果如果 为二图象点，则通过为二图象点，则通过该二点的直线的参数向量为：该二点的直线的参数向量为：Lx1x2石鑫华视觉网一些预备知识一些预备知识反对称矩阵反对称矩阵（Anti-symmetric or Skew-Symmetric matrix)给定向量 ，其对应的反对称矩阵定义为：则对应任意的向量 b,有石鑫华视觉网一些预备知识一些预备知识对偶原理对偶原理如果 C为一非退化的图象二次曲线，即：则 过x 处的切线参数向量为：则 ,代入上式可

25、得：对偶线坐标曲线点坐标曲线石鑫华视觉网一些预备知识一些预备知识l1l2l3l1l2l3对偶曲线示意图C点坐标曲线对偶线坐标曲线x1x2x3石鑫华视觉网一些预备知识一些预备知识欧几理得空间下的投影矩阵欧几理得空间下的投影矩阵如果如果X 为空间某一点，两摄像机间的坐标变换为：为空间某一点，两摄像机间的坐标变换为：则欧几理得空间下的两投影矩阵为：欧几理得空间下的两投影矩阵为：K 为摄像机的内参数矩阵为摄像机的内参数矩阵其中其中 X为空间点，为空间点，ml,mr 对应于对应于X 的一对图象对应点的一对图象对应点投影关系石鑫华视觉网一些预备知识一些预备知识对极几何对极几何（Epipolar Geome

26、try)oIIMomm eel lN石鑫华视觉网一些预备知识一些预备知识基本矩阵的推导及形式基本矩阵的推导及形式F 的秩为的秩为2，F在相差一个常数因子下是唯一确定的。在相差一个常数因子下是唯一确定的。F 可以通过可以通过8对图象对应点线性确定。对图象对应点线性确定。石鑫华视觉网一些预备知识一些预备知识对极几何的一些代数性质对极几何的一些代数性质基本矩阵和外极点的关系基本矩阵和外极点的关系所有的外极线都过对应的外极点，外极点是光心连线所有的外极线都过对应的外极点，外极点是光心连线与图象平面的交点。对应外极线束构成一射影变换与图象平面的交点。对应外极线束构成一射影变换如果如果 m位于极线位于极线

27、l上，上，n 位于极线位于极线l上，上，m,n不一定不一定是对应点是对应点,下述关系仍然成立：下述关系仍然成立：石鑫华视觉网一些预备知识一些预备知识石鑫华视觉网一些预备知识一些预备知识中心投影下，如果中心投影下，如果射影平面与空间曲射影平面与空间曲线相切，则射影平线相切，则射影平面与图象平面的交面与图象平面的交线必与空间曲线在线必与空间曲线在图象平面上的投影图象平面上的投影曲线相切曲线相切图象平面空间曲线石鑫华视觉网一些预备知识一些预备知识绝对二次曲线绝对二次曲线 摄像机自标定的参考标定物摄像机自标定的参考标定物绝对二次曲线是无穷远平面上的一条二次曲线，它的绝对二次曲线是无穷远平面上的一条二次

28、曲线，它的数学定义为：数学定义为：石鑫华视觉网一些预备知识一些预备知识绝对二次曲线在图象上投影的性质绝对二次曲线在图象上投影的性质绝对二次曲线的象仅与摄像机的内参数有关，与摄绝对二次曲线的象仅与摄像机的内参数有关，与摄像机的运动参数无关像机的运动参数无关从定义 XTX0 知，给定正定矩阵给定正定矩阵 ，则，则 K 可以通过可以通过Cholesky 分解唯一确定分解唯一确定 石鑫华视觉网自标定的基本思路自标定的基本思路通过绝对二次曲线建立关于摄像机内参数矩阵的通过绝对二次曲线建立关于摄像机内参数矩阵的约束方程，称之为约束方程，称之为Kruppa 方程方程求解求解Kruppa 方程确定方程确定 矩

29、阵矩阵C通过通过Cholesky分解得到矩阵分解得到矩阵K如何进行石鑫华视觉网推导推导Kruppa 方程的示意图方程的示意图5.2、基于、基于Kruppa方程的自标定方法方程的自标定方法石鑫华视觉网Kruppa 方程方程x 为位于 ll 上的任意一点，则 ,则则对偶对偶石鑫华视觉网w w 的组成形式的组成形式对偶曲线对偶曲线石鑫华视觉网关于关于Kruppa 方程的几点说明方程的几点说明1、在Kruppa方程中，F,e 为已知数，w w 为未知数2、w w 有5个独立未知变量3、每个Kruppa方程最多可以提供2个关于未知变量的独立约束，约束方程为5元二次方程4、每对图象可以得到一个Kruppa

30、方程，故至少需要3对图象来标定摄像机，且摄像机的内参数必须保持不变5、假定内参数都在变，任意两幅图像间有两个独立的Kruppa方程，则 N(=3)幅图像之间有N(N-1)个Kruppa方程，其中只有5N-9个方程是独立的。石鑫华视觉网绝对二次曲面绝对二次曲面将世界坐标系取作第一个摄像机的坐标系，则绝对二次曲面是：其中 K1 是第一个摄像机的内参数，a 是无穷远平面的法向量。5.3、基于绝对二次曲面、基于绝对二次曲面、无穷远平面的自标定方法无穷远平面的自标定方法石鑫华视觉网绝对二次曲面定标方程绝对二次曲面定标方程 是射影重建，则有：石鑫华视觉网无穷远平面的单应矩阵无穷远平面的单应矩阵 是射影重建

31、，第1幅和第 i 幅图像之间的无穷远平面的单应矩阵是：石鑫华视觉网基于无穷远平面单应矩阵的标定方程基于无穷远平面单应矩阵的标定方程 方程是：xmmeeH33石鑫华视觉网 基于绝对二次曲面的标定方程与基于无穷远平面的标定方基于绝对二次曲面的标定方程与基于无穷远平面的标定方程完全等价。程完全等价。由绝对二次曲面的标定方程或无穷远平面的标定方程可以由绝对二次曲面的标定方程或无穷远平面的标定方程可以推出推出 Kruppa 方程。反之，对方程。反之，对Kruppa 方程添加一个方程方程添加一个方程后，可以推出绝对二次曲面的标定方程或无穷远平面的标后，可以推出绝对二次曲面的标定方程或无穷远平面的标定方程。定方程。5.4、几种自标定方程的关系、几种自标定方程的关系石鑫华视觉网