摄像机标定课件.ppt

《摄像机标定课件.ppt》由会员分享，可在线阅读，更多相关《摄像机标定课件.ppt（57页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、摄摄像机像机标标定定第1页，此课件共57页哦 摄像机标定是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。摄像机需要标定的模型参数分为内部参数和外部参数。第2页，此课件共57页哦3.1 3.1 基于基于3D3D立体靶标的摄像机参数标定立体靶标的摄像机参数标定v将一个如图所示的将一个如图所示的3D3D立体靶标放置在摄像机前，靶标上每一个小方立体靶标放置在摄像机前，靶标上每一个小方块的顶点均可作为特征点。块的顶点均可作为特征点。第3页，此课件共57页哦v基于基于3D3D立体靶标上特征点直接求解摄像机线性和非线性模型立体靶

2、标上特征点直接求解摄像机线性和非线性模型参数是较为传统的方法。参数是较为传统的方法。v对于每一个特征点，其相对于世界坐标系的位置在制作时应精确对于每一个特征点，其相对于世界坐标系的位置在制作时应精确测定。摄像机获取该靶标上特征点的图像，由靶标上特征点的世测定。摄像机获取该靶标上特征点的图像，由靶标上特征点的世界坐标和图像坐标即可计算出摄像机的内外参数。界坐标和图像坐标即可计算出摄像机的内外参数。第4页，此课件共57页哦What cues in the image provide 3D information?Shading(阴影)Recovering 3D from images第5页，此课件

3、共57页哦Texture（纹理）第6页，此课件共57页哦Focus（焦点）第7页，此课件共57页哦Motion（运动）Shape From XX=shading,texture,focus,motion,.第8页，此课件共57页哦Multi-View Geometry3D World PointsCamera OrientationsCamera Centers第9页，此课件共57页哦v 3D World Pointsv Camera Centersv Camera Intrinsic Parametersv Camera OrientationsCamera Orientations（外方位

4、）:相机的透视中心坐标 x,y,z和相机的方位角(,)Camera Intrinsic（内方位）Parameters:principal piont（主点）u,v and principal length（主距）(f)and some lenss distortion parameters（透镜畸变参数）第10页，此课件共57页哦scene pointoptical centeroptical centerimage planeimage planeGives reconstruction as intersection of two rays第11页，此课件共57页哦1)world coor

5、dinate system(O-Xw,Yw,Zw)A(XW,YW,ZW)S1S22)image plane coordinate system(X,Y)3)image space coordinate system(S-x,y,z)a1(X1,Y1)a2(X2,Y2)fthe direction of Z is the direction of the principal ray of lensA(x,y,z)第12页，此课件共57页哦relationship of image plane coordinate system(X,Y)and image space coordinate sys

6、tem(S-xyz)Image planeVirtual imagexzfXobject plane第13页，此课件共57页哦relationship of image plane coordinate system(x,y)and image space coordinate system(S-XYZ)Sa(x,y)A(x,y,z)fz第14页，此课件共57页哦第15页，此课件共57页哦Calibration（标定）questions:1.How many target points are needed at least?2.How many cameras are needed at l

7、east?3.parameters mij have any physics significance?4.What functions does the accuracy of system relate to?第16页，此课件共57页哦一、线性模型摄像机标定一、线性模型摄像机标定v摄像机像机线性模型如下：性模型如下：第17页，此课件共57页哦v如果靶如果靶标上有上有n个特征点，并已知它个特征点，并已知它们的空的空间坐坐标与它与它们的的图像点坐像点坐标，我，我们可以可以采用采用直接直接线性性变换（Direct Linear Transformation,DLT）方式来解出方式来解出M矩矩阵元

8、元素。素。对于于n个特征点，个特征点，则有有2n个关于个关于M矩矩阵元素的元素的线性方程性方程:第18页，此课件共57页哦第19页，此课件共57页哦vM矩矩阵乘以任意不乘以任意不为零的常数并不影响零的常数并不影响与与的关系，因此，可以定的关系，因此，可以定，得到关于矩，得到关于矩阵其它元素的其它元素的2n个个线性方程性方程，未知元素的个数，未知元素的个数为11个，个，记为11维向量向量m m,上式可上式可简写成写成其中，其中，K K为左左边矩矩阵；m m为未知的未知的11维向量；向量；U U为右右边的的2n维向量；向量；K,UK,U为已知向量。已知向量。对于上式，可以利用于上式，可以利用线性方

9、程性方程组的常的常规解法求解法求出出M M矩矩阵。当当时，我，我们可用最小二乘法求出上述可用最小二乘法求出上述线性方程的解性方程的解为 第20页，此课件共57页哦结论：结论：v由空由空间6个以上已知点与它个以上已知点与它们的的图像点坐像点坐标，可求出，可求出M矩矩阵。在一。在一般的般的标定工作中，靶定工作中，靶标上上有数十个已知特征点，使方程的个数上上有数十个已知特征点，使方程的个数大大超大大超过未知数的个数，从而用最小二乘法求解以降低未知数的个数，从而用最小二乘法求解以降低误差造成差造成的影响。的影响。第21页，此课件共57页哦v 作业题：根据给定靶标坐标以及像面点坐标，求解投影M矩阵。第2

10、2页，此课件共57页哦求出求出M矩矩阵后，后，还需要算出需要算出摄像机的全部内外参数。由下式像机的全部内外参数。由下式 将将M矩矩阵与与摄像机内外参数的关系写成像机内外参数的关系写成第23页，此课件共57页哦u比较上式两边可知 ，由于 是正交单位矩阵的第三行，因此，从 求出 。第24页，此课件共57页哦 由以下式子可求得第25页，此课件共57页哦 讨论：（1）MM矩阵中各参数的物理意义：M矩阵代表了摄像机参数，但这些参数没有具体的物理意义，称为隐参数（implicit parameter）。在许多应用场合（如立体视觉），计算出MM矩阵后，不必要再分解求出摄像机内外参数，在有些应用场合（如运动分

11、析），则需要将MM矩阵分解，从而求出摄像机的内外参数。（2）MM矩阵各变量之间的关系：MM矩阵由10个独立变量所确定。可指定为任意不为零的常数，故MM矩阵由11个参数决定，可见这11个参数并非互相独立，存在着变量之间的约束关系。v求解MM矩阵时加上约束条件第26页，此课件共57页哦二、非线性模型摄像机标定二、非线性模型摄像机标定v针对3D立体靶立体靶标上的特征点，用上的特征点，用线性模型首先性模型首先计算出算出线性模性模型的参数，作型的参数，作为近似初近似初值，再用迭代的方法，再用迭代的方法计算精确解，是非算精确解，是非线性模型性模型摄像机像机标定定较为有效的方法。有效的方法。第27页，此课件

12、共57页哦v 透镜非线性畸变模型v 径向畸变v 切向畸变第28页，此课件共57页哦v摄像机像机线性模型性模型：v 取取，上式可写成，上式可写成第29页，此课件共57页哦v加入畸加入畸变，摄像机非像机非线性模型性模型：第30页，此课件共57页哦三、立体视觉摄像机标定三、立体视觉摄像机标定A(XW,YW,ZW)S2a1(X1,Y1)a2(X2,Y2)fA(x,y,z)O1 O2 第31页，此课件共57页哦对于两个摄像机，分别存在：第32页，此课件共57页哦得到关于X、Y、Z的四个线性方程：v 由解析几何知，三维空间的平面方程为线性方程，两个平面方程的联立为空间直线方程（两个平面的交线）。v 上述两

13、式的几何意义：过O1a1 和O2a2的直线。v 空间点A为两直线的交点。v 联立求解即可求出A点的坐标。第33页，此课件共57页哦 利用透视变换矩阵进行摄像机标定的缺点是没有考虑镜头的非线性畸变，精度不高。利用非线性优化进行摄像机标定，虽然精确设计了摄像机模型，但是非线性求解的结果取决于设定的初始值。如果设定的初始值不合适，那么就很难得到正确的结果。而Roger Tsai于1986年提出的两步标定方法就是将二者结合起来的方法。先利用直接线性变换方法或透视投影变换矩阵求解摄像机参数，然后以求得的参数作为初始值，考虑摄像机畸变因素，利用非线性优化方法进一步提高标定的精确度。目前普遍采用的两步法是利

14、用成像几何中的某些内在性质和关系先求一部分参数，然后利用这些已求出的参数来求解其它参数。Tsai提出的两步法就是基于径向校正约束(RAC.Radial Alignment Constraint)的标定法。基于径向校正约束(RAC)的两步标定法的第一步是用最小二乘法求解线性方程组，得出摄像机外部参数；第二步求解摄像机内部参数，如果摄像机无透镜畸变，则可由一个线性方程直接求出。这个过程所求解的内外部参数分别为焦距不径向畸变因子k，旋转矩阵R和平移向量t。3.2 3.2 基于径向约束的摄像机标定基于径向约束的摄像机标定引言引言：第34页，此课件共57页哦3.2 3.2 基于径向约束的摄像机标定基于径

15、向约束的摄像机标定R.TsaiR.Tsai的的RACRAC标定方法简介：标定方法简介：80 80年代中期年代中期TsaiTsai提出的提出的RACRAC标定方法是计算机视觉标定的一标定方法是计算机视觉标定的一项重要工作，该方法的核心是利用径向一致性约束来解除项重要工作，该方法的核心是利用径向一致性约束来解除 (相机光轴方向的平移相机光轴方向的平移)外的其他相机外参数，然后再求解相机的其外的其他相机外参数，然后再求解相机的其他参数。基于他参数。基于RACRAC方法的最大好处是他所使用的大部分方程是线性方方法的最大好处是他所使用的大部分方程是线性方程，从而减低了参数求解的复杂性，因此其标定过程快捷

16、、准确。程，从而减低了参数求解的复杂性，因此其标定过程快捷、准确。第35页，此课件共57页哦v 相机模型v 径向一致约束v 标定算法第36页，此课件共57页哦v 相机模型世界坐标系和摄像机坐标系的关系第37页，此课件共57页哦实际图像坐标 到计算机图像（帧存）坐标 变换为：式中：，、分别为摄像机在X、Y方向的像素间距，为在X方向的像素数，为在X方向采集到的行像素数，为图像尺度因子或称纵横比，为光学中心 ，(5.23)第38页，此课件共57页哦v 径向一致约束（径向一致约束（Radial Alignment ConstraintRadial Alignment Constraint，RACRAC

17、）v 仅存在径向畸存在径向畸变v 由由RAC约束推束推导出的关系出的关系式与有效焦距与径向畸式与有效焦距与径向畸变系系数无关。数无关。第39页，此课件共57页哦v 由RAC约束，则存在v 在图像平面上，理想成像点、实际成像点与图像中心（通常把图像中心取作畸变中心和主点中心），则有第40页，此课件共57页哦列矢量 为代求参数。(5.22)第41页，此课件共57页哦v 标定算法：设采用N个非共面点进行标定，计算机图像坐标为 ，相应三维世界坐标为 ，则标定的过程分以下两步实现：1.利用径向约束求解R,T中的2.求解有效焦距f ,T中的第42页，此课件共57页哦步骤一：利用径向约束求解R,T中的(1)

18、设sx=1,由获取的计算机图像坐标 计算实际图像坐标(2)由径向约束条件，式（5.22）可写成由至少7组对应点，可以求得一组解：第43页，此课件共57页哦（3）令：由于：第44页，此课件共57页哦（4）由此可计算：（5）由下列方法确定 的符号并同时得到 及 v若若 与与 x 符号相同且符号相同且 与与y符号相同，则符号相同，则 符号为正，否则，为负符号为正，否则，为负第45页，此课件共57页哦步骤二：求解f、(1)则有结合以下公式v得到f和第46页，此课件共57页哦（2）将f、求解下面非线性方程组 v 优化计算后得到精确解优化计算后得到精确解第47页，此课件共57页哦3.3 3.3 基于基于2

19、D2D平面靶标的摄像机标定平面靶标的摄像机标定张正友的张正友的2D2D平面靶标标定方法简介：平面靶标标定方法简介：要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和要求摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和2D2D平面靶标都可以自由地移动，不需要知道运动参数。在标定平面靶标都可以自由地移动，不需要知道运动参数。在标定过程中，假定摄像机内部参数始终不变，即不论摄像机从任何过程中，假定摄像机内部参数始终不变，即不论摄像机从任何角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生变化。变化。第48页，此课件共57页哦张正友的

20、基于平面方格点的标定方法张正友的基于平面方格点的标定方法第49页，此课件共57页哦基本原理：空间点M与图像点m之间的射影关系为也可写为第50页，此课件共57页哦靶标平面上的点M与对应的图像点m之间存在一个矩阵变换H，则，则第51页，此课件共57页哦其中平移向量 为从世界坐标系的原点到光心的矢量，为图像平面两个坐标轴在世界坐标系中的方向矢量，显然 位于 构成的平面上，由于 与 正交，因此 。又由于 ，所以 。第52页，此课件共57页哦根据 以及R的正交性 每幅图像可得到两个对内参数矩阵的基本约束摄像机有5个内参数，因此当拍摄的图像大于3幅时，就可以线性唯一确定A第53页，此课件共57页哦标定算法

21、步骤：标定算法步骤：v 打印一张模板并贴于一个平面上v 从不同角度拍摄若干张图像v 检测出图像特征点v 求出相机的内外方位参数v 求畸变系数v 优化求精确解第54页，此课件共57页哦标定算法步骤：标定算法步骤：v 打印一张模板并贴于一个平面上v 从不同角度拍摄若干张图像v 检测出图像特征点v 求出相机的内外方位参数v 求畸变系数v 优化求精确解第55页，此课件共57页哦思考题：思考题：1.已知立体标定靶6个标定点的三维坐标，给定一幅图像，已知6个标定点的图像坐标，请编制一个程序来标定这个摄像机的内部参数，并编制一个验算程序将所有标定点投影到图像平面，检查各标定点的投影点是否与对应的图像点相重合。2.在RAC两步法中，是在假定 为计算机屏幕的中心点坐标的前提下获得参数 及 ，这样势必导致上述参数标定误差，试考虑如何获得更加准确的标定参数？第56页，此课件共57页哦第57页，此课件共57页哦