鱼眼图像校正及应用的数学建模-王晓波.docx

《鱼眼图像校正及应用的数学建模-王晓波.docx》由会员分享，可在线阅读，更多相关《鱼眼图像校正及应用的数学建模-王晓波.docx（55页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、鱼眼图像校正及应用的数学建模 Mathematical Modeling on Fisheye Images Correction and Its Applications 学科专业：计算数学 研究 生 ： 王 晓 波 指导教师：宋占杰教授 天津大学理学院 一五年五月二十五日 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人己经 发表或撰写过的研究成果，也不包含为获得 天津大 学 或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己 在论文中作了明确的说明并

2、表示了谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解天津大 学 有关保留、使用学位论文的规定。特 授权 天津大 学 可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向 国家有关部门或机构送交论文的复印件和磁盘。 (保密的学位论文在解密后适用本授权说明） 学位论文作者签名： 导师签名： 签字日期： 年 月 日 签字日期： 年 月 日 万方数据 摘要 摘 要 鱼眼镜头的光学特殊性质使得它们一般拥有 180度到 270度的超大视角，从 而广泛地被应用于银行、交通、学校等各个领

3、域的监控。它还可以应用于各种 类型的全景系统，具有覆盖全面、拼接简单、无盲区的特点。尽管拥有诸多优 点，但在使用鱼眼镜头拍摄图像时会不可避免地引入形变，拍出的鱼眼图像往 往有严重的畸变，为了增强图像的视觉效果，需要将畸变的鱼眼图像校正到无 畸变的正常视觉的透视图像，很多鱼眼图像的校正算法由此应运而生，包括全 局映射和局部保持的校正算法近些年被相继的提出。但是，所有的校正算法都 不能忽视一点，即鱼眼图像为球面，而校正后的图像为透视平面，由于球面不 是一个可展的曲面，球面和平面不是完全等价的，换句话说，任何鱼眼校正算 法都不可能完全地消除畸变。因此，越来越多的人们开始习惯并且接受这些带 畸变的鱼眼

4、图像，如在 Flickr网站上可以找到成千上万幅鱼眼图像，各种手机 也开始带有鱼眼镜头拍摄的功能，专业的摄影师们也更多地选择用鱼眼相机 拍摄图片。既然对鱼 眼图像产生的畸变永远无法完全消除，而人们又逐渐地习 惯于这种图像，本论文的主要目的是在研究校正算法的同时，从另一些角度或 者观点对鱼眼图像进行处理，而不仅仅单纯地对鱼眼图像进行校正处理。 本论文主要研究了鱼眼图像的校正算法，鱼眼图像的美化处理，鱼眼图像 的几何取证这三个方面。调研了目前关于平面透视投影图像的应用研究，包括 图像的美化和图像的取证，发现这些应用研究其实完全可以扩展到鱼眼图像 上，比如图像的美化，基于对鱼眼图像的认识，采用方向和

5、形状作为美化鱼眼 图像的准则，然后将鱼眼图像朝美化准则的方向进行处理 。对于鱼眼图像的取 证，由于鱼眼图像在几何上的特殊性，也可以利用一些几何的不变性质对鱼眼 图像被篡改的物体进行检测，如利用消失点进行检测。 本文的主要工作总结如下： (1) 对鱼眼图像的成像原理进行了分析和讨论，阐述了课题研究的背景及 意义，总结了目前对于鱼眼图像的研究现状，包括鱼眼校正算法研究现状和鱼 眼图像应用研究现状。 (2) 对有关鱼眼校正算法的相关文献进行了分析和总结，并针对鱼眼成像 特点扩展了相应的校正算法。 (3) 提出了鱼眼图像美化的概念，并且首次提出基于方向和形状的美化准 则，对偏离正常习惯的鱼眼图像进行美

6、化处理，以一种新的观点，新的视角去 处理鱼眼图像，扩展了编辑鱼眼图像的方法和工具。 (4) 利用几何上一些不变性质的约束，根据以前的文献，在检测鱼眼图像 被篡改的物体工作上，提出了简单有效，基于消失点的检测方法。 关键词 ：鱼眼镜头，鱼眼图像校正，鱼眼图像美化，鱼眼图像取证 万方数据 I ABSTRACT ABSTRACT Fisheye lens has a large view of 180 to 270 degree, for the particularity of its optical properties, which is widely used in different ki

7、nds of monitoring field, like bank, transportation, school, etc. It also can be applied to varieties of panorama system, with the superiority of simple fusion, full covering and no blind area. Despite the various of merits, they can not avoid the distortions when taking photos. Fisheye images always

8、 have large distortions. To enhance the visual effect of fisheye images, the distorted fisheye images need to be recovered to the undistorted normal visual images. Many correction algorithms have been proposed in recent years. However, all these correction methods can not ignore one point, that is n

9、one can avoid all the distortions caused by the fisheye lens. And typical users appear accustomed to and tolerant of these distortions. In addition, millions of circular fisheye images have been shared on the Internet like Flickr. Therefore, instead of correcting the distorted fisheye images, we att

10、empt to find another way to handle such images. In this paper, we mainly study three aspects including the algorithms of fisheye images correction, fisheye images beautification, fisheye images forensic. After investigating the current applications of perspective images, such as image beautification

11、, image forensics and so on, we find such applications can totally be extended to fisheye images. For example, we can also find some guidelines to beautify fisheye images and develop some forensics detecting methods by using the geometric invariant properties of fisheye lens. The main contributions

12、of this paper can be summarized as follows: (1) Analyzing and discussing the imaging principle of fisheye images, elaborating the research background and the significance, summarizing the current research on fisheye images, including correction algorithm and its application. (2) Summarizing the rele

13、vant literature on fisheye images correction algorithm, and extending the corresponding correction algorithm. (3) Putting forward the concept of fisheye images beautification, and first identifying the direction and shape as the guidelines of the beautification and facilitating a fisheye image editi

14、ng tool, extending the methods of editing fisheye images in a new perspective. (4) Using some invariant properties of geometric constraints, according to previous literatures, to detect the tampered objects in fisheye images, we then propose a simple and effective method, based on the vanishing poin

15、ts. KEY WORDS: Fisheye Lens, Fisheye Images Correction, Fisheye Images Beautifi cation, Fisheye Images Forensic 万方数据 II 巨 录 目 录 摘要 . I ABSTRACT . II 目录 . III 第 1章 绪论 . 1 1.1论文研究的意义 . 1 1.2国内外研究现状 . 2 1.3本文的主要内容及安排 . 3 第二章 鱼眼图像基础 . 4 2.1鱼眼镜头的成像模型 . 4 2.1.1 鱼眼镜头 . 4 2.1.2 坐标系 . 6 2.1.3成像过程 . 7 2.1.4鱼眼

16、图像的两条基本性质 . 9 2.2 本章小结 . 10 第三章 鱼眼图像校正 . 11 3.1全局校正算法 . 11 3.1.1基于几何模型的校正方法 . 11 3.1.2基于镜头标定的校正方法 . 16 3.2局部校正方法 . 20 3.2.1 Carroll校正算法 . 20 3.2.2 Jin校正算法 . 23 3.3 本章小结 . 25 第四章 鱼眼图像的美化 . 26 4.1图像美化的研究意义 . 26 万方数据 III _ 目 录 _ 4.2平面图像的美化 . 27 4.3鱼眼图像的美化 . 30 4.3.1鱼眼图像美化流程图 . 31 4.3.2鱼眼图像的摆正 . 31 4.3.

17、3结构感知的补全 . 32 4.4 本章小结 . 34 第五章 鱼眼图像的取证 . 35 5.1图像取证的研究意义 . 35 5.2基于平面反射几何性质的取证 . 36 5.3基于大圆弧的鱼眼图像取证 . 39 5.4基于消失点的鱼眼图像取证 . 42 5.5 本章小结 . 42 第六章 总结与展望 . 43 6.1 总结 . 43 6.2展望 . 44 参考文献 . 45 发表论文和参加科研情况说明 . 48 致谢 . 49 万方数据 IV 第 一章 绪 论 第一章 绪论 1.1论文研究的意义 随着计算机视觉系统的飞速发展，各种摄像机相关的监控系统也逐渐完 善，考虑到安装相机的成本和图像处理

18、算法上的复杂性，在一定范围内，安装 摄像机的数量越少，获取的信息越多越好 1 。这一般就要求相机采集的单幅数 字图像能够包含更广的视野信息。但是普通相机的拍摄视野一般只有 40度左 右 1，己经 无法满足所需求的视野。为了获得包含尽可能多的场景信息的数字 图像或视频，短焦距、大视野的鱼眼镜头在实际中的应用中越来越广泛，如 在 Flickr网站上也很容易找到摄影爱好者用鱼眼镜头拍摄的各种各样的鱼眼图 像 2。超广角鱼眼镜头一般可以拍摄 180度左右视野的场景，甚至有的鱼眼摄 像机可以达到 270度 3,4。一方面，鱼眼镜头的使用有效地解决了一般相机拍摄 的视角小问题，因为鱼眼的视觉具有信息量超大

19、、观察方便、实现成本低等优 点，在监控、机器人导航和虚拟现实等领域有着广泛的应用。鱼眼镜头也具有 其他优点如体积小、结构紧凑、不易损坏等优点 1 ，同时若考虑采用鱼眼镜头 构建的全方 位视觉可获得真正意义上的全景图像，不需要考虑图像拼接等问 题 3 。而另一方面，鱼眼镜头的使用，又不可避免地引进了各种类型的图像畸 变，包括常见的如桶形畸变，枕形畸变等等。若要利用这些畸变鱼眼图像里的 信息，则需将它们校正为人眼所习惯的平面透视投影图像。鱼眼镜头用于大范 围监控的示例如图 1-1所示，由图可知，鱼眼镜头有很大的视角，同时也看出 鱼眼镜头所拍摄的图片不符合人眼的习惯。因此，如何将鱼眼图像 校正为正

20、图 1-1 鱼眼摄像 机 的监控 万方数据 1 第一章绪论 常的平面透视投影图像具有很重要的研究意义，目前国内外也有大量的文献 去解决 5-1 。 然而，客观地上评价，考虑鱼眼图像时，将其校正为正常的透视投影图像 应当永远是被放在第一位的，在人眼主观意识上看到鱼眼图像的第一眼，我们 有强烈的愿望看到符合人眼习惯的图像。但是，现实的情况是无论何种校正方 法，校正之后的图像还是有畸变存在的，并且随着鱼眼镜头的广泛使用，越来 越多 的摄影爱好者，越来越多的普通人开始接受这样的一些畸变，在一些电影 (如智取威虎山）拍摄中，徐克导演就采用了鱼眼镜头拍摄了部分场景。本 质上说，鱼眼图像还是数字图像，只是与

21、一般透视投影图像的成像原理有所不 同，而导致最后拍摄出来的照片在视觉感官上有很大的差异。因此，对于一般 透视投影图像的各种应用研究，如图像拼接，图像美化，图像取证等等。这些 正常的平面透视投影图像的应用研究是否可以推广到鱼眼图像也是有重大研 究意义的。由于鱼眼图像的特殊性，在考虑扩展的应用研究时，将平面透视投 影图像的一些处理方法平移过 来使用显然不太符合鱼眼图像的实际情况，因 此， 本论文主要着重研究鱼眼图像的一些有意义的应用研究。 1.2国内外研究现状 目前鱼眼图像的研究主要集中在它的校正算法上，即如何将畸变的鱼眼 图像校正成平面透视投影图像。对鱼眼图像的校正，其相关理论的研究分析目 前来

22、说还相对分散。本论文在收集和整理相关文献资料的基础上，主要对于现 状校正算法的研究做一个整体的描述。从大类上来分，可分为全局投影和局部 保持两种校正模型。对于全局投影模型，一般又可分成基于几何模型的校正 和基于镜头标定方法的校正。局部保持校正算法主要是以 Carroll算法 8和 Jin算 法 9为主。 首先介绍基于几何模型的全局投影校正算法，一般又可分为 2D几何模型 和 3D几何模型， 2D几何校正直接对畸变的鱼眼图像上的点进行相应的坐标变 换，再投影到对应的校正图像上，然后再像素灰度插值。该 类方法由一般的 平面校正 11,1 2 ，发展到柱面校正 1 3 和经纬度坐标校正 1 4 。而

23、 3D几何校正，首 先把畸变鱼眼图像上的 2D点 (x, y)反投影到 3D自然场景点 (X, Y, Z)，再投影构成 的 2D平面点 (x,y)， 根据成像平面点和对应自然场景中 3D点之间的关系，来实 现鱼眼图像的畸变校正。球面投影模型是一种常见的 3D几何校正模型，它把 鱼眼镜头看作是一个球面，一般适用于圆形鱼眼图像，也可推广至全幅的鱼眼 图像，由英向华等人 6提出。另一种常见的模型是抛物面投影模型，该模型相 对来说更加复杂，它把鱼眼镜头视为一个抛物面，在场景深度恢复过程中一般 会有较为精确的效果，相关的研究可参看论文 15- 1 8 。 其次，介绍基于局部保持的校正算法，主要是 Car

24、roll算法 8和 Jin等人基 于 Carroll方法提出扩展的 Jin算法 9 。局部保持算法即定义根据用户指定一些场 景信息的能量函数，优化相关的能量函数得出最后的校正结果图。 最后，介绍了鱼眼图像的两个应用，一个是鱼眼图像的美化，一个是鱼眼 图像的取证。这两个应用不是很常见，但是对于鱼眼图像的处理非常重要，扩 万方数据 2 第一章绪论 展了鱼眼图像的处理方法。我们首次提出了鱼眼图像美化这样的一个概念，并 提出了相应的美化准则对鱼眼图像做美化处理 2。对于鱼眼图像的取证研究， 基于 Fu等人 1 9 的几何取证方法，提出了基于消失点的鱼眼图像取证方法。目前 主要是对鱼眼图像的其他应用研究

25、，包括鱼眼图像的拼接 20,21，鱼眼图像的全 景漫游 22,2 3 等等方面己有大量的文献做相关的研究，很少文献触及美化和取 证这两方面。 1.3本文的主要内容及安排 本文根据所介绍的鱼眼图像成像模型，主要研究了成像区域为圆形的圆 形鱼眼图像。目前关于鱼眼图像校正的方法也有很多，各个校正算法也各自有 自己的优缺点。但是不管怎样，校正之后的鱼眼图像还是包含一定程度的畸 变。同时， 随着鱼眼相机越来越多的使用，人们己经开始习惯并忍受带有畸变 的鱼眼图像，因此，可以尝试从其他的角度对鱼眼图像进行处理，而没有必要 非得对鱼眼图像进行校正，本文的第四章重点阐述了我们所提出的鱼眼图像 美化的概念，即我们

26、研究一些鱼眼图像的美化准则，然后根据这些准则来对鱼 眼图像做美化的处理。由此，我们想到了更多关于鱼眼图像应用的研究，如只 有很少文献研究如何利用鱼眼图像的内在几何性质去做被篡改物体的检测研 究。基于这些少量的工作，我们进行了总结，并提出利用消失点去检测鱼眼图 像中的被篡改物体。 本论文主要可分成 六章，各章的具体内容如下： 第一章：介绍了本论文的背景和研究意义，国内外的研究现状和论文的内 容和结构安排。 第二章：讨论了鱼眼图像的一些基础知识，包括鱼眼镜头，坐标系、成像 过程以及鱼眼图像的两条基本性质。 第三章：总结归纳了鱼眼图像的校正算法，将校正算法分为全局投影和局 部保持两大类的校正算法。

27、第四章：阐述鱼眼图像美化的概念，也是本文最重要的一个扩展应用，在 基于鱼眼图像校正之后还有畸变的存在，以及人们越来越习惯和能忍受鱼眼 图像所带来的畸变，这两条认识上，我们提出了对鱼眼图像做美化处理，用一 种新的视角去理解鱼眼图像，并提出了基于方向和形状的美化准则，增强鱼眼 图像的美观。 第五章：阐述鱼眼图像取证的相关工作，基于前人利用鱼眼图像基本性质 做鱼眼图像被篡改物体检测的工作，提出可以基于鱼眼图像其他性质做鱼眼 图像被篡改物体的检测工作，所提出的方法简单有效。 第六章：总结与展望，总结了本文目前所做的一些工作，展望了下一步的 研究方向。 万方数据 3 第二章鱼眼图像基础 第二草 鱼眼图像

28、基础 2.1鱼眼镜头的成像模型 2.1.1鱼眼镜头 鱼眼镜头是一种短焦距并且视角超大的一种相机镜头。它是一种特殊的 超广角镜头， ” 鱼眼镜头 ” 是俗称。为了能够让镜头在拍摄时达到最大的拍影视 角，鱼眼镜头的前镜片的直径一般很短并且呈拋物状向镜头前部凸出，与鱼的 眼睛有些相似，所以，它常被人们称为 ” 鱼眼镜头 ” 。它的视角一般超出人眼所 能看到的视角范围。因此，鱼眼镜头所拍摄的图片与人眼看到的真实世界场景 有着较大的差异，因为在实际中，人们看见的自然场景的景物都是正常规整 的，而鱼眼镜头拍摄的图像则明显地超出了这一范畴。图 2-1显示了目前市面 上一般售卖的鱼眼镜头。 图 2-1 鱼眼镜

29、头 鱼眼镜头由于视角范围大，为拍摄大视角的景物创造了优越的条件，鱼眼 镜头在接近物体拍摄时，能拍出强烈的透视感效果，使得拍摄的图像具有一种 强烈的感染力，并且由于鱼眼镜头具有相当长的景深，有利于拍摄出长景深效 果的图片。用鱼眼镜头拍摄的图片，图片中的畸变相当厉害。所以也常常被用 作拍摄特殊效果镜头，如在徐克导演的智取威虎山 （ 2014)中，该电影采用 了大量的鱼眼镜头拍摄。 镜头的焦距越短，则拍摄的视角就越大，因光学原理产生的图像畸变也 就越明显。为了能够拍摄超大视角的场景，设计鱼眼镜头时往往得在其他方 面作出牺牲，即允许畸变的合理存在。其设计结果就是拍摄的图片，中心的 一些景物保持大致不变外，图片其他地方的景物都发生了扭曲变化。由于这 种强烈的视觉刺激效果，摄影师们常用鱼眼镜头拍摄的图片来表达个人的 创造力、 想象力。不少摄影师还喜欢使用鱼眼镜的变形来营造视觉上的透视 万方数据 4