利用普通数码相机制作全景图研究.docx

《利用普通数码相机制作全景图研究.docx》由会员分享，可在线阅读，更多相关《利用普通数码相机制作全景图研究.docx（29页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、利用普通数码相机制作全景图研究摘 要全景图像（Panorama）通常是指大于双眼正常有效视角(大约水平90度,垂直70度）或双眼余光视角（大约水平180度，垂直90度），乃至360度完整场景范围拍摄的照片。除了利用特殊的设备来获取全景图像，目前多采用图像拼接技术。即用普通数码相机配合三脚架拍摄一组有一定重叠度的相片，并利用软件将这些相片拼接成一副高质量的图像。这是当前图像处理的一个热门研究课题。也是基于图像绘制的一部分，适用性很强，应用于虚拟漫游、数字娱乐、旅游展示、远程教育、电子商务等领域。制作一幅完整全景图包括源图像的采集、特征点的提取、特征点的匹配、图像拼接和融合和全景图像后处理.本文就

2、基于SIFT特征的匹配算法和柱面360全景图像的生成方法进行了简单的介绍.并利用ArcSoft Panorama Make 5软件对源图像进行处理,得到一幅完整的全景图像。本文实验采集了河南理工大学部分区域的全景图像，并发布到了IE平台上,使得全景图的浏览更具有友好性和沉浸感。关键词：全景图像，柱面全景图，SIFT，拼接ABSTRACTThe panorama usually refers to the photos taken from the angle which is greater than the available vision angle of eyes（horizontal

3、90,vertical 70）or split vision angle of eyes(horizontal 180，vertical 90），or even the whole scene domain of the angle of 360 。 The image splicing technology is more adopted current except using the special equipment to acquire the panorama.That means the general digital camera coordinating with tripo

4、d will take a series of photos with some degrees of overlap and make use of the software to knit these pictures into one highgrade image.This becomes a hot issue for investigation of image processing in modern society，and is also the part of imagebased rendering,which is widely used in the areas of

5、virtual walkthrough，digital entertainment，journey displays，distance learning and the e-business and so on。 To make a complete panorama includes collecting the source image,drawing and matching the characteristic points，splicing and inosculating the images and reprocessing the panorama。This article m

6、akes simple introduction ，which is based on the matching algorithm of SIFT characteristic and the generation method of cylinder 360.And it makes use of the software ArcSoft Panorama Make 5 to process the source image，from which getting a complete panorama。The experiment of this article adopts the pa

7、norama of the subregion of Henan University of Science and Technology and post it on the IE platform，so as to make the panorama more friendly and have the immersion。Keywords：Panorama，Cylinder panorama,SIFT，Splicing目 录26 / 29第一章 绪论11.1课题的研究背景和意义11。2全景图技术的研究状况及应用11.2。1 全景图的国外研究现状11。2.2 全景图的国内研究现状31。3

8、论文的主要工作4第二章 全景图拼接相关技术简介52.1 全景图的定义和类型52。2 图像的获取方式62。3 普通数码相机获取全景图像的方法62.4 柱面投影算法7第三章 基于SIFT特征的匹配算法113。1 基于SIFT特征匹配拼接全景图的流程113.2 图像预处理113.3 基于SIFT特征点的提取算法和匹配123。3.1 最近邻算法133。4 图像融合133.5 柱面全景图的生成14第四章 全景图成果的实现164.1采集源图像164.2合成全景图174。3成果的发布20第五章 总结和展望215。1 总结215.2 展望21参 考 文 献23第一章 绪论1.1课题的研究背景和意义全景图生成技

9、术，他是基于IBR的虚拟现实场景和虚拟漫游的基础。全景图像可以使用户在虚拟场景交互式浏览中较好的沉浸感,并可以让用户在多个场景之间自由切换漫游,利用计算机视觉的方法，从两个节点之间产生新的中间视点图像，通过在全景图像中的漫游可以使用户能够主动的从不同观察点和方向了解环境。生成全景图的方法，通常有三种：一是利用专用照相设备,例如全景相机，带鱼眼透镜的广角相机等.其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用.二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制,而且可以绘制出复杂的

10、场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片,并利用一定的算法将这些照片拼接起来，从而生成全景图。此方法不需要投入较大的设备资金，并且随着具有拍摄功能的便携式数字终端产品的日益普及，甚至还包括了具有拍摄功能的手机，使得采用手持普通数码相机或手机的的方式获取全景图素材并进行拼接显示成为学校虚拟漫游、数字娱乐、旅游展示、远程教育、电子商务等领域更具有发展潜力的素材展示形式。本文将对学校的虚拟漫游中的全景图生成技术进行研究。1。2全景图技术的研究状况及应用1.2.1 全景图的国外研究现状近年来随着图像处理技术的研究和发展，图像

11、拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点，本文将采用ArcSoft Panorama Maker软件对采集到的图像进行处理。图像拼接的核心技术是图像配准技术，配准算法的好坏直接影响到全景图的真实感和生成过程的实时性。如何确定图像问的对应关系模型中的参数就是图像配准所要完成的工作,根据图像配准的方式大致可以将图像拼接技术分为三大类：相位相关度法、基于区域的方法和基于特征的方法1。 相位相关度法最

12、早在1975年由Kug1in和Hines提出，具有场景无关性，能够将纯粹二维平移的图像精确的对齐2。后来,De Castro和Morandi发现用傅立叶变换确定旋转对齐，就像确定平移对齐一样3。1996年,Reddy和Chaterji改进了De Castro的算法4,大大减少了需要转换变量的数量。两幅图像的平移矢量可以通过它们互功率谱（Cross Power spectrum)的相位直接计算出来。应用傅立叶变换进行图像的配准是图像拼接领域的研究成果，而且随着快速傅立叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展5。 基于区域的配准方法是在参考图像中选出一

13、个大小为MN的窗口,该窗口区域即为模板。然后在待配准图像中选择足够大的搜索区域，将模板在搜索区域中移动时所覆盖的区域及模板进行相似性比较，寻找相似性最大的区域，该区域即为所要寻找的区域。常用的相似性度量主要有：归一化函数(normalized cross-correlation function)6、相关系数（correlation coefficient）、差平方(sequential similarity）7,8,和最小二乘匹配（1eastsquarcs matching)。早期的图像配准算法大都是基于区域的，因为该算法简单易于硬件实现；另一方面，医学图像由于纹理特征不是很丰富，所以也多采

14、用这种算法，但是这种算法不适合待拼接度图像中存在较大的旋转和不同视角等情况9. 基于特征的图像配准算法是图像拼接技术的另一研究热点.在这种方法中，首先要对图像进行处理，提取满足特定应用要求的特征，然后利用特征之间的对应关系来确定模型中的参数.目前大多数文献都是采用的点特征进行图像问的配准来实现图像的镶嵌10-12,目前特征点提取算法已经比较成熟。2000年，Frauk Nielsen针对Haussdorf匹配算法和瓶颈匹配算法的缺陷，提出了基于桶状模型的角点匹配策略13，用来解决大角度旋转图像的配准拼接问题。2003年，MBrown发表了全自动的图像拼接算法的文章14，使用捆绑调整技术，解决图

15、像拼接中经常会出现的叠加误差现象。2004年,David G Lowe采用了具有尺度不变性的SIFT角点提取算法15，Matthew Brown则在特征点匹配过程中采用了椭圆限制条件和k-d树算法16来解决图像多视角配准问题。2006年,Jani Boutellier就部分视频模糊图像拼接进行了研究17.首先将视频序列的各帧图像依次进行配准注册，确保相邻两帧图像之问有尽可能大的重叠区域,注册的同时计算出运动模糊物体的总量;然后根据视频序列图像中的运动物体总量和配准注册的质量来选择用于最终图像配准融合的帧图像；最后将所选择的帧图像进行配准融合消除接痕。2007年，Matthew采用概率模型确定一

16、组无序图片的正确顺序并可以检测出噪声图像，实现了无序图像的自动拼接18。1。2.2 全景图的国内研究现状在国内，图像拼接技术起步相对较晚,但很快迅速发展了起来。杨承磊等提出了一种全景图拼接方法19，允许所拍照片有一定摇晃和倾斜，克服了采用普通三角架拍摄的照片的必须保持轴心一致性的问题，允许照片之间有一定色差。对于一般的全景图拼接，在图像配准时,都是假设两幅图像拍摄时的光照条件没有变化。但是这个假设并不总是成立，在光照条件变化或照相机曝光参数变化时,这样的拼接算法可能会出现较大误差.即使采用了直方图均衡等技术来消除这种亮度差别，效果也不是很好。为此程兵等提出了在这种情况下正确拼接全景图的方法20

17、。封靖波等针对柱面全景图提出了一种基于最大梯度的匹配方法21，通过寻找按列梯度最大点，建立两条曲线，然后确定这两条曲线最相似的部分，从而找到两幅图像的匹配位置,同时通过简化匹配策略减少了计算量。韦群等针对立方体全景图进行了研究，提出并实现了一种对立方体全景图进行重投影的基本算法22。另外，在此基础上又提出了加快算法，并对图像进行了反走样处理.付厚超等针对绕固定点在水平面内旋转拍摄的一组图像样本,提出一种新的算法23：先对折叠变换后的图像样本进行平滑处理,去掉其中过多的细节,然后采用边缘检测的方法锐化其垂直边缘特征(因为相机是水平旋转的，所以图像的垂直边缘就成了匹配中的重要特征），最后根据图像样

18、本之间平移相关的关系,利用图像样本重叠部分差值图像的最小值,有效地实现了全景图像的自动拼接。王琰等提出了一种基于熵的全景图拼接算法24,利用现有的基于小波的角点提取算法获得兴趣点，同时保留其所在的边缘信息，然后通过对图像局部熵做改进来获得候选匹配点，最后去除伪匹配进而获得最终精确匹配。1。3 论文的主要工作 本文的主要研究内容是利用普通数码相机配合固定的三脚架拍摄的一系列图片进行基于图像的柱面全景图的生成算法的研究。 构造全景图的步骤是；利用普通数码相机拍摄全景以获得所需素材；用投影变换将原始图像投影到同一坐标空间；将相邻图像重叠处拼接合成；重叠处经融合处理,完成360度全景图像的生成；最后,

19、将生成的图像反投影到二维平面中,以供用户查看。 本文将依照全景图拼接的各个基本步骤详尽地进行介绍。对一些步骤，介绍传统算法的发展历史，针对目前常用的算法做细致的分析介绍，并加以实践证明其可用性。其中，所做主要工作如下： 第一，对原始图像进行柱面投影时,本文采用基于平面图的柱面投影算法实现了这个变换，获得了较高质量的柱面图，为下一步的拼接做好了准备。第二,在图像拼接阶段，图像拼接的速度及拼接的准确性是基于图像的虚拟现实中极为重要的研究内容，通过对已有各种匹配算法的研究和分析,为了加快相邻像的拼接速度,本文采用了基于SIFT特征的匹配算法并接定位. 第三，匹配完成后通过对重叠区域的平滑处理实现了图

20、像间的无缝拼接。 第四，将制作完成的全景图通过IE平台发布出去。 通过对实景图像的柱面投影、拼接和融合匹配就获得了360度的全景图片.第二章 全景图拼接相关技术简介2.1 全景图的定义和类型全景图像（Panorama）通常是指大于双眼正常有效视角(大约水平90度，垂直70度）或双眼余光视角（大约水平180度，垂直90度)，乃至360度完整场景范围拍摄的照片。全景图是一种全新的图像信息组织模式，可以表达完整的周围环境信息,相当于人们从一个固定点向四周转一圈所看到的景象。全景图像对于观察者而言，是建立在图像上立体的多角度的图形环境;相对于传统的几何建模而言，全景图模型不仅真实感强，而且它的细节复杂

21、性丝毫不影响其运行速度,所以全景图比基于几何的VR建模方法具有更突出的优点。全景图主要有以下几种类型： 1)柱面全景图技术较为简单,发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面,所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单.在大多数实际应用中,360度的

22、环视环境即可较好地表达出空间信息,所以柱面全景图模型是较为理想的一种选择。2)立方体全景图由六个平面投影图像组成,即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片,获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心,将图像投影到球体的内表面。及立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式

23、较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像,而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程,同时也很难找到及球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 2。2 图像的获取方式图像的获取方式有很多，图像获取方式的不同导致输入的图像不同.从而最终的拼接结果也不相同目前有很多方法可以获得全景图,主要包括以下三种方式（1)利用全景相机来直接采集一张柱面全景图像。该方法需要使用特殊设备， 不仅价格昂贵而且使用复杂; （2)利用配备较大视域的镜头如鱼眼镜

24、头拍摄。这种方法拍摄的图像中存在大的变形,将其用于生成球面全景图之前必须进行校正和变换； (3）利用普通数码相机拍摄的全景图是一种随着具有拍摄功能的数码产品的日益普及而发展起来的新的全景图类型。它的图像素材获取方式比较简单，即普通数码相机原地旋转拍摄，或按一定的路线平行于对象拍摄，非常适用于数码产品灵活多样的拍摄。但是拼接普通数码相机拍摄的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差.沿一定路线移动时，类似于平移拍摄，控制距离和保持相同的成像平面也很困难。为了减少这些影响，可以增加重叠大小,使照相机旋转角度、平移减小

25、，从而减少相邻图像之间的不连续程度。但是，通过普通数码相机采集图像容易管理，在很多情况下也很容易实施，特别是在一些安置三角架或滑轨非常困难的情况下，如果通过普通数码相机合理拍摄的话，同样能获得较好效果的全景图。本文对这种方法进行探究。2。3 普通数码相机获取全景图像的方法利用普通数码相机获取图像是，主要采用一下三种方法1旋转照相机拍摄 首先将照相机放在固定好的三脚架上。拍摄时,照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片.拍摄得到一系列照片中相邻两张必须有部分重叠,重叠区域大小是图像拼接最重要的影响因素，重叠比例越大，拼接就越容易。旋 转照相机拍摄由于相机固定，较容易实现。 2平移照相机

26、拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦距的情况下，照相机放置在一个滑轨上移动拍摄。物体和照相机的距离远近，或者拍摄物体的大小都会影响到最后的拼接结果。这种情况的缺点是：拍摄的相片在 一个平面上，全景图的三维感觉不如旋转拍摄的效果好。 3手持照相机拍摄 手持照相机拍摄这种方法比较容易做到，手持照相机原地旋转拍摄,或者按一定的路线平行于对象拍摄.但是,拼接手持照相机的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄,但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄,控制距离和保持相同的成像平面是很困难的. 本

27、文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠 (一般是3050)，以便于拼接而得到全景图像.另外，拍摄时还需特别注意天气和人员流动的影响，这样可能会导致拼接图像产生错误信息。尽量避免选择太阳光强烈或多云的天气（强烈的太阳光可能会使某些视点处采集的照片因逆光现象而不利于后期的处理；多云阴天时各视点处的照片容易出现亮度的较大变化）,以及人员流动量较大(可能出现某个人在多处视点的照片中出现）等问题。2.4 柱面投影算法柱面全景图的正投影是指将平面照片投影到柱面形成全景图的过程；反投影是将柱面全景图在某个特定的观察区域投影到柱面的切平面上供屏幕显示的过程。有很多文献都给出了正投影及

28、反投影的变换公式. 实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上,以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的像素点在视点空间中的位置信息. 数码相机拍摄的一张实景图像I，P（x,y)是实景图像上的任意一个像素点。P在照相机坐标系下的坐标为:P（xW/2,y-H/2,f)其中，W和H分别是实景图像I的宽度和高度. 柱面正投影示意图如图2。1所示.XYOQZW图2.1 柱面投影示意图H 照相机坐标系原点及像素点P的直线方程可以表示为参数方程的形式u=t（xW/2） （2-1)v=t(y-H/2) （2-2)w=t（f

29、） (23）其中以数码相机的像素焦距f作为圆柱面的半径,t是参数.圆柱面可以表示为：u2+w2=f2联立以上两个方程,可以求得: （24） （2-5) (26）（u,v,w）是像素点(x,y）在圆柱面上的投影点Q的参数坐标,把所有这样的投影点组合在一起便得到全景图像.但是,参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。为了便于存储，将此三维坐标转换为二维图像坐标。根据以下方程，可以求得像素点Q的二维坐标为（x1,y1)： （27） （2-8）显然同一条垂直线上的两个像素点P1（x,y)和P2（x，y1），它们在柱面全景图像上具有相同的横坐标x,那么它们正投影到柱面全景图上横坐标x

30、,也必然相等，也就是说，柱面全景图中的景物在垂直方向上不会发生形变。2.4柱面投影图像的性质显然,经过投影后柱面图像的宽度和高度都发生了变化，同时投影算法具有使景物在竖直方向上不发生形变的性质。下面将对柱面图像的高度和宽度变化进行讨论，并从理论上证明竖直不变形的性质,以便更深入地了解柱面投影的过程，为全景图的拼接做好理论上的准备。WHmaxHminOf（a）（b）图2.4柱面投影主视图和俯视图宽度的变化由图2.4（b）可知柱面投影图像(展开图）的宽度大小为W=f。高度的变化对实景图像I上任一像素点P(x,y）,0xW,0yH，柱面图上对应点Q(x，y),由式（28）可知当x=0或x=W时柱面图

31、的高度最小;当x=W/2时高度最大。从图2-7中可直观看出。当x=0,y=0时，并将式代入式（28),得y1= （2-9）当x=0，y=H时，得:y2= （210)故Hmin= y2 y1=Hcos (2-11) ii)当x=W/2，y=H时，Hmax=H综上所述，可见投影后，宽度变小，高度由Hmin渐变到Hmax。再来看竖直方向上不发生形变的性质.假设实景图像I上有竖直形状的景物,取该景物在同一条垂直直线上的两个像素点（x，y）和（x，y），这两个像素点在柱面全景图上将有相同的横坐标，由式(27）可得: (2-12）实景图像的柱面投影算法具有上述性质，这样可以分别对每一张实景图进行柱面投影变

32、换，然后通过图像拼接得到完整的360度柱面全景图.第三章 基于SIFT特征的匹配算法3.1 基于SIFT特征匹配拼接全景图的流程基于SIFT的柱面全景图全自动拼接的系统是一个以图像处理算法为核心的系统。本章将介绍基于SIFT的柱面全景图的拼接过程和涉及到的算法.本文所有的源图像均取材于河南理工大学新校区内部。基于SIFT的柱面全景图全自动拼接的主要内容有：（1）读入采集到的一系列图像(源图像均为采用普通数码相机和三脚架拍摄得到）;（2)提取每幅图像的特征点；（3）计算图像之间的匹配特征点对，计算图像之间的坐标变换参数,实现输入图像按场景分组并对同组的图像进行排序;（4)图像拼接融合，输出全景图

33、.如图3.1所示全景图SIFT特征点提取图像匹配图像融合图像预处理特征点匹配图像坐标变换图像分组与排序输入图像图3.1全景图输出流程图 3。2 图像预处理目前最常用的图片文件是。bmp和jpg格式，这些格式均可以作为系统的输入图像。这两种图像的数据格式都是基于RGB颜色三色道模型的如果直接对彩色图像进行处理，则对每个像素的操作都必须在R、G、B三个色彩空间上分别进行，这样图像处理的时间就是灰度图像处理时间的三倍。在图像的匹配阶段，颜色信息并不能带来匹配性能上的显著提高，所以本文选择在灰度空间进行图像的匹配，减少图像拼接过程中最为耗时的图像匹配工作所消耗的时间。而在图像匹配之后的工作,使用原始的

34、彩色图像.这就要涉及到图像灰度化处理的问题。图像灰度化过程是指把含有亮度和色彩的彩色图像变换成灰度图像的过程，对于RGB图像，图像灰度花化处理的墓地就是使模型中的R、G、B三个色道的颜色相等即R=G=B.本文我们选择公式法对图像进行灰度化处理。按照公式(32）计算得到图像在(x,y）处的灰度值。R（x，y)=G(x，y)=B(x,y)=0。114R（x,y）+0.587G（x，y)+0。229B(x，y) （3-2）3。3 基于SIFT特征点的提取算法和匹配在研究全景图拼接的过程中，本着对操作的便捷性和高效性的原则,拼接过程用的Arcsoft Panorama Maker这个软件进行操作。这个

35、软件在匹配算法上选择了匹配效果好，鲁棒性高的SIFT特征点提取算法，因此作为本文重点研究的算法。SIFT（尺度不变特征变换）算法，可以从图像中检测出大量的特征点，并提取出响应的特征向量。每个特征对物体旋转、尺度缩放、仿射变化、亮度变化保持不变性。该算法主要包括五个步骤：（1） 尺度空间极值点的检测，采用高斯函数来建立尺度空间，并利用高斯差分法检测局部位置的极值点。在D(x,）极值区域关键点被检测,再通过样品周围9*9*9领域来提取极值。（2） 关键点定位，在检测到的关键点中需要经过筛选才能成为真正的关键点，不稳定的特征点是指分布于图像边缘或是一些低对比度的特征点，必须对这些点进行剔除以增加匹配

36、稳定性，提高抗噪声能力.（3） 关键点方向分配,每个关键值被赋予一个规范的方向,使图像的描述具有旋转不变形。方向由在当前的图像样本点的梯度方向直方图峰值确定。（4） 关键点描述符,基于尺度空间上,为每个关键点表明方向，以关键点为中心,取8*8的窗口。落在此范围半径为8的关键区域附近的像素点,都被标上了方向.我们取8个方向，并且每4*4的窗口上计算8个方向的梯度直方图，因此关键点描述符为128维向量.（5） 特征点匹配，当图像的特征向量生成以后，我们采用最近邻（Nearest Neighbor,NN）算法来计算两幅图像对应特征向量之间的相似度。当它们之间的距离少于某个我们给定的阈值时,则匹配成功

37、。 3.3.1 最近邻算法最近邻NN方法是应用最广泛的寻找匹配点的方法，该方法通过公式（3-3)计算待匹配图像特征点到基准图像中的特征点之间的欧几里德距离，并通过最近邻特征点距离及次近邻特征点距离的比值来对特征点进行匹配。最近邻特征点是指及样本点具有最短欧几里德距离的特征点，次近邻特征点是指具有比最近邻距离稍长的欧几里德距点的128维的描述符。 （33） 文献通过对具有40000个特征点，同时加入2的噪声和300的旋转,尺度，方向随意改变的配准图像进行匹配实验发现：当去除最近邻及次近邻比值大于0。8的匹配对时，可以消除90的错误匹配而只消除了不到5的正确匹配。通过上述分析，得知判断两个特征点是

38、否为匹配特征点的具体方法是：计算特征点之间的欧几里德距离,获得特征点的最近邻和次近邻，计算最近邻特征点距离及次近邻特征点距离之比值，如果该比值小于等于0.8则认为这两个点为正确的匹配点对而记录保留。3.4 图像融合图像拼接的最后一步也是图像拼接的一个关键步骤就是图像融合,由2.4的柱面投影将所有图像进行柱面投影，这就得到了有一系列重合区域的图像。然后将这些图像变成一幅看不出任何拼接痕迹的图像，就是图像融合。图像融合技术是指图像拼接中调整配准后图像的像素值，使图像拼接后不能看出拼接痕迹的处理过程。图像融合的目的就是消除拼接冈像的拼接缝，即消除拼接图像中的“鬼影”和“曝光差异”，获得真正意义上的无

39、缝拼接图像。我们采用基于最佳缝合线的融合算法.基于最佳缝合线的融合算法要将两幅图像重叠区域划分成两部分，每个部分来自不同的图像。如果两幅图像的配准求解的比较准确且缝合线取两幅图像最相似的区域，那么就不会出现锯齿状的现象，从而达到无鬼影的拼接。 2001年，Efros等提出采用动态规划方法寻找最佳缝合线，其主要思想是寻找重叠区域内像素差别最小的点连成的线作为最佳缝合线。图34为该方法的示意图.I1I2图3.4 最佳缝合法2003年，浙江大学的方贤勇等对动态规划方法进行了改进，提出了最佳缝合线求解准则，如公式（3-5）。式中Ecolor（x,y)2表示两幅图像上重叠区域像素点的颜色之差，Egeme

40、try（x,y)表示两幅图像重叠区域像素点的结构差异，具体计算如公式（36），Diff(）表示计算两幅图像f1(x,y),f2(x，y）在x和y方向的梯度之差的积。公式(37)、（3-8）为计算梯度的算子模版。E(x，y）= Ecolor（x，y)2+ Egemetry（x，y) （3。5)Diff(f1(x,y)，f2（x,y） (3。6） (3.7) （3。8）文中还提出了新的最佳缝合线搜索算法,具体步骤如下29： Stepl:初始化.第一行各列像素点对应为一条缝合线，其强度值初始化为各个点的准则值,该缝合线的当前点为其所在的列值。 Step2：扩展。已经计算过缝合线强度的一行向下扩展，直

41、到最后一行为止。扩展的方法是将每一条缝合线的当前点及该点紧邻的下一行中的3个像素的准则值相加进行比较，取最小强度值所对应的下一行的这3个像素之一作为 这条缝合线的扩展方向，更新这条缝合线的强度值为最小强度值，并将缝合线的当前点更新为得到最小强度值的像素所在的列值. Step3： 选择最佳缝合线。从所有的缝合线中选择强度值最小的作为最佳缝合线。3。5 柱面全景图的生成前面的步骤已经将一系列的图像进行了无缝拼接，这里采用图3-5的方法将多幅图像拼接成360度全景图。将第一副图像和最后一副图像的重合区域按照最佳缝合线法进行拼接. 图3.5 拼接示意图下面这幅拼接好的图像36取自河南理工大学南大门。源

42、图像是用普通数码相机固定在三脚架上旋转按照一定的重叠度拍摄的11张图片。图像3-7取自图书馆二楼大厅的14张图片。图3.6 河南理工大学南门图3.7 图书馆二楼第四章 全景图成果的实现4。1采集源图像本文实现全景图的软件为ArcSoft Panorama Make 5.该软件是由ArcSoft 专门为全景图的应用所制作的软件。它对全景图操作的过程通俗易懂,并且拼接的过程可以实现半自动化处理.适合普通人群对全景图的操作，可以对普通数码相机拍摄的一系列图片进行处理，得到各种投影方式的全景图。拍摄全景图源图像时候相机设置所应注意的几点事项手动选择曝光设置在情景模式下选择光圈优先或快门优先,将曝光表设

43、到最亮以免曝光过度，并手动锁定拍摄的光圈和快门速度。这样做的理由是如果相机对每次拍摄都进行自动曝光调整的话，表面上微小的亮度改变也会让相片重叠的两部分完全不同.这样,最终生成的全景图各部分的明暗差距会很大。关闭相机的自动聚焦功能。在拍摄全景图相片的时候使用相同焦距.使用不同的焦距会在拼接过程中出现客服不了的矛盾点。关闭相机自动白平衡功能，手动设置白平衡并在拍摄所有相片时使用相同设置。因为启动自动白平衡时，光线情况的微小变化会使相邻两张相片的色彩产生巨大的差距。拍摄时，在相机曝光表中找出适合整组拍摄的曝光量.并使用这一曝光量。如果必须使用其它曝光量拍摄部分相片（由于光线突然变化），请尽量使其及第

44、一个设置接近.一般来说,光线均衡的相片拼接生成的全景图片效果较好。曝光设置的改变会使两张相片的相同区域（重复区域）看起来完全不同。这样，最终生成的全景图会出现边缘痕迹。不要使用闪光灯。如果相机有自动闪光的功能，请在拍摄全景图片时关闭此功能。因为相机的闪光灯有一定的射程和覆盖区域，并能在每次拍摄是产生形状和位置不同的阴影。这些区别会使程序很难识别相邻相片的相同区域。在拍摄整组全景相片时，使用同一相片尺寸（分辨率）和相片质量（如，优质）.因为软件不能拼接不同尺寸的相片.如果没有特殊情况，务必使用三脚架。这样可以保证拍摄的全景图在同一个水平面上。拍摄相片时,在相邻相片之间保留25%至50%重叠区域。

45、在拼接的相片中有明显的不同值时候，拼接结果中会出现条形效果。如果遇到此类问题，可以在拼接前用相片编辑程序，如photoshop调整相片亮度和对比度。4。2合成全景图下面以河南理工大学南门为例讲解第一步，打开软件,并选择一组采集到的源图像.第二步，在软件的左下方选择拼接成360的模式,点下一步。第三步，在软件的右上方选择自动排序,然后在软件右下方点拼接就能自动对选中的图像进行拼接。第四步，对合成的图像进行预览，并放大，如果发现明显的拼接错误，就选择手动拼接.选择出现明显错误的区域对那两幅图像进行手动拼接手动选择三处特征点。一般选择明显建筑物的拐点和不变化的特征点。然后在应用。再预览一下图像，如没

46、有发现明显的拼接错误，则点击软件右上角的保存，会出现下面的界面。我们选择JPEG文件保存一次,然后再选择Quicktime文件保存一次.在安装quicktime插件的电脑上则可以浏览到此处拍摄的360全景图像了。用这个软件可以对得到的全景图片进行旋转，缩放操作.更形象的表现出这一附近区域的景观。在实验过程当中，对学校的多个热门位置进行了拍摄，并做出了360的柱面全景图像.4。3成果的发布将制作完成的全景图利用Dreamweaver软件制作成网页的形式发布出去。利用河南理工大学最近的一张航摄图像作为网页的背景，将制作好的全景图像在图上对应位置用热点的形式设置超链接，然后在图上点击某个热点区域如学校南门，就会出现对应的全景图像了。这样使得全景图像具有沉浸感，更友好。第五章 总结和展望5。1 总结本文就全景图的生成技术和技术实现的关键算法进行了研究。可以看到，全景图像是基于图像绘制的虚拟现实技术。是一种具有广泛应用发展前景的技术,也是目前计算机视觉领域内讨论的一个热点问题。一个完整的全景图概括起来包括三个部分：全景图的生成；全景图编辑;全景图的发布。全景图的生成是制作全景图的基础。全景图一般可分为柱面全景图、球面全景图和立方体全景图，各个模型的介绍在第二章进