free talk.ppt

《free talk.ppt》由会员分享，可在线阅读，更多相关《free talk.ppt（33页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、FREE TALK杨丽娜杨丽娜计算机视觉计算机视觉视觉视觉 通常我们说到视觉，总是与眼睛有关，通过眼睛与外通常我们说到视觉，总是与眼睛有关，通过眼睛与外界交流口，这些都是通过界交流口，这些都是通过“看看”来完成的。人们可以很来完成的。人们可以很容易容易“看到看到”一幅画，但这一一幅画，但这一“简单简单”过程并不如此简过程并不如此简单。单。“看看”的过程的过程大致上可分为以下几个阶段：大致上可分为以下几个阶段：通过眼睛将图成像在视网膜上通过眼睛将图成像在视网膜上 大脑对图像进行理解大脑对图像进行理解 根据处理的结果做出反应根据处理的结果做出反应 用比较专业一点的语言来描述，该过程包括了用比较专业

2、一点的语言来描述，该过程包括了识别识别、描述描述与与理解理解三三个层次；这其中还隐含了个层次；这其中还隐含了边缘检测边缘检测（各物体的轮廓等）、（各物体的轮廓等）、图像的分割图像的分割（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层（各物体区域的划分）等阶段。以上实际上概述了视觉系统的三个层次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物次，即低层阶段：基于图像特征提取及分割阶段；中层阶段：基于物体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、体的几何模型与图像特性表达阶段；高层阶段：基于景物知识的描述、识别与理解阶段，这是根据先验知识介入的程度划分的，且

3、实现起来识别与理解阶段，这是根据先验知识介入的程度划分的，且实现起来也越来越困难。也越来越困难。计算机视觉的诞生计算机视觉的诞生 如何人工实现这如何人工实现这“看看”的过程是极具挑战性和的过程是极具挑战性和应用前景的一项工作，计算机视觉也因此而应运而应用前景的一项工作，计算机视觉也因此而应运而生。生。计算机视觉计算机视觉是研究用计算机和成像设备来模拟人是研究用计算机和成像设备来模拟人和生物视觉系统功能的技术学科，其目标是从图像和生物视觉系统功能的技术学科，其目标是从图像或图像序列中获取对外部世界的认知和理解，即利或图像序列中获取对外部世界的认知和理解，即利用二维图像恢复三维环境中物体的几何信息

4、，比如用二维图像恢复三维环境中物体的几何信息，比如形状、位置、姿态、运动等，并能描述、识别与理形状、位置、姿态、运动等，并能描述、识别与理解。解。计算机视觉的基础计算机视觉的基础 计算机视觉的基础是计算机视觉的基础是各种成像设备，例如各种成像设备，例如CCD(Charge Coupled Device)CCD(Charge Coupled Device)摄像机（数码相机摄像机（数码相机属于此类型）、红外摄像机、医学上常用的核属于此类型）、红外摄像机、医学上常用的核磁共振成像、磁共振成像、X X射线成像等，这些设备不仅可以射线成像等，这些设备不仅可以成像，还可以获取比人眼更丰富的图像，人们成像，

5、还可以获取比人眼更丰富的图像，人们可以形象地把摄像机看成计算机视觉的视网膜可以形象地把摄像机看成计算机视觉的视网膜部分。可以说从人类拍摄出第一幅图像开始，部分。可以说从人类拍摄出第一幅图像开始，就为计算机视觉的诞生奠定了基础。就为计算机视觉的诞生奠定了基础。计算机算机视觉的核心的核心 计计算机算机视觉视觉的核心是数字的核心是数字电电子子计计算机，其算机，其发发展可展可谓谓突突飞飞猛猛进进，在在计计算和存算和存储储能力上，人能力上，人脑脑已已经经无法与之相比，人无法与之相比，人们们的目的目标标就就是利用是利用计计算机非凡的算机非凡的计计算算处处理能力来代替人理能力来代替人脑实现对图脑实现对图像的

6、理像的理解，而解，而计计算机日新月异的算机日新月异的发发展也使得展也使得这这一愿望越成一愿望越成为为可能。可能。用于指用于指导导“计算机计算机”这个大脑运作的核心是计算机视觉的理论这个大脑运作的核心是计算机视觉的理论方法，主要基于几何、概率和运动学计算与三维重构的视觉计方法，主要基于几何、概率和运动学计算与三维重构的视觉计算理论，它的基础包括射影几何学、刚体运动力学、概率论与算理论，它的基础包括射影几何学、刚体运动力学、概率论与随机过程、图像处理、人工智能等理论。在随机过程、图像处理、人工智能等理论。在20世纪世纪70年代，年代，视觉研究大多采用模式识别的方法；视觉研究大多采用模式识别的方法；

7、80年代，开始采用空间几年代，开始采用空间几何的方法以及物理知识进行视觉研究；何的方法以及物理知识进行视觉研究；90年代以后，随着智能年代以后，随着智能机器人视觉研究的发展，引入了许多新的理论与技术如主动视机器人视觉研究的发展，引入了许多新的理论与技术如主动视觉理论、不变量理论、融合技术等，并应用于许多计算机视觉觉理论、不变量理论、融合技术等，并应用于许多计算机视觉系统中。系统中。计算机视觉计算机视觉理论理论发展发展 英国已故科学家戴英国已故科学家戴维维马尔（马尔（David Marr），在），在20世纪世纪70年代末提出了第一个较为完善的视觉系统框架，即计算视觉理论年代末提出了第一个较为完善

8、的视觉系统框架，即计算视觉理论框架。他认为框架。他认为视觉是一个复杂的信息处理过程视觉是一个复杂的信息处理过程，并有不同的信息，并有不同的信息表达方式和不同层次的处理过程，而最终的目的是实现计算机对表达方式和不同层次的处理过程，而最终的目的是实现计算机对外部世界的描述。由此，他提出了三个层次的研究方法，即外部世界的描述。由此，他提出了三个层次的研究方法，即计算计算理论层、表征与算法层以及实现层理论层、表征与算法层以及实现层。并且设想出了自下而上，没。并且设想出了自下而上，没有反馈的视觉处理框架，他认为视觉的主要任务是获得物体的三有反馈的视觉处理框架，他认为视觉的主要任务是获得物体的三维形状，并

9、把获取过程分为三个阶段，即原始基元图维形状，并把获取过程分为三个阶段，即原始基元图(primal sketch)2.5维图维图(2.5dimensional sketch)3维模型表维模型表示。其中，基元图由二维图像中的边缘点、直线、曲线、顶点等示。其中，基元图由二维图像中的边缘点、直线、曲线、顶点等基本几何元素或特征组成；基本几何元素或特征组成；2.5维图是指对基元图进行一系列处理维图是指对基元图进行一系列处理运算，推导出可见表面的朝向、轮廓等几何信息，运算，推导出可见表面的朝向、轮廓等几何信息，计算机视觉计算机视觉理论理论发展发展是在观察者坐标系下描述的部分的、不完整的三维物体形状（另是在

10、观察者坐标系下描述的部分的、不完整的三维物体形状（另一部分是物体的背面或被遮挡的部分）；一部分是物体的背面或被遮挡的部分）；3维模型表示则描述物体维模型表示则描述物体坐标系下的各种形状及其空间组织。坐标系下的各种形状及其空间组织。迄今为止，研究者们最瞩目迄今为止，研究者们最瞩目也最完善的成果当属基于几何方法的计算机视觉理论体系。也最完善的成果当属基于几何方法的计算机视觉理论体系。在在MarrMarr计算视觉理论框架下，观测者（计算机）只是被动地分计算视觉理论框架下，观测者（计算机）只是被动地分析获取的静态图像，并不对成像设备（摄像机）做任何控制，这析获取的静态图像，并不对成像设备（摄像机）做任

11、何控制，这使得许多视觉任务（如识别、导航等）难以完成。可以想一下人使得许多视觉任务（如识别、导航等）难以完成。可以想一下人类的视觉，人们在看的时候，眼球通常不自觉地或半自觉地跳动类的视觉，人们在看的时候，眼球通常不自觉地或半自觉地跳动或转动，这说明大脑在主动且交互式地接受外界的信息。因此，或转动，这说明大脑在主动且交互式地接受外界的信息。因此，有学者提出了有学者提出了主动视觉主动视觉等理论，但主动视觉的研究往往与有目的等理论，但主动视觉的研究往往与有目的的以及定性视觉的研究结合在一起。在主动视觉系统中，摄像机的以及定性视觉的研究结合在一起。在主动视觉系统中，摄像机的状态参数如焦距、缩放、聚散度

12、都可以控制，加之具有可以精的状态参数如焦距、缩放、聚散度都可以控制，加之具有可以精确控制的平台，使得许多不适定的视觉任务变为适定的。确控制的平台，使得许多不适定的视觉任务变为适定的。图为一图为一主动视觉平台主动视觉平台，下方是，下方是一小车，最上方是两个摄像机，计一小车，最上方是两个摄像机，计算机可以控制车和摄像机的运动、算机可以控制车和摄像机的运动、调整摄像机的注视点，并通过精确调整摄像机的注视点，并通过精确控制平台的运动，可以获得摄像机控制平台的运动，可以获得摄像机的运动参数，从而使一些原本是非的运动参数，从而使一些原本是非线性的问题变成线性问题，提高了线性的问题变成线性问题，提高了计算速

13、度和准确性，这对实时地获计算速度和准确性，这对实时地获取外界信息并做出反应（如避障）取外界信息并做出反应（如避障）是非常重要的。是非常重要的。计算机视觉计算机视觉理论理论发展发展 除了重建，视觉的另一个任务是除了重建，视觉的另一个任务是识别识别。其基本方法是首。其基本方法是首先建立物体模型，然后使用各种匹配算法从图像中识别出与先建立物体模型，然后使用各种匹配算法从图像中识别出与物体模型最相似的物体。这里，就用到了先验知识，即识别物体模型最相似的物体。这里，就用到了先验知识，即识别前，物体模型需事先存储在计算机中，这是很显然的事情。前，物体模型需事先存储在计算机中，这是很显然的事情。平常人们能从

14、图中认出事物，是因为大脑对它们的特征有了平常人们能从图中认出事物，是因为大脑对它们的特征有了事先的认识。在物体识别中，事先的认识。在物体识别中，“假设检验假设检验”是一种很重要的是一种很重要的识别方法，又称为基于模型的识别方法。从图像进行重建人识别方法，又称为基于模型的识别方法。从图像进行重建人们已经粗略地作了介绍，用其重建出的部分模型与模型库中们已经粗略地作了介绍，用其重建出的部分模型与模型库中的物体模型作比较，方法是先的物体模型作比较，方法是先“假设假设”，后，后“检验检验”，即假，即假设待识物体是模型库中的某个物体，然后为了减少匹配时间，设待识物体是模型库中的某个物体，然后为了减少匹配时

15、间，只利用部分几何元素来判断它们是否匹配，如果不匹配，则只利用部分几何元素来判断它们是否匹配，如果不匹配，则改变假设；反之，则用其他几何元素在图像中对该匹配做改变假设；反之，则用其他几何元素在图像中对该匹配做“检验检验”，以此来判断是否需要再修改假设，并重复上述过程。，以此来判断是否需要再修改假设，并重复上述过程。因此，这是一种自下而上与自上而下策略的结合。因此，这是一种自下而上与自上而下策略的结合。计算机视觉计算机视觉理论理论发展发展计算机视觉计算机视觉理论理论发展发展检验假设法图示检验假设法图示难，可以借用宋朝著名诗人苏轼的一首诗概括：难，可以借用宋朝著名诗人苏轼的一首诗概括：“横看成岭侧

16、成横看成岭侧成峰，远近高低各不同峰，远近高低各不同”，这说明同一事物，因观测的角度不同甚，这说明同一事物，因观测的角度不同甚至会产生截然相反的图像，但是即使同一幅图像，也可能有天壤至会产生截然相反的图像，但是即使同一幅图像，也可能有天壤之别的感受，如图所示，左图中看起来凹的，而右图像是凸的，之别的感受，如图所示，左图中看起来凹的，而右图像是凸的，但是这是同一幅图像，只不过倒置了一下，但却让人们看到了如但是这是同一幅图像，只不过倒置了一下，但却让人们看到了如此有趣的现象。此有趣的现象。识别过程涉及了视觉识别过程涉及了视觉中从低到高所有层次，中从低到高所有层次，它是当前计算机视觉领它是当前计算机视

17、觉领域最困难但也是最活跃域最困难但也是最活跃的领域。之的领域。之所以困所以困计算机视觉计算机视觉理论理论发展发展发展中遇到的问题发展中遇到的问题 遭遇到遭遇到的的众多瓶颈问题，如：图像分割的不稳定性、二维图形众多瓶颈问题，如：图像分割的不稳定性、二维图形到三维立体的病态问题、机器缺少大规模并行处理能力等，使得现到三维立体的病态问题、机器缺少大规模并行处理能力等，使得现有的计算机视觉系统在识别能力、实时性上与人类视觉相差甚远，有的计算机视觉系统在识别能力、实时性上与人类视觉相差甚远，更不可比拟的是，选择性注意的能力，即人类视觉分分秒秒都在接更不可比拟的是，选择性注意的能力，即人类视觉分分秒秒都在

18、接受外界的信息，但是人们并不会对所有的信息都处理，而是对很多受外界的信息，但是人们并不会对所有的信息都处理，而是对很多都会都会“视而不见视而不见”。从总体的理论研究和应用角度来说，国内外在。从总体的理论研究和应用角度来说，国内外在计算机视觉的研究水平还是处于起步阶段，目前还没有一个完整的计算机视觉的研究水平还是处于起步阶段，目前还没有一个完整的理论体系能统一和解决所有的计算机视觉问题。理论体系能统一和解决所有的计算机视觉问题。应用举例应用举例 移动机器人导航，图移动机器人导航，图中中是美国是美国NASA/JPLNASA/JPL开发的开发的Rocky7Rocky7火星探测移动机火星探测移动机器人

19、，在其后部、前部及桅杆上都安装器人，在其后部、前部及桅杆上都安装了一对黑白了一对黑白CCDCCD摄像机摄像机，另外，在桅杆，另外，在桅杆上还安装了一个用于近距离成像的摄像上还安装了一个用于近距离成像的摄像机。借助于这些视觉系统，机。借助于这些视觉系统，Rocky7Rocky7可以可以进行障碍检测、自身车辆检查、挖掘进行障碍检测、自身车辆检查、挖掘/倾倒核查等任务；其他的象安全鉴别、倾倒核查等任务；其他的象安全鉴别、监视与跟踪；运动分析；工业产品、农监视与跟踪；运动分析；工业产品、农作物生长及食品检测；智能交通系统；作物生长及食品检测；智能交通系统；娱乐等。更可喜的是，在我国，指纹识娱乐等。更可喜的是，在我国，指纹识别已达到实用阶段，人脸识别也已研究别已达到实用阶段，人脸识别也已研究成功成功。市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析市场分析谢谢谢谢Implant eyes and brains in machines！为机器植入眼睛和大脑为机器植入眼睛和大脑