计算摄像学专题第3讲.ppt

《计算摄像学专题第3讲.ppt》由会员分享，可在线阅读，更多相关《计算摄像学专题第3讲.ppt（81页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、-1-计算摄像学专题第三讲戴琼海清华大学 自动化系-2-第三讲提纲第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三-3-第三讲提纲第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三-4-视觉场景信息视觉场景信息p 视觉在人类对世界的感知、理解、交互中的重要意义p 视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)p 涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)p 如何表示视觉信息是研究视觉信息的基础与核心-5-全光函数全光函数pplenoptic(拉丁 plenus:full，optic:visi

2、on)pplenoptic function Adelson 91v空间中的某个位置(3D)v沿着某个方向(2D)v在某个具体的时间(1D)v具有某个波长(1D)为7维函数p涵盖动态场景中的任意光线集-6-单通道图像单通道图像为光线的强度 也可记为P(x,y)v从单一位置点看见的光线v固定某一时刻v对可见光各波长分量作平均-7-颜色图像颜色图像为光线的强度v从单一位置点看v固定某一时刻v以波长为变量-8-视频视频为光线的强度v从单一位置点看v以时间为变量v以波长为变量-9-全息视频全息视频为光线的强度v以视点位置为变量v以时间为变量v以波长为变量-10-全光函数全光函数p描述了物理存在的任何视

3、觉信息v包含了不可见光等电磁辐射信息v没有经过任何物理处理v涵盖时变及波长变化情况（如磷光）p波长分量一般离散化为R,G,B通道p实际系统的辐射度范围受限vLDR与HDRp全光函数虽然不可能获得，但其作用：v为视觉信息的研究提供了基础理论工具-11-全光函数全光函数p基于全光函数子集的图像采集系统v传统图像(和 的2D子集)v全景图Chen95(和 的2D全集)v视频序列(,的3D子集)v光场Levoy96,Gortler96 (,的4D子集)v动态光场Wilburn05 (,的5D子集)-12-第三讲提纲第三讲提纲全光函数一光场概念与理论二光场的多光照拓展三-13-光光 场场pThe lig

4、ht field is a function that describes the amount of light traveling in every direction through every point in space.Michael Faraday was the first to propose(in an 1846 lecture entitled Thoughts on Ray Vibrations)that light should be interpreted as a field,much like the magnetic fields on which he ha

5、d been working for several years.The phrase light field was coined by Alexander Gershun in a classic paper on the radiometric properties of light in three-dimensional space(1936).The phrase has been redefined by researchers in computer graphics to mean something slightly differentcitation needed.Lev

6、oy96Levoy96-14-Light Field(光场光场)pMcMillan95在3D空间，使用规则的离散采样(,)p生成连续空间的新 视角图像p维度仍然过高如何简化？如何简化？p4D光场v光线沿着光轴方向辐射度不变v自由空间假设-15-光场光场 空间含遮挡物(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间-16-4D4D光场光场 -绘制绘制p对目标光线进行参数定位以下将Levoy96提出的4D光场简称为光场-17-光场光场 参数化参数化L(x,y,)-18-光场光场 参数化参数化p双平面参数法Levoy96v最常用的参数化方法v检索简单（图像阵列）v

7、绘制简单（投影几何）v缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts-19-光场光场 参数化参数化q基于双平面参数法的新视角绘制q视角汇聚与视角平行？q规则的4D图像集-20-光场光场 2D 2D绘制绘制q绘制步骤：v对于给定的视角，将st和uv平面分别投影到虚拟视角xy上v对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)q2*投影+查表 获得每个像素值，复杂度低-21-光场光场 2D 2D绘制绘制加权样本最近邻U,V加权U,V,S,T加权-22-光场绘制示例光场绘制示例-23-光场光场 优缺点优缺点p 优

8、点v绘制速度快v绘制复杂度与场景复杂度无关v绘制真实感较强p 缺点v数据量大（虽然压缩率高120:1Levoy96）v不可编辑（无模型）-24-深度辅助光场绘制深度辅助光场绘制无深度信息深度信息辅助需对多个像素进行加权-25-动态可调光场绘制动态可调光场绘制q假想对象平面st可变的情况-26-动态可调光场绘制动态可调光场绘制-27-光场的进一步思考光场的进一步思考p4D光场还能简化吗？光场还能简化吗？p简化带来采集的便利、重建质量的下降简化带来采集的便利、重建质量的下降p如何在降低维度的过程中尽可能地保留重如何在降低维度的过程中尽可能地保留重要的全光信息要的全光信息p第三部分将介绍光场的扩展第

9、三部分将介绍光场的扩展(维度的增加维度的增加)-28-基于图像绘制基于图像绘制 vs.基于模型绘制基于模型绘制p基于图像绘制与基于模型绘制的折中p如何分析？数据采样密度对绘制的影响图像信号处理算法优化需求数据量高需求数据量低 复杂度高 复杂度低-29-全光采样理论全光采样理论 Plenoptic Samplingp Plenoptic Sampling Chai00使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系q 简化假设无遮挡朗泊漫反射表面q 将4维简化为2维进行信号分析 ST S UV U-30-采样率分析采样率分析p图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质

10、量-31-采样率分析采样率分析p3个深度层，3232 图像集，过采样-32-采样率分析采样率分析p3个深度层，1616 图像集，采样-33-采样率分析采样率分析p3个深度层，88 图像集，最优采样-34-采样率分析采样率分析p3个深度层，44 图像集，欠采样-35-采样率分析采样率分析p3个深度层，22 图像集，欠采样-36-采样率分析采样率分析q 几何信息与采样率的折中，由最小采样曲线决定q 目标图像的分辨率影响最小采样曲线的偏移-37-光场光场 采集与应用采集与应用p Spherical gantry Levoy96相机自由度：2光照自由度：2q 360度的光场及反射场 捕获q 应用：文物

11、记录与保护-38-光场光场 采集与应用采集与应用p 多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)q 应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像-39-光场光场 采集与应用采集与应用-40-光场光场 采集与应用采集与应用-41-全光函数全光函数pplenoptic(拉丁 plenus:full，optic:vision)pplenoptic function Adelson 91v空间中的某个位置(3D)v沿着某个方向(2D)v在某个具体的时间(1D)v具有某个波长(1D)为7维函数p涵盖动态场景中的任意光线集-42-光场光场 空间含遮挡物

12、(5D)自由空间，辐射度恒定(4D)由内向外由外向内自由空间自由空间自由空间自由空间-43-光场光场 2D 2D绘制绘制q绘制步骤：v对于给定的视角，将st和uv平面分别投影到虚拟视角xy上v对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)q2*投影+查表 获得每个像素值，复杂度低-44-平面摄像机阵列平面摄像机阵列高分辨率或动态范围图像高速视频虚拟光圈成像-45-光场光场 采集与应用采集与应用p 多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)q 应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像-46-

13、光场相机光场相机4000 4000 像素 292 292 透镜 =14 14 像素/透镜Contax 中档相机Kodak 1600万像素底片光学微透镜阵列125微米微透镜-47-传统相机与光场相机传统相机与光场相机-48-传统相机与光场相机传统相机与光场相机uv-planest-plane-49-光场图像光场图像-50-视角截取视角截取截取=对每个微透镜中央像素求和-51-数字重聚焦数字重聚焦重聚焦=从不同的微透镜提取像素求和-52-数字重聚焦数字重聚焦-53-数字视角调整数字视角调整视角调整=移动所有微透镜的截取窗-54-数字视角调整数字视角调整-55-数字视角调整数字视角调整-56-光场光

14、场 采集与应用采集与应用p重聚焦、视角调整、光照处理p只采集一张图像解决p所有处理都基于数字处理p牺牲空间分辨率，换取光线角度信息-57-光场显微镜光场显微镜p传统显微镜为看到对象切片，调节载物台，手动聚焦p光场显微镜Levoy06与光场相机类似，捕捉光场，计算聚焦p特点：多视角及三维重建牺牲空间分辨率-58-第三讲提纲第三讲提纲全光函数一光场基本概念与理论二光场的多光照拓展三-59-光光 场场 4D光场：捕捉从对象发出的4D光线集合-60-光照变化下的场景采集光照变化下的场景采集 入射光场：进入对象的光线集-61-反射场反射场p入射光场：进入对象的光线集，属全光函数的采样4D光场：L Lo

15、o(o,o,x,y)4D(入射)光场：L Li(i,i,x,y),:采集视点或光照视点的二维坐标x,y：对象的二维参数化q反射场：对象表面对光线进行传递变换所构成的场R(L Lo o;L Li)=R(o,o,xo,yo;i,i,xi,yi)qL Lo o L Li R(L Lo o;L Li)q输出光线只与作用到该点的入射光线有关，6D反射场：R(o,o,x,y；i,i)q4D反射场：R(x,y；i,i)-62-4D反射场反射场 每个光源对应采集一张图像-63-4D反射场反射场2D 光照具有可加性-64-重光照重光照2D 图像 2D +光照 2D重光照：根据对象在一个或多个光照下的外观，就算目

16、标光照下的对象外观-65-Light StageDebevec2000-66-Light Stagep采集图像Original Resolution:64Original Resolution:64 3232-67-反射函数反射函数6464 3 32 2-68-反射函数反射函数环境光照图环境光照图反射函数反射函数光照积光照积绘制像素绘制像素1Demo-69-The Light Stage:The Light Stage:60-second 60-second exposureexposure-70-反射场反射场远距离环境光照-71-反射场反射场有近距离遮挡物，该重光照框架是否成立？-72-Li

17、ght Stagep单视角多光照p只适用于远距离光照框架假设物体上每个点具有相同的环境光照图近距离光照或遮挡物使得 每个物体点的环境光照图不一q需要维度更高的反射场函数及其图形学方法-73-8D反射场反射场8D 反射场函数8D反射场处理互遮挡的重光照问题-74-反射场反射场8D 反射场函数 Masselus2003-75-6D反射场反射场6D图像 2D+视角 2D+光照 2D-76-光场光场 采集与应用采集与应用p Spherical gantry Levoy96相机自由度：2光照自由度：2q 360度的光场及反射场 捕获q 应用：文物记录与保护-77-多视点多光照采集多视点多光照采集p对静态

18、对象,数据维度6D Matusik2002-78-多视点多光照采集多视点多光照采集VisualHullSurface LightfieldSurface Reflectance FieldsAlpha Mattes-79-多视点多光照采集多视点多光照采集VisualHullSurface LightfieldSurface Reflectance FieldsAlpha Mattes-80-多视点多光照采集多视点多光照采集-81-总结总结q 全光函数是空间光线的集合q 光场是全光函数的4D参数化与简化q 光场可实现虚拟视角的实时绘制q 光场采样定律：深度与采样率的折中q 光场的应用：光场相机与光场显微镜q 光场的扩展：场景重光照