第二节 视觉物理学特性.ppt

《第二节 视觉物理学特性.ppt》由会员分享，可在线阅读，更多相关《第二节 视觉物理学特性.ppt（66页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、,第二章 视觉的基本知识,第二节 视觉物理学特性,物理学与计算机视觉,光学特性是物体的一种固有的属性，它的物理本质是物体表面的能谱的辐射。亮度是人的主观心理的感觉，这种感觉是由物体能谱的辐射引起的,可以由物理量来度量.研究这种辐射与亮度之间关系的物理学分支就是光度学色彩是物体表面不同频谱的能量辐射引起的主观心理上的感觉度量客观的辐射与主观色彩感觉的学科是色度学.光度学和色度学是分析图像特性的重要依据.,Examples:,Marshall F Tappen ,William T Freeman, Edward H Adelson,Recovering Intrinsic Images from

2、 a Single Image, NIPS02,Examples:,Examples:,Ayan Chakrabarti, Keigo Hirakawa, and Todd Zickler.Color Constancy with Spatio-Spectral Statistics,TPAMI,2011,1.1 光度学,光度学是研究引起光感的可见段电磁波的能量与人的主观亮度的定量关系的科学。物体表面的能量通过辐射进入人的视觉系统，通过视觉系统中的传感细胞刺激大脑皮层产生光的感觉。在统计意义上,这种光的感觉与辐射量之间存在关系,可以由物理量来度量.,辐射源强度的度量,一个物体能够发射或反射一定

3、波长的电磁波，形成了电磁波形式的能量辐射。据物理学定义，它的辐射能力是可以用单位时间内辐射电磁波能量来度量它与电磁波波长有关，因此可表示为r(),称为能谱分布函数,一个辐射源的各段波长电磁波总辐射能可表示为：有关幅射源强度的两个物理量是辐射率和辐射强度辐射率 S为辐射源表面积辐射强度 为以辐射源为中心的立体角,光感的强度度量,发射电磁波的能量源可称为光源。光感的强弱度量与辐射源有关，它不仅与波长有关，而且与光源物体上不同的位置(x,y)和感受的时间t有关、可用c(x,y,t,)来表示。人们对于光源的接受程度可用一个与光波有关的称为视见函数()来表示。因此视觉器官所接受到的光源的明暗感觉可用F(

4、x,y,t)表示 一般F称为光通量，它是光源引起的光感强弱的度量单位为流明。,视觉中的常用度量,发光率,定义为光源的单位面积光通量,单位勒克斯(流明/米2)发光强度,定义为单位弧度角发射的光通量,单位为流明/立体弧度照度,定义为照射到某一物体表面的单位面积光通量,单位勒克斯(Lux),视觉中的常用度量,亮度是用来描述所看到物体表面的明亮程度，若物体的表面称为发光面，亮度D是单位发光面在观察者方向上看到的发光强度。设观察方向角为,1.2 成像物理学,描述光在物体表面的反射物理特性，即光从光源到达物体表面，再从物体表面反射到图象平面，形成图像的过程和行为.成像几何确定场景点在图像平面上的位置，成像

5、物理学确定场景点在图象平面上的亮度.,成像物理学,成像三要素： 光源、物体、图像平面两个过程： 照明-光源发射光到物体表面 反射-物体表面反射光到图象平面,（1）表面方向半球(Hemisphere of Directions),物体表面接受(反射)光线的全部方向. 其接受(反射)的总能量等于半球上各个小片的能量之和.,立体角 (solid angle)-单位半球上小片的面积，也表示接受反射)能量的方向.,（2）透视缩小效应(foreshortening),表面片接受（反射）光能的有效面积与该表面片和光源（图象平面）的角度有关. 倾斜于光线传播方向的表面片“看起来” 比实际小. 发生透视缩小效应

6、的大表面片与小表面片接受的光能是相同的.,透视缩小因子,（3）辐照度与辐射度,辐射度(radiance)： 单位面积辐射表面在单位时间内向某一方向辐射的能量辐照度(irradiance)： 到达单位面积表面的辐射能量光源只有辐射，图像平面只有辐照，物体既有辐照，也有辐射.,（4）双向反射分布函数,中心问题 物体表面接受光能（辐照度）和反射光能（辐射度）的关系. 与接受和反射光能的角度，以及表面材料有关. 用双向反射分布函数(bidirectional reflectance distribution function, BRDF) 建模.,双向反射分布函数,到达表面的辐照度与所引起的辐射度的比

7、例,辐射度,BRDF,辐照度,（5）表面的辐射度与辐照度,表面片接受的总辐照度：表面片的辐射度：所有辐照在相应方向上形成的辐射度之和,（6）反射率(reflectance),从某一方向上接受的辐照度与该辐照度引起的总辐射度的比例，反映了表面的光学特性，包括反射特性和吸光特性.,（7）图象平面的辐照度,图像平面上一点处的辐照度(亮度，intensity)等于场景对应点在相应方向上的辐射度，或与之成比例.,知道了光源、双向反射分布函数以及图像平面点与物体点的对应关系，就可以确定图象平面上点的亮度.,2.色度学,颜色通常认为是由于不同波长的光作用于视觉系统，并引起不同刺激的结果.光是由不同波段的光谱

8、组成的，每个波段称为一个通道，各种波长的光的不同比例，形成不同的颜色，如短波光能量较大时呈现蓝色，相反呈现红色.场景或物体的颜色是由照射光源的光谱成分、光线在物体上反射和吸收的情况决定的,2.1 人类颜色感知,可见光的波长分布在380nm到780nm之间，人的颜色感觉是不同波长的可见光刺激人的视觉器官的结果.人类视网膜上有两类细胞：杆体细胞和锥体细胞. 对颜色的区分主要由锥体细胞完成.,2.1 人类颜色感知,人的色觉,Young-Helmholtz三色学说,Young的假说 视网膜上有三种神经纤维，每一种纤维的兴奋引起一种原色的感觉。,Helmholtz的补充 光谱的不同成分引起三种纤维不同比

9、例的兴奋，它们有不同的兴奋曲线。,该学说能够很好地解释颜色混合现象，并为以后对人的视觉器官的研究所证实。,2.1 人类颜色感知,人的色觉,研究发现，在人的视网膜上存在两种分别称为柱状细胞和锥状细胞的感光细胞。,锥状细胞 灵敏度低，但能够很好地区分颜色。,锥状细胞又由三种不同的细胞组成。这三种细胞分别对红、绿、蓝三色敏感（相应的吸收峰在445nm,537nm570nm处）。,柱状细胞 灵敏度高，能够感受很微弱的光。,Young-Helmholtz三色学说,三种锥体感受器的光谱敏感示意图,(Wald, 1964),三色假说得到了现代技术发展的证明: 在人类视网膜中确实含有三种不同的光敏感性视色素，

10、它们对光谱不同成分的敏感性是不同的.,2.1 人类颜色感知,人的色觉-视网膜,2.1 人类颜色感知,人的色觉-视网膜,2.1 人类颜色感知,人的色觉-视觉通路,信息加工,感受器,R,G,B,R-G,W-Bk,Y-B,去大脑中枢,颜色视觉机制传输模型,2.1 人类颜色感知,人的色觉-大脑皮层,一般而言，大脑会将颜色转化为明度、色调和色饱和度三个基本属性。,2.1 人类颜色感知,人的色觉-大脑皮层,色调（Hue） 也称色(彩)相，是彩色彼此之间相互区分的一种特性，是颜色的心理属性的代表之一。光源的色调取决于所辐射的光谱组成对人眼所产生的感觉，由物理上到达视网膜的光的主波长所确定。而物体的色调则取决

11、于光源的光谱组成和物体表面所反射（或透射）的各波长辐射的比例对人眼所产生的感觉。,例 在日光下，一个物体反射480560nm波段的辐射，而相对吸收其它波长的辐射，则该物体将呈现绿色。,2.1 人类颜色感知,人的色觉-大脑皮层,色饱和度（Saturation） 也称彩度（chroma），是彩色的纯洁性，也即白色光缺少程度的度量。 可见光谱中的各种单色光是最饱和的彩色。光谱组成中掺入的白光成分越多，则越不饱和。当掺入的白色光的成分达到很大比例时，其饱和度很低而成为白光了。物体的色饱和度取决于该物体表面反射光谱辐射的选择性程度。当物体对光谱某一较窄波段的反射率很高，而对其它波长的反射率很低或没有反射

12、时，表明它有很高的选择性，对应的颜色的饱和度就高。,2.1 人类颜色感知,人的色觉-大脑皮层,明度（brightness） 明度有时也称强度（Intensity），是彩色光明暗程度的度量。彩色光的亮度越高，看起来就愈觉明亮；此时，我们说它有较高的明度。物体表面的光谱反射率越高，其明度也越高。例如，黄褐色物体表面在光谱所有波段上都比红色物体表面反射更多的光辐射，故使人眼产生更高的亮度感觉，因而它比红色物体具有更高的明度。,2.2 图像颜色模型,图像颜色模型（RGB&CMY）,一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用（RGB）相加混色模型；一个不发光波的物体称为无源物

13、体，它的颜色由该物体吸收或者反射哪些光波决定，用（CMY）相减混色模型。,2.2 图像颜色模型,图像颜色模型（RGB&CMY）,颜色的三维表示,颜色空间是三维的线性空间，任何一种具有一定亮度的色光均可表示为该空间中的一个点（或过原点的一个向量），它由适当选择的三种基色光经加权混合而成。,选择不同的基色，可以得到不同的表色系统。,2.2 图像颜色模型,图像颜色模型（RGB&CMY）,RGB表色系统,2.2 图像颜色模型,图像颜色模型（RGB&CMY）,RGB表色系统,颜色空间中过原点的一个向量对应于实际中具有一定亮度的某种色光。,颜色向量可用于表示光的颜色：方向不同的颜色向量所表示的光的颜色不同

14、。,颜色向量也可用于描述光的亮度变化：方向相同但长度不同的颜色向量所表示的光的亮度不同。,2.2 图像颜色模型,图像颜色模型（RGB&CMY）,RGB表色系统,考虑方向相同而长度不同的两个颜色向量,在颜色空间中光的颜色仅由相应的R、G、B三刺激值之间的比例关系所确定。,结论：如果只对光的颜色本身感兴趣的话，基于颜色向量的表示方法就未必是很合理的。,2.2 图像颜色模型,图像颜色模型（色度图）,容易验证：它和实际的R、G、B三刺激值之间满足下列比例关系： R:G:B = r:g:b,色度,2.2 图像颜色模型,图像颜色模型（色度图）,r-g色度图,由于r、g、b三者之间不是独立的，故选择其中的两

15、个来描述颜色即可。,Chromaticity Diagram,把依据所选择的两个色度坐标在二维色度平面上描画出的所有颜色的图称为RGB表色系统的色度图。,2.2 图像颜色模型,图像颜色模型（色度图）,Chromaticity Diagram,r-g色度图存在的问题：,r-g色度图,r取负值的领域非常宽。一方面，这在视觉上显得不是很好看。另一方面，更重要的是为了配色往往要求使用负的色度值。这给实际的测定带来问题。,白色左上方的领域太宽，使得二维的色度空间未被均等地加以利用，从而导致相应的色度图对不同彩色的表现能力上存在差异。,x-y色度图,2.2 图像颜色模型,图像颜色模型（x-y色度图）,XY

16、Z表色系统,为克服在使用RGB表色系统进行配色时所遭遇到的困难，国际上又规定了一种称之为XYZ表色系统的新的表色系统。由于这种表色系统具有许多优良的性质，得到广泛的使用，并为CIE所采纳，成为CIE标准表色系统。,XYZ表色系统是对RGB表色系统进行坐标变换后产生的。配色方程为,相应的三个原刺激值均不为负； Y的数值正好是相应彩色光的光通量； 当X=Y=Z时，仍对应标准白光。,这里三个基色量(x)、(y)、(z)的选择满足以下三个条件：,2.2 图像颜色模型,图像颜色模型（x-y色度图）,XYZ表色系统,容易验证：它和实际的x、y、z之间满足下列比例关系： X:Y:Z = x:y:z,在颜色空

17、间中,(x,y,z)对应于单位面x+y+z=1上的点。,2.2 图像颜色模型,图像颜色模型（x-y色度图）,白色的色度坐标x=y=z=1/3所有实际的颜色均位于舌形线的内侧。位于舌形线上各点对应的颜色是纯色。,2.2 图像颜色模型,图像颜色模型（x-y色度图）,如图，若C1、C2、C3为所选择的基色组，则C1、C2、C3三点所围成的三角形就是基色组所确定的颜色范围，该三角形内所有的颜色都可以通过混合适量的C1、C2、C3所得到。,2.2 图像颜色模型,图像颜色模型（x-y色度图）,如果两种颜色的光按一定比例混合后能够得到白色光，那么我们就称其为互补色。例如，红色和青色、蓝色和黄色。从色度图上看

18、，互补色一定是位于一条过白色C点的线段的两端。,x =,X1+X2,C1+C2,y =,Y1+Y2,C1+C2,Ci = Xi+Yi+Zi, i = 1,2,2.2 图像颜色模型,图像颜色模型（x-y色度图）,如图所示，从C点过C1点作一条线段与光谱曲线相交，得到Cs点。这样，颜色C1就可以表示为颜色Cs和白光的混合。那么C1的主波长就为Cs。但这种方法不适用与那些C和紫色线之间的颜色点如C2点，因为紫色线不属于光谱范围。为此，我们作C2C的反向延长线，交光谱曲线于Cp点，则C2点的主波长就为Cp。,2.2 图像颜色模型,图像颜色模型（x-y色度图）,2.2.2 图像颜色模型,图像颜色模型（H

19、SI）,HSI色彩空间是从人的视觉系统出发，用色调、色饱和度和亮度来描述色彩。这个模型虽然比较复杂，但能把色调、亮度和色饱和度的变化情形表现得很清楚。,。HSI表示和RGB表示只是同一物理量的不同表示而已，它们之间存在着转换关系：,2.2 图像颜色模型,图像颜色模型（HSI）,2.2 图像颜色模型,图像颜色模型（HSI）,亮度,色饱和度,色调,2.2 图像颜色模型,图像颜色模型（YCrCb）,椭圆区域（放大显示）表示人眼无法与椭圆中心颜色进行区分的颜色范围，椭圆的大小、方向随着中心位置的变化而变化，因此不能用空间中的欧式距离度量颜色差异,2.2 图像颜色模型,图像颜色模型（YCrCb）,该模型

20、中Y代表了光源的亮度，而色度则包含在Cr、Cb两个参数里。此类模型被广泛采用在视频、电视信号的传输中，代表性的颜色模型有LAB,LUV等。由于人眼对亮度的敏感程度大于对色度的敏感程度，因此总是将最大的带宽分给Y信号。,YCrCb表示和RGB表示之间存在如下所示的转换关系：,色差(Color Difference),YCrCb颜色空间中的欧氏距离可以度量色差.,2.2 图像颜色模型,3. 数字相机,3. 数字相机,3.1 光学转换部分,The focal point F and focal length f of a positive (convex) lens, a negative (con

21、cave) lens,3.1 光学转换部分(焦距 focal length),3.1 光学转换部分 (光圈Aperture),A 35mm lens set to f/11. The depth-of-field scale (top) indicates that a subject which is anywhere between 1 and 2 meters in front of the camera will be rendered acceptably sharp. If the aperture were set to f/22 instead, everything from

22、 0.7meters to infinity would appear to be in focus.,3.1 光学转换部分(快门shutter),3.2 光电转换部分,光电传感器CCD:电荷耦合元件CMOS:互补金属氧化物半导体AGC: 自动增益控制ISO settings：100，200，400ISO 高，图像亮度增加，伴随噪声增加,3.3 图像处理部分,Demosaicing - is to reconstruct a full color image (i.e. a full set of color triples) from the spatially undersampled c

23、olor channels output from the CFA.,color filter array：Bayer mode,White Balance - 也叫Color Balance, 是指对三原色的全局调整，使得能够适应不同光照条件.Gamma - 校正补偿不同输出设备存在的颜色显示差异，从而使图像在不同的监视器上呈现出相同的效果。.,Compress （JPEG2000 or MPEG7）主要步骤：将图像由RGB空间映射到YCrCb空间将各颜色分量图像分为N个小块，计算每一块中所有象素各颜色分量的平均值，并以此作为该块的代表颜色将各块平均值数据做DCT(小波)变换通过之字形扫描和量化，取出3组颜色DCT(小波)变换后的低频分量，共同构成该图像的颜色布局描述符。,3.4 数字相机模型,3.5 研究热点问题(Recently, by 2005),Camera response functionNoise level functionChromatic aberrationVignettingSuper-resolutionDeblurringHigh Dynamic Range,