杨青青 Qingqing Yang qqyang@nit.zju.edu.cn 机器视觉 Machine Vision 杨青青 Qingqing Yang qqyang@nit.zju.edu.cn

课程相关信息提示 加分小任务（+3至5分）： 课件下载地址： 寻找一个机器视觉或计算机视觉应用，写篇小短文说 明。发送到邮箱: qqyang@nit.zju.edu.cn 截止 课件下载地址： http://yun.baidu.com/s/1sj1zRkD,可选 新地址： http://course.qqyang.org/ 一般在周三下午更新本周课程的课件

前一次课程：投影几何与相机模型 灭点 灭线 垂直灭点(无穷远处) 灭点和灭线 针孔相机模型和相机投影矩阵 齐次坐标系

本次课程内容 捕光机器 数码相机和图像 相关阅读：教材第2章 光的特性 如何测量光线 相机传感器 采样和量化 图像格式 Slides from James Hays, Derek Hoiem, Alexei Efros, Steve Seitz, and David Forsyth

上一次课程设计的相机 透镜将光线集中在胶片上 在一个特定的距离物体能够“聚焦” 改变透镜的形状可以改变这一距离 其余的点被投射到图像的弥散圆 弥散圆(circle of confusion) 本节将介绍光本身的特性和“数字胶片”，最终的图像格式 透镜将光线集中在胶片上 在一个特定的距离物体能够“聚焦” 其余的点被投射到图像的弥散圆 改变透镜的形状可以改变这一距离

图像格式 数码相机 胶片 人眼

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) λ light source ?

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ1 λ2 荧光是一种光致冷发光现象。当某种常温物质经某种波长的入射光照射，吸收光能后进入激发态，并且立即退激发并发出出射光（出射光波长比入射光长）；而且一旦停止入射光，发光现象也随之立即消失。具有这种性质的出射光就被称之为荧光。

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source t=1 t=n 磷光是一种缓慢发光的光致发光现象。当某种常温物质经某种波长的入射光照射，吸收光能后进入激发态，然后缓慢地退激发并发出比入射光的的波长长的出射光，而且与荧光过程不同，当入射光停止后，发光现象持续存在，其衰退时间大于 秒。发出磷光的退激发过程是被量子力学的跃迁选择规则禁戒的，因此这个过程很缓慢。

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ (镜面互反射)

光子的选择 吸收(absorption) 漫射(diffusion) 反射(reflection) 透射(transparency) 折射(refraction) 荧光(fluorescence) 次表面散射(subsurface scattering) 磷光(phosphorescence) 相互反射(interreflection) light source λ (镜面互反射)

朗伯反射（Lambertian Reflectance） 在计算机与机器视觉中，一般假设物体表面符合 理想的漫反射条件，并且与观察方向有确定已知 的关联性。

数码相机（Digital camera） 数码相机中，使用传感器整列替代了胶片 阵列中的每一个单元都是一个光敏二极管，将光信号转换为电 信号 两种常见的传感器类型： CCD(Charge Coupled Device ,电荷耦合元件) CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导 体元件) CMOS(Complementary Metal Oxide Semiconductor)指互补金属氧化物(PMOS管和NMOS管)共同构成的互补型MOS集成电路制造工艺，它的特点是低功耗。

数码相机（Digital camera） 数码相机的成像的典型流程 RAW格式存储未进行数字处理的图像 JPEG存储根据相机设置处理后的压缩图像

相机传感器整列(Sensor Array) 数码相机（Digital camera） 相机传感器整列(Sensor Array) CMOS sensor

采样（Sampling）和量化（Quantization） 数码相机（Digital camera） 采样（Sampling）和量化（Quantization） a，连续图像； b, 从A到B的一条扫描线上的连续图像，用于说明采样和量化 c, 采样和量化 d, 数字化的扫描线

隔行(Interlace) vs 逐行(progressive)扫描 数码相机（Digital camera） 隔行(Interlace) vs 逐行(progressive)扫描 http://www.axis.com/products/video/camera/progressive_scan.htm

逐行扫描(progressive scan) 数码相机（Digital camera） 逐行扫描(progressive scan) http://www.axis.com/products/video/camera/progressive_scan.htm

数码相机（Digital camera） 隔行扫描(interlace) http://www.axis.com/products/video/camera/progressive_scan.htm

滚动快门(Rolling Shutter) 数码相机（Digital camera） 滚动快门(Rolling Shutter) 大部分基于CMOS传感器的相机都存在这样的问题，源于CMOS传感器的逐行曝光原理。 即便是先进的数码单反（DSLRs）也不能避免类似的问题。 特别是拍摄高速运动物体，会有倾斜畸变。 CCD传感器使用全局曝光，可以避免这样的问题。 拍摄高速运动物体，会有倾斜畸变

眼睛（the eye） 人眼就是一款神奇的生物相机！ 虹膜(Iris) – 带有放射肌的有色圆环，可以控制瞳孔大小 瞳孔(Pupil) – 小孔（光圈），大小由虹膜伸缩控制 胶片是什么？ 视网膜(retina)上的感光细胞

眼睛（the eye） 视网膜(retina) ganglion axons ：神经轴突 ganglion cell layer：神经节细胞层 bipolar cell layer：双极细胞层 Receptor layer：受体层 pigmented epithelium：色素上皮

眼睛（the eye） 视网膜(retina)—近距离观察 光线 ganglion axons ：神经轴突 ganglion cell layer：神经节细胞层 bipolar cell layer：双极细胞层 Receptor layer：受体层 pigmented epithelium：色素上皮 光线

人眼不具备的结构—光神经纤维层(tapetum lucidum) 眼睛（the eye） 人眼不具备的结构—光神经纤维层(tapetum lucidum) 光神经纤维层(tapetum lucidum)可将穿透视网膜但却没被感应到的光，反射后再通过视网膜一次，增加感应机会，强化夜视能力。

眼睛（the eye） 感光细胞 视锥细胞 Cones 锥形细胞 敏感度较低 在强光下作用 能够感受彩色 视杆细胞 Rods 杆状细胞 高敏感度 弱光下工作 智能感受灰度

眼睛（the eye） 视锥细胞和视杆细胞的敏感度测量

眼睛（the eye） 视锥细胞和视杆细胞的分布 视锥细胞和视杆细胞并非均匀分布 Fovea：视网膜中央凹 视锥细胞和视杆细胞并非均匀分布 Fovea：视网膜中央凹（很小的范围1 - 2°）的视锥细胞密度最高 外围的视敏度最低——很多视杆细胞包覆相同的神经元

当一只眼睛闭合，在适当的距离，所有的字母应当具有相同清晰度 眼睛（the eye） 视觉现象 当一只眼睛闭合，在适当的距离，所有的字母应当具有相同清晰度

当一只眼睛闭合，另一只眼睛注视十字，在适当的距离，黑点会消失 眼睛（the eye） 视觉现象：盲点 当一只眼睛闭合，另一只眼睛注视十字，在适当的距离，黑点会消失

眼睛（the eye） 视觉现象：亮度取决于周围环境 相同亮度的方块在黑色背景下显得更亮

光（Light) 电磁光谱 至少覆盖三个光带(R,G,B) 人眼的感光范围

光（Light) 可见光 为什么我们可以看见这些波长的光线？ …因为这个波段是 太阳的电磁辐射波段 人眼的感光范围 因为这个波段式太阳的峰值辐射波长 而大气层在这个范围内是近乎透明的 人眼的感光范围 © Stephen E. Palmer, 2002

光的物理描述 光（Light) 可见光 每一束光线都可以通过它的频谱来描述： 每个波长400-700nm中包含的光子数（单位时间） © Stephen E. Palmer, 2002

光的物理描述 光（Light) 可见光 一些光源的频谱描述 © Stephen E. Palmer, 2002

光的物理描述 可见光 一些表面的反射光谱 Red 400 700 Yellow 400 700 Blue 400 700 Purple 400 700 Yellow 400 700 Blue 400 700 Purple 400 700 % 反射的光子 © Stephen E. Palmer, 2002

精神物理学的对应 对于在不同条件下所有感知到的光线色彩，并没有简单的函数可以进行描述，但是…… 一个可行的约束： 只考虑满足正态分布的物理光谱 均值mean 面积area 方差variance © Stephen E. Palmer, 2002

精神物理学的对应 均值 Mean 色度 Hue # Photons Wavelength © Stephen E. Palmer, 2002

精神物理学的对应 方差 Variance 饱和度 Saturation # Photons Wavelength © Stephen E. Palmer, 2002

精神物理学的对应 面积 Area 亮度 Brightness # Photons Wavelength © Stephen E. Palmer, 2002

颜色视觉生理学 三种视锥细胞： 为什么有三种视锥细胞？ 认为视网膜上存在分别对红，绿，蓝的光线特别敏感的3种视锥细胞或相应的3种感光色素。当某一种颜色的光线作用于3种视锥细胞通过混色，人大脑就产生某一颜色的感觉。此学说能够解释混色现象和色盲的原因，但不能说明视后像，色对比，对立色等现象。 为什么有三种视锥细胞？ © Stephen E. Palmer, 2002

相机的色彩传感器(RGB) 3-chip vs. 1-chip：性能vs.成本 为何绿色更多？ 为何是3色的？

相机的色彩传感器(RGB) 实际色彩传感器：Bayer Grid 由周围的单元估 计‘G’单元的 RGB值

彩色图像 R G B

彩色图像 Matlab中的图像表示 column R row G B 图像表示为矩阵 彩色图像由三维矩阵表示 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78 G 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78 B 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78

彩色空间 如何描述颜色

彩色空间 RGB彩色空间 0,1,0 R G 1,0,0 0,0,1 B 缺点 彩色通道间联系密切 不直观 (G=0,B=0) (R=0,B=0) B (R=0,G=0) 缺点 彩色通道间联系密切 不直观

彩色空间 HSV彩色空间：直观的彩色空间 H (S=1,V=1) S (H=1,V=1) V (H=1,S=0)

彩色空间 YCbCr彩色空间 Y=0 Y=0.5 Y Cr Cb Cb Y=1 Cr 计算快速，方便压缩，常在TV中使用

彩色空间 L*a*b*彩色空间 视觉上均衡的彩色空间 L (a=0,b=0) a (L=65,b=0) b (L=65,a=0)

彩色空间 如果必须要失去一种， 你会选择失去亮度还是失去色度？

彩色空间 只显示颜色 – 恒定亮度

彩色空间 只显示亮度 – 恒定颜色 亮度值保留了更多的信息！

彩色空间 原始图片

回到灰度值 0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.99 0.95 0.89 0.82 0.56 0.31 0.75 0.81 0.91 0.72 0.51 0.55 0.42 0.57 0.41 0.49 0.96 0.88 0.46 0.87 0.90 0.71 0.80 0.79 0.60 0.58 0.50 0.61 0.45 0.33 0.86 0.84 0.74 0.39 0.73 0.67 0.54 0.48 0.69 0.66 0.43 0.77 0.78

下节内容 图像滤波—图像处理和机器视觉的基础 参考书本2.1.5节