第3章 高维图象采集 3.1 高维图象 3.2 成象变换和摄象机模型 3.3 摄象机标定 3.4 深度图象采集 3.5 显微镜3-D分层成象

Presentation on theme: "第3章 高维图象采集 3.1 高维图象 3.2 成象变换和摄象机模型 3.3 摄象机标定 3.4 深度图象采集 3.5 显微镜3-D分层成象"— Presentation transcript:

1

2 第3章 高维图象采集 3.1 高维图象 3.2 成象变换和摄象机模型 3.3 摄象机标定 3.4 深度图象采集 3.5 显微镜3-D分层成象
第3章 高维图象采集 3.1 高维图象 3.2 成象变换和摄象机模型 3.3 摄象机标定 3.4 深度图象采集 3.5 显微镜3-D分层成象 章毓晋 (TH-EE-IE)

3 3.1 高维图象 对图象的理解是要从数字图象出发依靠计算机来观察和认识世界 3.1.1 高维图象种类 3.1.2 本征图象和非本征图象
3.1 高维图象 对图象的理解是要从数字图象出发依靠计算机来观察和认识世界 3.1.1　高维图象种类 3.1.2　本征图象和非本征图象 章毓晋 (TH-EE-IE)

4 3.1.1 高维图象种类 一般的图象表达函数应是一个具有5个变量的矢量函数 f (x, y, z, t, l)
高维图象种类 一般的图象表达函数应是一个具有5个变量的矢量函数 f (x, y, z, t, l) 其中x，y，z是空间变量，t代表时间变量，l是频谱变量（波长） 实际图象是时空有限的，各种辐射的波长有一定范围，所以图象表达函数是一个5-D有限函数 从 f (x, y)到 f (x, y, z, t, l) 章毓晋 (TH-EE-IE)

5 3.1.1 高维图象种类 (1) 从 f (x, y)到 f (x, y, z)
高维图象种类 (1) 从 f (x, y)到 f (x, y, z) 景物表面  将景物沿采集方向分成多片，对每片成象，结合起来就可获得景物完整的3-D信息（包括物体内部） (2) 从 f (x, y)到 f (x, y, t) 某个给定时刻  沿时间轴连续采集多幅图象可获得一段时间内的完整信息（包括动态信息） 章毓晋 (TH-EE-IE)

6 f (x, y) = [fr(x, y), fg(x, y), fb(x, y)]
高维图象种类 (3) 从 f (x, y)到 f (x, y, l) 对应某个波长  利用不同的波长辐射可获得反映场景不同性质（对应景物表面对不同波长l的反射和吸收特性）的图象 (4) 从 f (x, y)到 f (x, y) 给定空间位置的某一个性质 场景可有多种性质，图象在点(x, y)处也可有多个值 f (x, y) = [fr(x, y), fg(x, y), fb(x, y)] 章毓晋 (TH-EE-IE)

7 3.1.1 高维图象种类 (5) f (x, y) 和 z = f (x, y)
高维图象种类 (5) f (x, y) 和 z = f (x, y) 将f (x, y)看作是将3-D场景进行投影而采集到的图象。在这个过程中，丢失了深度（或距离）信息。如果结合对同一个场景在不同视点采集到的多个图象可获得该场景的完整信息（包括深度信息） 性质为深度的图象：z = f (x, y)，由深度图可进一步获得3-D图象f (x, y, z) 章毓晋 (TH-EE-IE)

8 本征图象和非本征图象 图象是场景的象。场景和场景中的物体具有一些与观察者和采集器性质无关的本身客观存在的特性称为（场景的）本征特性 表示本征特性的图象称为本征图象 非本征图象所表示的物理量不仅与场景有关，而且与观察者或采集器的性质或图象采集的条件或周围环境等有关 章毓晋 (TH-EE-IE)

9 3.1.2 本征图象和非本征图象 许多图象理解问题可归结为由非本征图象去恢复本征特性，即获得本征图象
本征图象和非本征图象 许多图象理解问题可归结为由非本征图象去恢复本征特性，即获得本征图象 从图象采集的角度说，要获得本征图象有两种方法：一种是直接采集本征图象，一种是采集含有本征信息的非本征图象再通过图象技术恢复本征特性 (1)成象装置 (2)成象方式 章毓晋 (TH-EE-IE)

10 3.2 成象变换和摄象机模型 图象采集：场景投影转换到图象 四个坐标系统： (1) 世界（world）坐标系统 (2) 摄象机坐标系统
3.2 成象变换和摄象机模型 图象采集：场景投影转换到图象 四个坐标系统： (1)　世界（world）坐标系统 (2)　摄象机坐标系统 (3)　象平面坐标系统 (4)　计算机图象坐标系统 章毓晋 (TH-EE-IE)

11 3.2 成象变换和摄象机模型 3.2.1 一般摄象机模型 3.2.2 近似投影模式 3.2.3 通用成象模型 成象模型：
3.2 成象变换和摄象机模型 成象模型： 取决于四个坐标系统间不同的关系 3.2.1　一般摄象机模型 3.2.2　近似投影模式 3.2.3　通用成象模型 章毓晋 (TH-EE-IE)

12 一般摄象机模型 世界坐标系统和摄象机坐标系统分开 章毓晋 (TH-EE-IE)

13 3.2.1 一般摄象机模型 转换为世界坐标系统与摄象机坐标系统重合时的 摄象机模型： ① 将象平面原点按D移出世界坐标系统的原点
一般摄象机模型 转换为世界坐标系统与摄象机坐标系统重合时的 摄象机模型： ① 将象平面原点按D移出世界坐标系统的原点 ② 以某个 角（绕z轴）扫视x轴 ③ 以某个a角对z轴倾斜（绕z轴旋转） 章毓晋 (TH-EE-IE)

14 一般摄象机模型 一系列变换 用Ch的第四项去除它的第一和第二项 章毓晋 (TH-EE-IE)

15 近似投影模式 1.□正交投影 章毓晋 (TH-EE-IE)

16 3.2.2 近似投影模式 2.□弱透视投影 采用投影和图像平面内的等比例缩放
近似投影模式 2.□弱透视投影 采用投影和图像平面内的等比例缩放 当物距是景物尺度的20倍时，用弱透视投影近似透视投影的效果比较好 章毓晋 (TH-EE-IE)

17 3.2.2 近似投影模式 3.□侧透视投影 介于正交投影和透视投影 (1)□将S正交投 影到投影平面 (2)□将投影平 面上的投影再
近似投影模式 3.□侧透视投影 介于正交投影和透视投影 (1)□将S正交投 影到投影平面 (2)□将投影平 面上的投影再 次透视投影到 像平面上 章毓晋 (TH-EE-IE)

18 通用成象模型 四个系统全分开 章毓晋 (TH-EE-IE)

19 3.2.3 通用成象模型 (1) 从(X, Y, Z)到(x, y, z) (2) 从 (x, y, z)到(x', y')
通用成象模型 (1)　从(X, Y, Z)到(x, y, z) (2)　从 (x, y, z)到(x', y') 章毓晋 (TH-EE-IE)

20 3.2.3 通用成象模型 (3) 从(x', y' )到(x*, y* ) (4) 从(x*, y* )到(M , N )
通用成象模型 (3)　从(x', y' )到(x*, y* ) (4)　从(x*, y* )到(M , N ) 章毓晋 (TH-EE-IE)

21 3.3 摄象机标定 也称为摄象机定标、校准或校正 3.3.1 标定程序和参数 3.3.2 两级标定法 章毓晋 (TH-EE-IE)

22 3.3.1 标定程序和参数 令 A = PRT {式(3.3.1)到式(3.3.4)}
标定程序和参数 {式(3.3.1)到式(3.3.4)} 令 A = PRT 标定程序：① 获得M ≥ 6个具有已知世界坐标(Xi, Yi, Zi)，i = 1, 2, …, M的空间点；② 用摄象机在给定位置拍摄这些点以得到它们对应的象平面坐标(xi, yi)，i = 1, 2, …, M；③ 把这些坐标代入上两式以解出未知系数 章毓晋 (TH-EE-IE)

23 3.3.1 标定程序和参数 考虑通用成象模型 外部 1：需校准的参数是旋转矩阵R和平移矢量T 内部 2：需校准的参数是焦距 f
标定程序和参数 考虑通用成象模型 外部 1：需校准的参数是旋转矩阵R和平移矢量T 内部 2：需校准的参数是焦距 f 3：需校准的参数是镜头径向失真系数k 4：需校准的参数是不确定性图象尺度因子m 章毓晋 (TH-EE-IE)

24 3.3.2 两步标定法 第1步计算R和Tx与Ty，第2步计算f，k，Tz i Xi Yi Zi xi yi 1 0.00 5.00
两步标定法 第1步计算R和Tx与Ty，第2步计算f，k，Tz i Xi Yi Zi xi yi 1 0.00 5.00 – 0.58 2 10.00 7.50 1.73 1.00 3 4 5 – 1.00 章毓晋 (TH-EE-IE)

25 两步标定法 具体标定方法 章毓晋 (TH-EE-IE)

26 两步标定法 (1) 设 S = s12 + s22 + s32 + s42 (2) (3) 章毓晋 (TH-EE-IE)

27 3.3.2 两步标定法 (4) 计算其它旋转参数 (5) 建立另一组线性方程来计算焦距 f 和z方向的平移参数Tz t = [f Tz]T
两步标定法 (4) 计算其它旋转参数 (5) 建立另一组线性方程来计算焦距 f 和z方向的平移参数Tz t = [f Tz]T 章毓晋 (TH-EE-IE)

28 3.3.2 两步标定法 (6) 如果f < 0，将r3，r6，r7，r8，f 和Tz取负
两步标定法 (6) 如果f < 0，将r3，r6，r7，r8，f 和Tz取负 (7) 利用对 t 的估计来计算镜头的径向失真 k 用非线性回归方法解上述方程即可得到k，f 和Tz 章毓晋 (TH-EE-IE)

29 3.4 深度图象采集 3.4.1 飞行时间法 3.4.2 结构光法 3.4.3 莫尔等高条纹法 3.4.4 深度和亮度图象同时采集
3.4 深度图象采集 深度图象是一种基本的本征图象 深度图象可直接采集 由深度图象可直接获取景物的几何形状 3.4.1　飞行时间法 3.4.2　结构光法 3.4.3　莫尔等高条纹法 3.4.4　深度和亮度图象同时采集 章毓晋 (TH-EE-IE)

30 3.4.1 飞行时间法 采用雷达测距的原理，测量光波从光源发出 经被测物反射后回到传感器所需的时间
飞行时间法 采用雷达测距的原理，测量光波从光源发出 经被测物反射后回到传感器所需的时间 基于飞行时间（time of flight）的深度图获取 一般使用点源，所以也称飞点法 传播时间 t 与被测距离d 的关系 测距的关键是精确地测量时间 如果要求空间距离分辨率为0.001m，则时间 分辨率要达到6610–13s 章毓晋 (TH-EE-IE)

31 3.4.1 飞行时间法 (1) 脉冲时间间隔测量法{图3.2.3} (2) 幅度调制的相位测量法{图3.2.4}
飞行时间法 (1) 脉冲时间间隔测量法{图3.2.3} (2) 幅度调制的相位测量法{图3.2.4} (3) 频率调制的相干测量法 对连续激光源发出的激光以一定频率的线性波形进行频率调制，调制后的激光频率在FDF/2之间呈现线性周期变化 章毓晋 (TH-EE-IE)

32 飞行时间法 拍频信号 相干条纹数N 章毓晋 (TH-EE-IE)

33 结构光法 成象高度 章毓晋 (TH-EE-IE)

34 结构光法 成象宽度 章毓晋 (TH-EE-IE)

35 3.4.3 莫尔等高条纹法 基本原理 两个光栅呈一定倾角且重迭时可以形成莫尔条纹 二次空间调制 四个空间频率，低通滤波 两个光栅的周期相同
莫尔等高条纹法 基本原理 两个光栅呈一定倾角且重迭时可以形成莫尔条纹 二次空间调制 四个空间频率，低通滤波 两个光栅的周期相同 章毓晋 (TH-EE-IE)

36 莫尔等高条纹法 基本方法 章毓晋 (TH-EE-IE)

37 莫尔等高条纹法 改进方法 章毓晋 (TH-EE-IE)

38 3.4.4 深度和亮度图象同时采集 LIDAR（Light Detection And Range）
深度和亮度图象同时采集 LIDAR（Light Detection And Range） 对3-D物体表面上的每个点，该点的空间坐标X和Y与平台的仰俯和水平运动有关，其深度Z则与相位差密切联系，而该点对给定波长的激光的反射特性可借助波的幅度差来确定。这样就同时获得两幅配准了的图象，深度图象和亮度图象 章毓晋 (TH-EE-IE)

39 3.5 显微镜3-D分层成象 3.5.1 显微镜3-D成象 3.5.2 共聚焦显微镜3-D成象 用显微镜观察标本，受景深影响
(1)　仅在聚焦平面的结构是清晰可见的 (2)　在聚焦平面附近的结构虽然可见，但模糊 (3)　离聚焦平面较远的结构不可见但仍然对采集 的图象有贡献 3.5.1　显微镜3-D成象 3.5.2　共聚焦显微镜3-D成象 章毓晋 (TH-EE-IE)

40 3.5.1 显微镜3-D成象 光学切片 先考虑样本仅在 Z = zf处密度不为零 样本函数p(x, y, z) 与焦平面偏离量zo - zf
章毓晋 (TH-EE-IE)

41 3.5.1 显微镜3-D成象 光学切片 将3-D的样本模型化 在zf 得到的目标平面图象
章毓晋 (TH-EE-IE)

42 3.5.1 显微镜3-D成象 消除光学切割图象带来的模糊 利用反卷积来恢复p(x, y, z) 变换回空域 用有限和来逼近
章毓晋 (TH-EE-IE)

43 3.5.2 共聚焦显微镜3-D成象 要点： 每次仅照明聚焦平面，仅获得聚焦平面处的图象 用一个激光束对显微镜的光学聚焦平面进行扫描
引入检测针孔，有效抑制不在焦平面的散焦问题 在散焦平面的贡献以与焦平面的距离平方而衰减 共聚焦显微镜的总点扩散函数是普通显微镜的点 扩散函数的平方 章毓晋 (TH-EE-IE)

44 共聚焦显微镜3-D成象 聚焦正确的反射光（实线）通过检测针孔被检测器检测到，而不在焦平面的散焦光线（虚线）则以与焦平面距离的平方成比例地扩散，减少了检测器对散焦光线的检测量 章毓晋 (TH-EE-IE)

45 3.5.2 共聚焦显微镜3-D成象 共聚焦激光扫描显微镜对目标的无失真重建能力
(1)　 假设沿光轴（深度）方向有一个周期的结 构，在普通的显微镜成象中，由于在所有深 度上的辐射亮度都是一样的，这个结构将不 会被显示出来 在共聚焦激光扫描显微镜成象中，由于照度会沿深度方向很快的衰减，当波长不是很短时，则沿深度方向仍可观察到周期性的变化 章毓晋 (TH-EE-IE)

46 3.5.2 共聚焦显微镜3-D成象 共聚焦激光扫描显微镜对目标的无失真重建能力
(2)　借助点扩散函数来解释这个问题。共聚焦激 光扫描显微镜的点扩散函数是空间密度分布 函数和光学成象的点扩散函数的乘积。由于 两个函数都随深度的平方而衰减，共聚焦激 光扫描显微镜的点扩散函数将随深度的四次 方而衰减。这样的快速衰减将导致沿深度方 向产生一个非零的光学转移函数OTF （optical transfer function） 章毓晋 (TH-EE-IE)

47 联 系 信 息 通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室
联 系 信 息 通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：(010) 传真号码：(010) 个人主页： 实验室网：image.ee.tsinghua.edu.cn 章毓晋 (TH-EE-IE)