摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室.

Presentation on theme: "摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室."— Presentation transcript:

1 摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室

2 主要内容 1、引言 2、图象的形成过程 3、传统标定方法 DLT方法，RAC方法和简易标定方法 4、 预备知识 5、摄像机自标定
6、基于主动视觉的摄像机标定 7、分层重建理论 8、多视点几何

3 引言 几个问题 什么是摄像机标定 ？ 为什么要对摄像机进行标定 ？ 为什么要研究不同的摄像机标定方法？ 什么是三维重建 ？
为什么要进行三维重建 ？

4 引言 三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982)
所谓三维重建就是指从二幅和二幅以上图象恢复空间点三维坐标的过程。 三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定

5

6 图象的形成过程 和 摄像机针孔模型

7 坐标系 1、世界坐标系： 2、摄像机坐标系： 3、图像坐标系: 说明： 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系
O u 摄像机坐标系 y x v 图像坐标系 说明： 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系 分别描述畸变前后的坐标关系

8 摄像机光学成像过程的四个步骤 世界坐标系 刚体变换 摄像机坐标系 透视投影 理想图像坐标系 畸变校正 真实图像坐标系 数字化图像
1、刚体变换公式 刚体变换 透视投影 畸变校正 数字化图像 世界坐标系 摄像机坐标系 真实图像坐标系 数字化图像坐标系 理想图像坐标系 齐次坐标形式

9 2、透视投影——透镜成像原理图 一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替 f=OB 为透镜的焦距 m=OC 为像距
物体 A 图像 O 一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替 f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距

10 2、透视投影——小孔成像模型 o 写成齐次坐标形式为

11 2、中心透视投影模型 o f 写成齐次坐标形式为

12 3、畸变校正——径向和切向畸变 径向畸变 径向失真 离心畸变 切向失真 薄透镜畸变 dr :radial distortion
Ideal Position Position with distortion dr :radial distortion dt :tangential distortion

13 3、畸变校正——其它畸变类型 a b 薄棱镜畸变 桶形畸变a和枕形畸变b Axis of max Tangential
Axis of min tangential distortion Axis of max Tangential a :barrel distortion b :pincushion distortion a b 桶形畸变a和枕形畸变b 薄棱镜畸变

14 4、图像数字化 在 中的坐标为 象素在轴上的物理尺寸为 U C V Affine Transformation : 齐次坐标形式: 其中

15 摄像机的内参数矩阵 K

16 线性摄像机成像模型 最终得到： 图像像素坐标系 图像物理坐标系 摄像机坐标系 世界坐标系 图像像素坐标系 世界坐标系
这是忽略畸变的线性成像模型

17 传统的摄像机标定方法 特点 要求摄像机标定块，算法复杂，精度高

18 直接线性变换（DLT变换） DLT: Direct Linear Transformation

19 DLT变换 Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法，他们从摄影测量
学的角度深入的研究了像机图像和环境物体 之间的关系，建立了像机成像几何的线性模 型，这种线性模型参数的估计完全可以由线 性方程的求解来实现。

20 DLT变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式： 其中 为图像坐标系下的点的齐次坐标， 为
其中 为图像坐标系下的点的齐次坐标， 为 世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩 阵， 为未知尺度因子。

21 DLT变换 消去 ，可以得到方程组:

22 DLT变换 当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： 其中 为 的矩阵， 为透视投影矩阵元素组成的
当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： 其中 为 的矩阵， 为透视投影矩阵元素组成的 向量 。

23 DLT变换 像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束：
像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束： 为 的前11个元素组成的向量， 为 前11列组成的矩阵， 为 第12列组成的向量。

24 DLT变换 是否合理？ 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 则
约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 则 显然在一般的情况下

25 DLT变换 另一个约束 具有旋转和平移的不变性 向量 , , 是两两 垂直的单位向量 由

26 R. Tsai 的 RAC的定标算法

27 简 介 80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作，该方 法的核心是利用径向一致约束来求解除 （像 机光轴方向的平移）外的其它像机外参数，然 后再求解像机的其它参数。基于RAC方法的最大 好处是它所使用的大部分方程是线性方程，从 而降低了参数求解的复杂性，因此其定标过程 快捷，准确。

28 主要内容 像机模型 径向一致约束 定标算法

29 像机模型 世界坐标系和摄像机坐标系的关系

30 像机模型 摄像机坐标系和图像坐标系的关系

31 理想图像坐标到实际图像坐标的变换 （只考虑径向偏差）
像机模型 理想图像坐标到实际图像坐标的变换 （只考虑径向偏差）

32 像机模型 从实际图像坐标到数字图像坐标的变换

33 径向一致约束 径向一致约束:

34 定标算法 1.利用径向一致约束来求解 和 定标步骤: 2.求解有效焦距 、 方向上的平移和畸变参数

35 定标算法——步骤一 1.求解外像机参数旋转矩阵 和 、 方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程
1.求解外像机参数旋转矩阵 和 、 方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 其中

36 定标算法——步骤一 如果得到一系列数目大于7个的标志点和它们的对应投影 图像点，就变成了一个过限制方程组，可以由最小二乘法
解出以下的7个变量 2.计算 由

37 先假定取正号，由以下的公式可以计算出旋转矩阵 和
定标算法——步骤一 3.确定 由 ， 4.计算旋转矩阵 和 ，并确定 的符号 先假定取正号，由以下的公式可以计算出旋转矩阵 和

38 定标算法——步骤一 取世界坐标系中任一标志点 ,则可以计算出其在 像机坐标系中的坐标 同时取这个坐标点在图像上的投影点
取世界坐标系中任一标志点 ,则可以计算出其在 像机坐标系中的坐标 同时取这个坐标点在图像上的投影点 在实际像机系统中， 应该 和同号，如果计算出两者异号， 则 取为负号。最后求解

39 定标算法——步骤二 对于一个标志点，可以得到以下的两个方程 当不存在径向畸变时， 。 式变为 式

40 定标算法——步骤二 对于一系列的标志点，则形成了一个超定的方程组，可以 用线性最小二乘法求出 和 。
用线性最小二乘法求出 和 。 当存在径向畸变时，仍应用式 求出 和 的初始值，然后 将求出的 和 连同 作为条件，对式 进行非线性优化， 估计出 、 和 的真实值。

41 张正友的平面标定方法

42 张正友的平面标定方法 基本原理： 在这里假定模板平面在世界坐标系 的平面上
在这里假定模板平面在世界坐标系 的平面上 其中， 为摄像机的内参数矩阵， 为模板平面上点的齐次坐标， 为模板平面上点投影到图象平面上对应点的齐次坐标， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量

43 张正友的平面标定方法 其中 根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束
根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束 由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出

44 张正友的平面标定方法 张正友方法所用的平面模板

45 张正友的平面标定方法 算法描述 打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数
求出畸变系数 优化求精

46 张正友的平面标定方法 张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。 张的方法的缺点是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。