中国科学院自动化研究所 模式识别国家重点实验室

Presentation on theme: "中国科学院自动化研究所 模式识别国家重点实验室"— Presentation transcript:

1 中国科学院自动化研究所 模式识别国家重点实验室 http://www.nlpr.ia.ac.cn/english/rv
摄相机标定 中国科学院自动化研究所 模式识别国家重点实验室

2 主要内容 1、引言：什么是摄相机标定 2、摄相机标定方法的分类 3、传统摄相机标定方法（或利用景物信息的标定方法）
4、主动视觉摄相机标定方法 5、摄相机自标定方法

3 1、引言

4 视觉目的 三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982)
所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。 三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定

5 坐标系 世界坐标系 1、世界坐标系： 2、摄像机坐标系： 3、图像坐标系: O u 摄像机坐标系 x y v 图像坐标系

6 图像数字化 在 中的坐标为 象素在轴上的物理尺寸为 U C V Affine Transformation : 齐次坐标形式: 其中

7 摄像机的内参数矩阵 K

8 2、摄相机标定方法分类

9 分三类 传统摄像机标定方法 主动视觉摄像机标定方法 摄像机自标定方法

10 1. 传统的摄像机标定方法 特点 利用已知的景物结构信息。常用到标定块。

11 1. 传统的摄像机标定方法 优点 不足 可以使用于任意的摄像机模型，标定精度高 标定过程复杂，需要高精度的已知结构信息。
在实际应用中很多情况下无法使用标定块。

12 2. 主动视觉摄像机标定方法 特点 优点 通常可以线性求解，鲁棒性比较高 不足 已知摄像机的某些运动信息
不能使用于摄像机运动未知和无法控制的场合

13 3. 摄像机自标定方法 特点 优点 不足 仅依靠多幅图像之间的对应关系进行标定 仅需要建立图像之间的对应，灵活性强，潜在 应用范围广。
非线性标定，鲁棒性不高

14 3、摄像机传统标定方法

15 主要内容 3.1、DLT方法 3.2、RAC方法 3.3、张正友的平面标定方法(ICCV, 1999)
3.4、孟胡的平面圆标定方法(PR, 2003) 3.5、吴毅红等的平行圆标定方法(ECCV, 2004)

16 3.1、直接线性变换（DLT变换） DLT: Direct Linear Transformation

17 DLT变换 Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法，他们从摄影测量
学的角度深入的研究了像机图像和环境物体 之间的关系，建立了像机成像几何的线性模 型，这种线性模型参数的估计完全可以由线 性方程的求解来实现。

18 DLT变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式： 其中 为图像坐标系下的点的齐次坐标， 为
其中 为图像坐标系下的点的齐次坐标， 为 世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩 阵， 为未知尺度因子。

19 DLT变换 消去 ，可以得到方程组:

20 DLT变换 当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： 其中 为 的矩阵， 为透视投影矩阵元素组成的
当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： 其中 为 的矩阵， 为透视投影矩阵元素组成的 向量 。

21 DLT变换 像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束：
像机定标的任务就是寻找合适的 ，使得 为最小，即 给出约束： 为 的前11个元素组成的向量， 为 前11列组成的矩阵， 为 第12列组成的向量。

22 DLT变换 是否合理？ 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 则
约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明： 世界坐标系作刚性坐标变换 则 显然在一般的情况下

23 DLT变换 另一个约束 具有旋转和平移的不变性 向量 , , 是两两 垂直的单位向量 由

24 3.2、R. Tsai 的 RAC的定标算法

25 简 介 80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作，该方 法的核心是利用径向一致约束来求解除 （像 机光轴方向的平移）外的其它像机外参数，然 后再求解像机的其它参数。基于RAC方法的最大 好处是它所使用的大部分方程是线性方程，从 而降低了参数求解的复杂性，因此其定标过程 快捷，准确。

26 主要内容 像机模型 径向一致约束 定标算法

27 像机模型 世界坐标系和摄像机坐标系的关系 x y 在Tsai的方法中，K 取作：

28 理想图像坐标到数字图像坐标的变换 （只考虑径向偏差）
像机模型 （x, y） (u, v) 理想图像坐标到数字图像坐标的变换 （只考虑径向偏差） （uc, vc） (u, v)为一个点的数字化坐标，（x, y）为理想的数字化坐标，（uc, vc）为畸变中心。

29 径向一致约束 在图像平面上，点（xc, yc），（x, y），（u, v) 共线，或者直线(xc, yc)(x, y)与直线（ xc, yc ）（ u, v ）平行或斜率相等，则有： 通常把图像中心取作畸变中心和主点的坐标，因此：

30 定标算法 1.利用径向一致约束来求解 和 定标步骤: 2.求解有效焦距 、 方向上的平移t3 和畸变参数

31 定标算法——步骤一 1.求解像机外参数旋转矩阵 和 、 方向上的平移 根据： 得到：

32 定标算法——步骤一 再根据： 得到： 由至少7组对应点，可以求得一组解
M0=(m1, m2, m3, m4, m5, m6, m7, m8) (sr1, sr2, sr3, st1, r4, r5, r6, t2)

33 定标算法——步骤一 对M0除以 (sr1, sr2, sr3, st1, r4, r5, r6, t2) 则得到一组解 。
则得到一组解 。 (sr1, sr2, sr3, st1, r4, r5, r6, t2) 由 可求出s, 从而 t1也可被解出。 或者 根据 ， 来选择

34 定标算法——步骤二 2. 求解t3, f, k1 k1=0 作为初始值，则：

35 定标算法——步骤二 将 x, y 的表达式代入，并将上一步中求出的 R, t1, t2 的值代入，得： 由此可解出 f , t3

36 将求出的 和 连同 作为初始值，对下式进行非线性优化
定标算法——步骤二 将求出的 和 连同 作为初始值，对下式进行非线性优化 估计出 、 和 的真实值。

37 3.3、张正友的平面标定方法

38 张正友方法

39 张正友方法 基本原理： H 在这里假定模板平面在世界坐标系 的平面上
在这里假定模板平面在世界坐标系 的平面上 其中， 为摄像机的内参数矩阵， 为模板平面上点的齐次坐标， 为模板平面上点投影到图象平面上对应点的齐次坐标， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量

40 张正友方法 根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束
根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束 由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出

41 张正友方法 张正友方法所用的平面模板

42 张正友方法 算法描述 打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数
求出畸变系数 优化求精

43 张正友方法 张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。 张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。

44 3.4、孟晓桥、胡占义的圆标定方法

45 孟胡方法 所用的模版

46 孟胡方法 从至少三个不同方位拍摄模板图象，根据射影不变性计算出每幅图象上的圆环点像的坐标，得到关于内参数矩阵的至少六个方程，即可解出所有内参数。

47 孟胡方法 计算圆环点像的原理： 圆环点为无穷远点，它是绝对二次曲线上的一对共轭点 (1,i,0,0) (1,-i,0,0) 是一对圆环点
模板平面 无穷远直线 (1,i,0,0) (1,-i,0,0) 是一对圆环点

48 孟胡方法 在图像上，两个圆环点的图像 被计算出， 则有：

49 孟胡方法 孟胡的方法与张的方法相比： 过程相似；
所用的模版不同，孟胡的方法基于曲线拟合（稳定），并且不需要任何匹配，而张的方法基于点，需要匹配模版的点和图像点。

50 3.5、吴等的平行圆标定方法

51 吴等的标定方法 平行圆：同一个平面上的圆、或平行平面上的圆。 原理：利用摄像机成像的准仿射不变性，计算图像上二此曲线的交点，得到圆环点的图像
进而：

52 吴等的标定方法 该方法从平行圆的最小个数出发，基于准仿射不变性，分析了所有可能情况的计算圆环点的方法 共面分布：
b) The inner-tangent case The line at infinity a) The concentric case The line at infinity The line at infinity c) The outer-tangent case e) The separate case The line at infinity The line at infinity d) The intersecting case The line at infinity f) The enclosing but not concentric case

53 吴等的标定方法 以上可进行推广到非共面的平行圆的情形

54 利用K重建一个垂直角；重建平行线之间的交角
吴等的标定方法 利用K重建一个垂直角；重建平行线之间的交角 重建的垂直角 89.28º 重建的平行角 º

55 吴等的标定方法 该方法和以往的基于圆的标定方法相比: (1). 从最小个数出发; (2). 计算圆环点图像简单;
(3).只需要从拟合的二次曲线出发, 不需要任何匹配, 不需要计算圆心; (4). 应用场合广泛, 不仅仅限于平面的情形. 可应用基于转盘的重构。

56 应用于: 自动化所一角 (1)视线定位 (2)基于转盘的重建
H. Wu, Q. Chen, T. Wada, Visual Line Estimation from a Single Image of Two Eyes. ICPR (3) 2004. G. Jiang, L. Quan, H.T. Tsui, Circular motion geometry by minimal 2 points in 4 images, ICCV2003. (3) 车辆机器人等的定位 自动化所一角

57 4、主动视觉标定方法

58 胡占义等的主动视觉标定方法 基于平面单应矩阵的正交运动方法 基于外极点的正交运动方法

59 是摄像机一组正交的平移运动，两个单应矩阵：
胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理 是摄像机一组正交的平移运动，两个单应矩阵： 满足：

60 胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理 即： ，其中 五组两正交运动可完全求解5个内参数。

61 胡主动视觉标定方法 基于外极点的正交运动方法原理 2 1 第1、2幅图像在第0幅图像的外极点分别是： 则：

62 胡主动视觉标定方法 基于外极点的正交运动方法原理 从而： 五组两正交运动可完全求解5个内参数。

63 这两种主动视觉标定方法与最经典的主动视觉标定方法（马颂德的三正交运动法）相比，具有如下优点：
胡主动视觉标定方法 这两种主动视觉标定方法与最经典的主动视觉标定方法（马颂德的三正交运动法）相比，具有如下优点： 照相机的二正交运动比三正交运动更容易实现。 可以求解摄像机的所有5个内参数，马颂德的 方法可以求解4个内参数。

64 5、摄像机自标定方法

65 主要内容 5.1、预备知识： 什么是摄像机自标定 ？ 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系
为什么要对摄像机进行自标定 ？ 对极几何…… 5.2、基于Kruppa方程的自标定方法 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系

66 5.1、预备知识

67 什么是自标定？ 为什么要进行自标定？ 优缺点： 摄像机自标定是指不需要标定块，仅仅通过图象点之间的对应关系对摄像机进行标定的过程。
实际应用的需求，主要应用场所的转移 优缺点： 优点：灵活，方便 缺点：精度不太高，鲁棒性不足

68 3、所谓的自标定，就是要标定摄像机的内参数矩阵K
自标定的基本假设及任务 1、假定图象点之间的对应关系已经确定。 2、一般来说，认为在拍摄不同图象时，摄像机的内参数没有发生变化 3、所谓的自标定，就是要标定摄像机的内参数矩阵K

69 一些预备知识 1、点的齐次坐标 二个齐次坐标如相差一个非零因子，则这二个齐次坐标相同 2、无穷远直线上的点
如点 为无穷远直线上的点，则 t =0

70 一些预备知识 3、通过二点的直线 如果 为二图象点，则通过 该二点的直线的参数向量为： L x1 x2

71 一些预备知识 反对称矩阵（Anti-symmetric or Skew-Symmetric matrix)
给定向量 ，其对应的反对称矩阵定义为： 则对应任意的向量 b, 有

72 一些预备知识 对偶原理 如果 C为一非退化的图象二次曲线，即： 点坐标曲线 过x 处的切线参数向量为： 则 , 代入上式可得： 则
则 , 代入上式可得： 则 对偶线坐标曲线

73 一些预备知识 对偶曲线示意图 l1 l2 l3 C l1 l2 l3 x3 x1 x2 点坐标曲线 对偶线坐标曲线

74 一些预备知识 欧几理得空间下的投影矩阵 如果X 为空间某一点，两摄像机间的坐标变换为： 则欧几理得空间下的两投影矩阵为：
投影关系 则欧几理得空间下的两投影矩阵为： K 为摄像机的内参数矩阵 其中 X为空间点，ml, mr 对应于X 的一对图象对应点

75 对极几何（Epipolar Geometry)
一些预备知识 对极几何（Epipolar Geometry) o I M m ' e l N

76 一些预备知识 基本矩阵的推导及形式 F 的秩为2，F在相差一个常数因子下是唯一确定的。F 可以通过8对图象对应点线性确定。

77 一些预备知识 对极几何的一些代数性质 如果 m位于极线l上，n’ 位于极线l’上，m, n’不一定是对应点,下述关系仍然成立：
所有的外极线都过对应的外极点，外极点是光心连线与图象平面的交点。对应外极线束构成一射影变换 基本矩阵和外极点的关系

78 一些预备知识

79 一些预备知识 图象平面 空间曲线 中心投影下，如果射影平面与空间曲线相切，则射影平面与图象平面的交线必与空间曲线在图象平面上的投影曲线相切

80 一些预备知识 绝对二次曲线 <－－－> 摄像机自标定的参考标定物 绝对二次曲线是无穷远平面上的一条二次曲线，它的数学定义为：

81 一些预备知识 绝对二次曲线在图象上投影的性质 绝对二次曲线的象仅与摄像机的内参数有关，与摄像机的运动参数无关 从定义 XTX＝0 知，
给定正定矩阵 ，则 K 可以通过Cholesky 分解唯一确定

82 自标定的基本思路 如何进行 通过绝对二次曲线建立关于摄像机内参数矩阵的约束方程，称之为Kruppa 方程 求解Kruppa 方程确定 矩阵C
通过Cholesky分解得到矩阵K

83 5.2、基于Kruppa方程的自标定方法

84 推导Kruppa 方程的示意图

85 Kruppa 方程 对偶 x 为位于 ll 上的任意一点，则 , 则 则

86 w 的组成形式 对偶曲线

87 关于Kruppa 方程的几点说明 1、在Kruppa方程中，F,e 为已知数，w 为未知数 2、 w 有5个独立未知变量
5、假定内参数都在变，任意两幅图像间有两个独立的Kruppa方程，则 N (>=3) 幅图像之间有N(N-1)个Kruppa方程，其中只有5N-9个方程是独立的。

88 5.3、基于绝对二次曲面、 无穷远平面的自标定方法

89 绝对二次曲面 将世界坐标系取作第一个摄像机的坐标系，则绝对二次曲面是： 其中 K1 是第一个摄像机的内参数，a 是无穷远平面的法向量。

90 绝对二次曲面定标方程 是射影重建， 则有：

91 无穷远平面的单应矩阵 是射影重建，第1幅和第 i 幅图像之间的无穷远平面的单应矩阵是：

92 基于无穷远平面单应矩阵的标定方程 方程是： x π m m' e e' H33

93 5.4、几种自标定方程的关系

94 关系 基于绝对二次曲面的标定方程与基于无穷远平面的标定方程完全等价。
由绝对二次曲面的标定方程或无穷远平面的标定方程可以推出 Kruppa 方程。反之，对Kruppa 方程添加一个方程后，可以推出绝对二次曲面的标定方程或无穷远平面的标定方程。