吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室 计算机视觉的多视几何 吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室

主 要 内 容 1. 单视几何（应用 单幅图像测量） 2. 两视几何（Epipolar Geometry 约束） 空间平面与Homography 3. 三视几何（Trifocal Geometry 约束）

1. 单视几何 成像平面 摄像机坐标系 Z X Y O M m 成像平面 O

1. 单视测量 目标、内容 研究的意义 国内外研究的现状 算法

1. 单视测量 目标、内容 从单幅图像中恢复场景的全部或部分三维信息 运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量

1. 单视测量 研究的意义 利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响 基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确 具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面

1. 单视测量 研究现状 用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性 利用单幅图像对场景进行测量，已引起人们的关注 A. Criminisi University of Oxford 目前，国内外在此方面还没有系统的研究

1.单视测量 算法 成像平面 摄像机坐标系 Z X Y O M m Xw Yw 平面测量 空间平面与其图像间的关系可由平面Homography: H 来表示(一个 的矩阵). 一般将空间平面假设为 即X-Y 平面, 则：

1. 单视测量 算法 平面测量 如果4个空间点 已知，则由它们可线性求解H： 然后通过将图像点反投到空间平面，实现空间平面上的测量 距离\面积\夹角

1. 单视测量 算法 已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测： 空间测量 已知一个空间平面的homography和此平面法向量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测： 体积、身高、两个平面的距离、两个平面内的两个点之间的距离

1. 单视测量 算法 Relative error: 0.69 % 物体体积的测量结果： V1 Real volume: 109265.0 cm3 Measured value: 110018.9 cm3 Relative error: 0.69 % V2 Real volume: 26826.7 cm3 Measured value: 26628.2 cm3 Relative error: 0.74 %

2. 两视几何 主要内容 外（对）极几何（Epipolar geometry） 基本矩阵、本质矩阵 重建 景物平面与单应矩阵（Homography）

2. 两视几何 外极几何 外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。 基本概念： 基线；外极点；外极线；外极平面；基本矩阵；本质矩阵

2. 两视几何 外极几何 M m'TFm=0 基线 外极点 外极平面 对极线 基本矩阵， 外极线 的矩阵 m m' l' e e' l O

2. 两视几何 外极几何 基线：连接两个摄象机光心 O（O’）的直线 外极点：基线与像平面的交点 外极平面：过基线的平面 外极线：对极平面与图像平面的交线 基本矩阵F：对应点对之间的约束

2. 两视几何 外极几何 u v R0, t0 R’, t’ O R, t 如果将世界坐标系取在第一个摄像机坐标系上，则： O’ 世界坐标系 图像坐标系 R0, t0 R’, t’ R, t O’ 如果将世界坐标系取在第一个摄像机坐标系上，则：

2. 两视几何 外极几何 M m'TFm=0 对象的数学表达： 光心： 基本矩阵 F： 是一秩为2的3×3矩阵，自由度为 7 外极点： m l' e e' l O O' m'TFm=0 对象的数学表达： 光心： 基本矩阵 F： 是一秩为2的3×3矩阵，自由度为 7 外极点：

2. 两视几何 外极几何 M m'TFm=0 对象的数学表达： 外极线： （用法向量表示） 本质矩阵 E： l' e e' l O O' m'TFm=0 对象的数学表达： 外极线： （用法向量表示） 本质矩阵 E： 是一秩为2的3×3矩阵，自由度为 5 对象之间的关系式：

2. 两视几何 外极几何 M m'TFm=0 对象之间的关系式： F不是一个一一对应的变换。 如果，m，m’是一对对应点，则： l' e e' l O O' m'TFm=0 对象之间的关系式： F不是一个一一对应的变换。 如果，m，m’是一对对应点，则： 反之，不成立。

2. 两视几何 基本矩阵 H是一个 射影变换矩阵 ，投影矩阵对 和 对应相同的基本矩阵 。

2. 两视几何 基本矩阵的变换作用 在两幅图像之间，基本矩阵将点 m 映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。 M l' e e' l O O' m'TFm=0 F

2. 两视几何 基本矩阵的代数推导 空间中一点 在两幅图像上的成像分别为： 极点 极线 因此： m'TFm=0 m m' l' e e' l 空间中一点 在两幅图像上的成像分别为： 极点 极线 m m' l' e e' l C C' m'TFm=0 M 因此：

2. 两视几何 基本矩阵F 的估计方法 基于代数误差的线性估计---8、7点算法 基于几何误差的非线性优化 基于RANSAC思想的自动估计算法

2. 两视几何 基本矩阵F 的估计方法 8点算法: 一对对应点 ， 之间满足约束： 展开可以得到约束方程为：

2. 两视几何 基本矩阵F 的估计方法 8点算法: 对于 n 对对应的图像点对 可得到 n 个这样的方程 构造向量: 构造矩阵: 从而: 当 n>=8 时，可以线性求解 f。

2. 两视几何 基本矩阵F 的估计方法 8点算法: 基于代数误差的估计方法是满足某些约束下使 最小的算法 8 点算法： 步骤：1) 由对应点 (n>=8) 集构造矩阵A；2) 对 A 进行奇异值分解 ，由向量 构造矩阵F（3）对F进行SVD分解 得到基本矩阵的估计

2. 两视几何 基本矩阵F 的估计方法 8点算法: 8 点算法估计基本矩阵 F 的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由 8 点算法给出的基本矩阵 F 的解精度很低。 存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。

2. 两视几何 基本矩阵F 的估计方法 8点算法: 规一化变换：1) 对图像点做位移变换，使得图像的原点位于图像点集的质心；2) 对图像点做缩放变换，使得图像点分布在以质心为圆心半径为 的圆内。 H

2. 两视几何 基本矩阵F 的估计方法 8点算法: 规一化 8 点算法：由对应点 ，求F 1) 对两幅图像分别做规一化变换 , 得到新的对应点集； 2) 有新的对应点集和8点算法估计 ； 3）基本矩阵

2. 两视几何 基本矩阵F 的估计方法 7点算法: 如果求解的基本矩阵 F 不满足约束 ，即 那么不存在向量 e 使得 Fe=0，则在图像中的对极线不交于同一点 (对极点 e )。 由于基本矩阵的秩为 2 ，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。

2. 两视几何 基本矩阵F 的估计方法 7点算法: 利用SVD分解的方法得到两个对应于系数矩阵A 的右零空间的基向量 和 的矩阵基 和 ，然后利用det(F)=0性质来解出F通解 中的比例因子 ，来确定所要估计的基本矩阵。 由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，最多可以得到 3 个解。

2. 两视几何 基本矩阵F 的估计方法 基于几何误差的优化: 将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解. 算法如下： （1）构造基于几何意义的目标函数 （2）选取8点算法的结果作为迭代算法的初始值 （3）选取一种迭代方法（L-M方法），迭代求解最小化问题

2. 两视几何 基本矩阵F 的估计方法 基于几何误差的优化: 构造基于几何意义的目标函数 常用准则：(1)点到对应极线距离的平方和 (2)反投影距离

2. 两视几何 基本矩阵F 的估计方法 基于几何误差的优化: m m' l' e e' l O O’ 准则 (1)点到对应极线距离的平方和

2. 两视几何 基本矩阵F 的估计方法 基于几何误差的优化: 准则 (2)反投影距离 m m' e e' O O’ 准则 (2)反投影距离 其中 和 是通过一定的方法进行射影重建所得到空间点的反投影图像点.

2. 两视几何 基本矩阵F 的估计方法 基于几何误差的优化: 基于准则 (2)步骤： 1. 由线性算法求出基本矩阵的初始值 ; 1. 由线性算法求出基本矩阵的初始值 ; 2. 由对应点 和基本矩阵 射影重建得到三维空间点坐标 ； 3. 由三维空间点得到新的图像点： .

2. 两视几何 基本矩阵F 的估计方法 RANSAC估计 例：利用 RANSAC 思想估计直线 给定7点，找最匹配的直线，使有效点到直线的距离小于0.8个单位，找到的点集为 {1,2,3,4,5, 6}，然后用最小二乘法计算直线方程。 POINT X Y 1 2 3 4 5 6 7 0 0 1 1 2 2 3 2 3 3 4 4 10 2 5 4 理想直线 3 y 2 1 1 2 3 4 5 6 7 8 9 10 x

2. 两视几何 基本矩阵F 的估计方法 RANSAC估计 前面所讲的所有的方法都假设没有错误匹配点(Outliers)。实际处理过程中可能会出现错误的匹配点。可以用 RANSAC 方法剔除错误的匹配点 基本思想：1. 通过迭代地随机抽取最小点集来找出能够使得所谓Inliers所占比例最高的最小点集 2.用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值

2. 两视几何 本质矩阵 E 本质矩阵 E (Essential Matrix) 由摄像机的外参数确定，与摄像机内参数无关。 u m m’ O’ x u m 图像像素坐标系 m’ y v O 摄像机坐标系

2. 两视几何 本质矩阵 E 当摄像机内参数 K 已知时，当 F 被求出时，重建即要求出 R，t。 R t

2. 两视几何 重建 给定一基本矩阵 F，构造投影矩阵对 有了投影矩阵和图像点就可以通过三角化实现重建

2. 两视几何 重建 H是一个4×4的可逆射影变换矩阵，则 H H

2. 两视几何 例子

2. 两视几何 例子

2. 两视几何 景物平面与单应矩阵 概念 已知基本矩阵 F 确定单应矩阵H 已知单应矩阵H确定基本矩阵 F 无穷远平面的单应矩阵

2. 两视几何 景物平面与单应矩阵 概念 两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个射影变换，可以用一个33 矩阵表示，称为单应矩阵, 记为H。 x π m m' e e' H33

2. 两视几何 景物平面与单应矩阵 概念 建立世界坐标系，使得 X-Y 平面为空间平面，即为 平面，则

2. 两视几何 景物平面与单应矩阵 概念 若 是空间平面上的点在两幅图像上对应点对，则存在矩阵H使得 s为非零常数因子，H是一3×3矩阵，一般可由4对对应点求得。

2. 两视几何 景物平面与单应矩阵 概念 若两视点投影矩阵为 则空间平面 的单应矩阵H可表示为

2. 两视几何 景物平面与单应矩阵 由F 确定H 给定三对对应点： 它们对应的空间的景物点为：M1，M2，M3 则这三个景物点唯一确定了一个空间平面 如果F已求出，则这个平面的H也可以求出： e, e’ H

2. 两视几何 景物平面与单应矩阵 由F 确定H x π m m' e e'

2. 两视几何 景物平面与单应矩阵 由H 确定F 由6个点，其中4个点共面，来求解基本矩阵F： 一. 由共面的4对对应点求得 H 二. 由直线 和 确定极点e' 三.

2. 两视几何 景物平面与单应矩阵 无穷远平面的单应矩阵 当空间平面为无穷远平面时，对应的单应矩阵为无穷远平面的H：

3. 三视几何 主要内容 引言 点、线关联关系 基本矩阵、投影矩阵

3. 三视几何 引言 两幅图像之间存在约束：基本矩阵F； 三幅图像之间存在约束：三焦张量T（Trifocal Tensor）；

3. 三视几何 引言 两幅图像间不能对直线产生约束 三幅图像间的独立的几何约束 L L l l’ O O’ l'' l O’’ l’ O

3. 三视几何 三焦张量由三个33矩阵{T1，T2，T3}组成。 引言 在两幅图像之间有约束： 在三幅图像之间有约束： 其中，l，l’，l’’为在三幅图像中对应的直线。

3. 三视几何 点、线关联关系 线 - 线 - 线 点 - 线 - 线 点 - 线 - 点 点 - 点- 线 点 - 点 - 点

3. 三视几何 点、线关联关系 Point – line – line

3. 三视几何 点、线关联关系 Point – line – point

3. 三视几何 点、线关联关系 Point – point – point

3. 三视几何 基本矩阵、投影矩阵 基本矩阵与三焦张量之间存在关系： 由三焦张量和外极点可得到一组投影矩阵：

小 结 1. 单视几何：应用于单幅图像测量 2. 两视几何：基本矩阵、外极点、空间平面与单应矩阵 3. 三视几何：三焦张量 参考文献： 小 结 1. 单视几何：应用于单幅图像测量 2. 两视几何：基本矩阵、外极点、空间平面与单应矩阵 3. 三视几何：三焦张量 参考文献： R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000.