计算机视觉 2009.12.18.

Presentation on theme: "计算机视觉 2009.12.18."— Presentation transcript:

1 计算机视觉

2 辐射学——光亮度度量 透视缩小效应 当光源相对于光线运行的方向倾斜时，对于面向这个光源的一块表面来说，它会显得偏小。同样对于光源来说，如果被照射表面相对光的照射方向倾斜时，它也会显得偏小，这种现象称为透视缩小效应。

3 一个光源对输入半球所产生的效果可以用该光源对应的立体角描述
一点对应于一表面块的立体角要通过将表面块在以该点为中心的单位球上的投影计算，投影面积即为所求的立体角，单位是球面度。 r A Ω

4 辐射度 度量光的分布的合适单位是辐射度，它定义为在某点的单位立体角，垂直于传输方向的单位面积上沿传输方向的功率。点P在方向V上的辐射度 一般用L(P,V)表示，沿直线的辐射度是常数

5 双向反射分布函数 局部模型：表面上离开某点的辐射度仅取决于到达该点的辐射度；假设离开一个表面给定波长的光是因为到达的光是这种波长；假设表面不会从内部发出光以及分别对待不同的光源。 辐照度：表面单位面积的入射功率

6 双向反射分布函数（BRDF） 最通用的局部反向模型，定义为输出方向的辐射度与输入方向的辐照度的比率 如果一个表面接收到来自某一角度的微小立体角的照射，则它的BRDF为

7 重要的特殊情况——与角度无关的单位系统 光通量：表面上一点单位面积发出的总能量
方向性半球反射：从某给定方向入射的辐照度中被表面所有方向反射出的部分

8 朗伯表面：方向性半球反射率与照明方向无关的表面，也称为理想漫反射表面，其方向性半球反射率称为漫反射系数。
镜面反射表面：某特定方向的入射光只能向一个镜面反射方向反向，从与入射光方向相反的方向射出。 朗伯+镜面模型

9 光源、阴影与影调 点光源产生的光通量为 近点光源为 远点光源为 线光源 面光源产生的光通量为

10 局部影调模型 它假设光并不是从表面反射到另一表面而来的，它只来自于光源，到达某个表面，并进而直达摄相机，只考虑将光源发射的光通量求和计算表面块的光通量。 点光源下的局部影调模型 面光源下的局部影调模型

11 互反射：全局影调模型 在现实世界中，每个表面块不但被光源照明，也被别的表面块的反射光照明（互反射） 互反射的定性效果：平滑与区域效应

12 颜色 物理学中的颜色 将前面描述的所有物理单位通过添加短语每单位波长，就可得到光谱的单位 谱辐射度 谱发射度 谱双向反射分布函数

13 人类的颜色感知 人眼可以区分1千万种不同颜色，但在视网膜上，人眼中只有三种不同类型的感觉器官，每种感觉器官对不同的波长反应不同。
给定一个光谱，人脑从感觉器官只接收三种不同类型的信号。 三原色：对于大部分人来说，只需要三种原色就可以匹配一个测试光。

14 线性色彩空间 国际照明委员会XYZ颜色空间 RGB颜色空间 CMY和Black 非线性色彩空间 色调、饱和度和亮度 均匀颜色空间：LAB

15 多视角几何学 外极几何 外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。 基本概念 基线；外极点；外极线；外极平面；基本矩阵；本质矩阵

16 外极几何 M m m' l' e e' l O O' m'TFm=0 基线 外极点 外极平面 对极线 基本矩阵， 的矩阵 外极线

17 外极几何 基线：连接两个摄象机光心 O（O’）的直线 外极点：基线与像平面的交点 外极平面：过基线的平面 外极线：对极平面与图像平面的交线 基本矩阵F：对应点对之间的约束

18 外极几何 u v R0, t0 R’, t’ O R, t 如果将世界坐标系取在第一个摄像机坐标系上，则： O’ 世界坐标系 摄像机坐标系
图像坐标系 R0, t0 R’, t’ R, t O’ 如果将世界坐标系取在第一个摄像机坐标系上，则：

19 外极几何 M m'TFm=0 对象的数学表达： 光心： 基本矩阵 F： 是一秩为2的3×3矩阵，自由度为 7 外极点： m m' l' e
O O' m'TFm=0 对象的数学表达： 光心： 基本矩阵 F： 是一秩为2的3×3矩阵，自由度为 7 外极点：

20 外极几何 M m'TFm=0 对象的数学表达： 外极线： （用法向量表示） 本质矩阵 E： 是一秩为2的3×3矩阵，自由度为 5
l' e e' l O O' m'TFm=0 对象的数学表达： 外极线： （用法向量表示） 本质矩阵 E： 是一秩为2的3×3矩阵，自由度为 5 对象之间的关系式：

21 外极几何 M m'TFm=0 对象之间的关系式： F不是一个一一对应的变换。 如果，m，m’是一对对应点，则： 反之，不成立。 m m'
l' e e' l O O' m'TFm=0 对象之间的关系式： F不是一个一一对应的变换。 如果，m，m’是一对对应点，则： 反之，不成立。

22 基本矩阵 H是一个 射影变换矩阵 ，投影矩阵对 和 对应相同的基本矩阵 。

23 基本矩阵的变换作用 在两幅图像之间，基本矩阵将点 m 映射为对应的对极线，将对极点映射为0。不能提供对应点间的一一对应。 M m'TFm=0
l' e e' l O O' m'TFm=0 F

24 基本矩阵的代数推导 空间中一点 在两幅图像上的成像分别为： 极点 极线 m m' l' e e' l C C' m'TFm=0 M 因此：

25 基本矩阵F 的估计方法 基于代数误差的线性估计---8、7点算法 基于几何误差的非线性优化 基于RANSAC思想的自动估计算法

26 基本矩阵F 的估计方法 8点算法: 一对对应点 ， 之间满足约束： 展开可以得到约束方程为：

27 基本矩阵F 的估计方法 8点算法: 对于 n 对对应的图像点对 可得到 n 个这样的方程 当 n>=8 时，可以线性求解 f。
构造向量: 构造矩阵: 从而: 当 n>=8 时，可以线性求解 f。

28 基本矩阵F 的估计方法 8点算法: 基于代数误差的估计方法是满足某些约束下使 最小的算法 8 点算法：
步骤：1) 由对应点 (n>=8) 集构造矩阵A；2) 对 A 进行奇异值分解 ，由向量 构造矩阵F（3）对F进行SVD分解 得到基本矩阵的估计

29 基本矩阵F 的估计方法 8点算法: 8 点算法估计基本矩阵 F 的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由 8 点算法给出的基本矩阵 F 的解精度很低。 存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。

30 基本矩阵F 的估计方法 8点算法: 规一化变换：1) 对图像点做位移变换，使得图像的原点位于图像点集的质心；2) 对图像点做缩放变换，使得图像点分布在以质心为圆心半径为 的圆内。 H

31 基本矩阵F 的估计方法 8点算法: 规一化 8 点算法：由对应点 ，求F 1) 对两幅图像分别做规一化变换 , 得到新的对应点集；
1) 对两幅图像分别做规一化变换 , 得到新的对应点集； 2) 由新的对应点集和8点算法估计 ； 3）基本矩阵

32 2. 两视几何 基本矩阵F 的估计方法 7点算法: 如果求解的基本矩阵 F 不满足约束 ，即 那么不存在向量 e 使得 Fe=0，则在图像中的对极线不交于同一点 (对极点 e )。 由于基本矩阵的秩为 2 ，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以确定基本矩阵。

33 基本矩阵F 的估计方法 7点算法: 利用SVD分解的方法得到两个对应于系数矩阵A 的右零空间的基向量 和 的矩阵基 和 ，然后利用det(F)=0性质来解出F通解 中的比例因子 ，来确定所要估计的基本矩阵。 由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，最多可以得到 3 个解。

34 基本矩阵F 的估计方法 基于几何误差的优化: 将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解. 算法如下：
（1）构造基于几何意义的目标函数 （2）选取8点算法的结果作为迭代算法的初始值 （3）选取一种迭代方法（L-M方法），迭代求解最小化问题

35 基本矩阵F 的估计方法 基于几何误差的优化: 构造基于几何意义的目标函数 常用准则：(1)点到对应极线距离的平方和 (2)反投影距离

36 基本矩阵F 的估计方法 基于几何误差的优化: m m' l' e e' l O O’ 准则 (1)点到对应极线距离的平方和

37 基本矩阵F 的估计方法 基于几何误差的优化: 准则 (2)反投影距离 其中 和 是通过一定的方法进行射影重建所得到空间点的反投影图像点.
m m' e e' O O’ 准则 (2)反投影距离 其中 和 是通过一定的方法进行射影重建所得到空间点的反投影图像点.

38 基本矩阵F 的估计方法 基于几何误差的优化: 基于准则 (2)步骤： 1. 由线性算法求出基本矩阵的初始值 ;
1. 由线性算法求出基本矩阵的初始值 ; 2. 由对应点 和基本矩阵 射影重建得到三维空间点坐标 ； 3. 由三维空间点得到新的图像点：

39 基本矩阵F 的估计方法 RANSAC估计 例：利用 RANSAC 思想估计直线
给定7点，找最匹配的直线，使有效点到直线的距离小于0.8个单位，找到的点集为 {1,2,3,4,5, 6}，然后用最小二乘法计算直线方程。 POINT X Y 1 2 3 4 5 6 7 0 0 1 1 2 2 3 2 3 3 4 4 10 2 5 4 理想直线 3 y 2 1 1 2 3 4 5 6 7 8 9 10 x

40 基本矩阵F 的估计方法 RANSAC估计 前面所讲的所有的方法都假设没有错误匹配点(Outliers)。实际处理过程中可能会出现错误的匹配点。可以用 RANSAC 方法剔除错误的匹配点 基本思想：1. 通过迭代地随机抽取最小点集来找出能够使得所谓Inliers所占比例最高的最小点集 2.用此最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最终的基本矩阵估计值

41 三视几何 两幅图像之间存在约束：基本矩阵F； 三幅图像之间存在约束：三焦张量T（Trifocal Tensor）；

42 两幅图像间不能对直线产生约束 L O O’ l l’ 三幅图像间的独立的几何约束 O’’ L O O’ l l’ l''

43 三焦张量 三焦张量由三个33矩阵{T1，T2，T3}组成。 在两幅图像之间有约束： 在三幅图像之间有约束：
其中，l，l’，l’’为在三幅图像中对应的直线。

44 三视几何 点、线关联关系 线 - 线 - 线 点 - 线 - 线 点 - 线 - 点 点 - 点- 线 点 - 点 - 点

45 点、线关联关系 Point – line – line

46 点、线关联关系 Point – line – point

47 点、线关联关系 Point – point – point

48 基本矩阵、投影矩阵 基本矩阵与三焦张量之间存在关系： 由三焦张量和外极点可得到一组投影矩阵：