中国科学院自动化研究所 模式识别国家重点实验室

Slides:



Advertisements
Similar presentations
一、 一阶线性微分方程及其解法 二、 一阶线性微分方程的简单应用 三、 小结及作业 §6.2 一阶线性微分方程.
Advertisements

2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
精品课程《解析几何》 第三章 平面与空间直线.
§3.4 空间直线的方程.
《解析几何》 -Chapter 3 §7 空间两直线的相关位置.
第八章 向量代数 空间解析几何 第五节 空间直线及其方程 一、空间直线的点向式方程 和参数方程 二、空间直线的一般方程 三、空间两直线的夹角.
3.4 空间直线的方程.
第七章 空间解析几何 §5 空间直线及其方程 一、空间直线的一般方程 二、空间直线的对称式方程与参数方程 三、两空间直线的夹角
《解析几何》 乐山师范学院 0 引言 §1 二次曲线与直线的相关位置.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
第3节 二次型与二次型的化简 一、二次型的定义 二、二次型的化简(矩阵的合同) 下页.
解析几何 4.1.2圆的一般方程 邵东一中高1数学组 林真武.
圆的方程复习.
一、二阶行列式的引入 用消元法解二元线性方程组. 一、二阶行列式的引入 用消元法解二元线性方程组.
第二章 二次函数 第二节 结识抛物线
1.8 支路电流法 什么是支路电流法 支路电流法的推导 应用支路电流法的步骤 支路电流法的应用举例.
一次函数的图象复习课 南华实验学校 初二(10)班 教师:朱中萍.
第三节 格林公式及其应用(2) 一、曲线积分与路径无关的定义 二、曲线积分与路径无关的条件 三、二元函数的全微分的求积 四、小结.
初中数学 九年级(下册) 5.3 用待定系数法确定二次函数表达式.
初中数学八年级下册 (苏科版) 10.4 探索三角形 相似的条件(2).
第2章 Z变换 Z变换的定义与收敛域 Z反变换 系统的稳定性和H(z) 系统函数.
§3.7 热力学基本方程及麦克斯韦关系式 热力学状态函数 H, A, G 组合辅助函数 U, H → 能量计算
本次课程内容 相机成像模型 小孔成像、相机成像参数 单目视觉定位(测距)方法 局限性、难点 双目视觉方法 原理.
物体识别 3D建图 semantic mapping
用函数观点看方程(组)与不等式 14.3 第 1 课时 一次函数与一元一次方程.
第三节 视觉系统的几何特性.
计算机数学基础 主讲老师: 邓辉文.
工业机器人技术基础及应用 主讲人:顾老师
双曲线的简单几何性质 杏坛中学 高二数学备课组.
2.1.2 空间中直线与直线 之间的位置关系.
工业机器人技术基础及应用 主讲人:顾老师
Partial Differential Equations §2 Separation of variables
专题二: 利用向量解决 平行与垂直问题.
第二十二章 曲面积分 §1 第一型曲面积分 §2 第二型曲面积分 §3 高斯公式与斯托克斯公式.
2.3.4 平面与平面垂直的性质.
线 性 代 数 厦门大学线性代数教学组 2019年4月24日6时8分 / 45.
3.4 圆心角(1).
3.3 垂径定理 第2课时 垂径定理的逆定理.
第十章 双线性型 Bilinear Form 厦门大学数学科学学院 网址: gdjpkc.xmu.edu.cn
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
复习: 若A(x1,y1,z1) , B(x2,y2,z2), 则 AB = OB - OA=(x2-x1 , y2-y1 , z2-z1)
§8.3 不变因子 一、行列式因子 二、不变因子.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室.
第四章 第四节 函数图形的描绘 一、渐近线 二、图形描绘的步骤 三 、作图举例.
抛物线的几何性质.
相关与回归 非确定关系 在宏观上存在关系,但并未精确到可以用函数关系来表达。青少年身高与年龄,体重与体表面积 非确定关系:
第一节 不定积分的概念与性质 一、原函数与不定积分的概念 二、不定积分的几何意义 三、基本积分表 四、不定积分的性质 五、小结 思考题.
第三章 函数的微分学 第二节 导数的四则运算法则 一、导数的四则运算 二、偏导数的求法.
直线和圆的位置关系 ·.
空间平面与平面的 位置关系.
吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室
《工程制图基础》 第五讲 投影变换.
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
1.4.3正切函数的图象及性质.
第三章 空间向量与立体几何 3.1 空间向量及其运算 3.1.2空间向量的数乘运算.
§2 方阵的特征值与特征向量.
§2-2 点的投影 一、点在一个投影面上的投影 二、点在三投影面体系中的投影 三、空间二点的相对位置 四、重影点 五、例题 例1 例2 例3
9.5空间向量及其运算 2.共线向量与共面向量 淮北矿业集团公司中学 纪迎春.
正弦函数的性质与图像.
选修1—1 导数的运算与几何意义 高碑店三中 张志华.
定义5 把矩阵 A 的行换成同序数的列得到的矩阵,
第四节 向量的乘积 一、两向量的数量积 二、两向量的向量积.
第三节 数量积 向量积 混合积 一、向量的数量积 二、向量的向量积 三、向量的混合积 四、小结 思考题.
三角 三角 三角 函数 余弦函数的图象和性质.
一元一次方程的解法(-).
5.1 相交线 (5.1.2 垂线).
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
3.3.2 两点间的距离 山东省临沂第一中学.
Presentation transcript:

中国科学院自动化研究所 模式识别国家重点实验室 http://www.nlpr.ia.ac.cn/english/rv 摄相机标定 中国科学院自动化研究所 模式识别国家重点实验室 http://www.nlpr.ia.ac.cn/english/rv

主要内容 1、引言:什么是摄相机标定 2、摄相机标定方法的分类 3、传统摄相机标定方法(或利用景物信息的标定方法) 4、主动视觉摄相机标定方法 5、摄相机自标定方法

1、引言

视觉目的 三维重建是人类视觉的主要目的,也是计算机视觉的最主要的研究方向. (Marr 1982) 所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。 三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定

坐标系 世界坐标系 1、世界坐标系: 2、摄像机坐标系: 3、图像坐标系: O u 摄像机坐标系 x y v 图像坐标系

图像数字化 在 中的坐标为 象素在轴上的物理尺寸为 U C V Affine Transformation : 齐次坐标形式: 其中

摄像机的内参数矩阵 K

2、摄相机标定方法分类

分三类 传统摄像机标定方法 主动视觉摄像机标定方法 摄像机自标定方法

1. 传统的摄像机标定方法 特点 利用已知的景物结构信息。常用到标定块。

1. 传统的摄像机标定方法 优点 不足 可以使用于任意的摄像机模型,标定精度高 标定过程复杂,需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。

2. 主动视觉摄像机标定方法 特点 优点 通常可以线性求解,鲁棒性比较高 不足 已知摄像机的某些运动信息 不能使用于摄像机运动未知和无法控制的场合

3. 摄像机自标定方法 特点 优点 不足 仅依靠多幅图像之间的对应关系进行标定 仅需要建立图像之间的对应,灵活性强,潜在 应用范围广。 非线性标定,鲁棒性不高

3、摄像机传统标定方法

主要内容 3.1、DLT方法 3.2、RAC方法 3.3、张正友的平面标定方法(ICCV, 1999) 3.4、孟胡的平面圆标定方法(PR, 2003) 3.5、吴毅红等的平行圆标定方法(ECCV, 2004)

3.1、直接线性变换(DLT变换) DLT: Direct Linear Transformation

DLT变换 Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法,他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系,建立了像机成像几何的线性模 型,这种线性模型参数的估计完全可以由线 性方程的求解来实现。

DLT变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式: 其中 为图像坐标系下的点的齐次坐标, 为 其中 为图像坐标系下的点的齐次坐标, 为 世界坐标系下的空间点的欧氏坐标, 为 的透视投影矩 阵, 为未知尺度因子。

DLT变换 消去 ,可以得到方程组:

DLT变换 当已知 个空间点和对应的图像上的点时,可以得到一个含有2* 个方程的方程组: 其中 为 的矩阵, 为透视投影矩阵元素组成的 当已知 个空间点和对应的图像上的点时,可以得到一个含有2* 个方程的方程组: 其中 为 的矩阵, 为透视投影矩阵元素组成的 向量 。

DLT变换 像机定标的任务就是寻找合适的 ,使得 为最小,即 给出约束: 像机定标的任务就是寻找合适的 ,使得 为最小,即 给出约束: 为 的前11个元素组成的向量, 为 前11列组成的矩阵, 为 第12列组成的向量。

DLT变换 是否合理? 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明: 世界坐标系作刚性坐标变换 则 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明: 世界坐标系作刚性坐标变换 则 显然在一般的情况下

DLT变换 另一个约束 具有旋转和平移的不变性 向量 , , 是两两 垂直的单位向量 由

3.2、R. Tsai 的 RAC的定标算法

简 介 80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作,该方 法的核心是利用径向一致约束来求解除 (像 机光轴方向的平移)外的其它像机外参数,然 后再求解像机的其它参数。基于RAC方法的最大 好处是它所使用的大部分方程是线性方程,从 而降低了参数求解的复杂性,因此其定标过程 快捷,准确。

主要内容 像机模型 径向一致约束 定标算法

像机模型 世界坐标系和摄像机坐标系的关系 x y 在Tsai的方法中,K 取作:

理想图像坐标到数字图像坐标的变换 (只考虑径向偏差) 像机模型 (x, y) (u, v) 理想图像坐标到数字图像坐标的变换 (只考虑径向偏差) (uc, vc) (u, v)为一个点的数字化坐标,(x, y)为理想的数字化坐标,(uc, vc)为畸变中心。

径向一致约束 在图像平面上,点(xc, yc),(x, y),(u, v) 共线,或者直线(xc, yc)(x, y)与直线( xc, yc )( u, v )平行或斜率相等,则有: 通常把图像中心取作畸变中心和主点的坐标,因此:

定标算法 1.利用径向一致约束来求解 和 定标步骤: 2.求解有效焦距 、 方向上的平移t3 和畸变参数

定标算法——步骤一 1.求解像机外参数旋转矩阵 和 、 方向上的平移 根据: 得到:

定标算法——步骤一 再根据: 得到: 由至少7组对应点,可以求得一组解 M0=(m1, m2, m3, m4, m5, m6, m7, m8) (sr1, sr2, sr3, st1, r4, r5, r6, t2)

定标算法——步骤一 对M0除以 (sr1, sr2, sr3, st1, r4, r5, r6, t2) 则得到一组解 。 则得到一组解 。 (sr1, sr2, sr3, st1, r4, r5, r6, t2) 由 可求出s, 从而 t1也可被解出。 或者 根据 , 来选择

定标算法——步骤二 2. 求解t3, f, k1 k1=0 作为初始值,则:

定标算法——步骤二 将 x, y 的表达式代入,并将上一步中求出的 R, t1, t2 的值代入,得: 由此可解出 f , t3

将求出的 和 连同 作为初始值,对下式进行非线性优化 定标算法——步骤二 将求出的 和 连同 作为初始值,对下式进行非线性优化 估计出 、 和 的真实值。

3.3、张正友的平面标定方法

张正友方法

张正友方法 基本原理: H 在这里假定模板平面在世界坐标系 的平面上 在这里假定模板平面在世界坐标系 的平面上 其中, 为摄像机的内参数矩阵, 为模板平面上点的齐次坐标, 为模板平面上点投影到图象平面上对应点的齐次坐标, 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量

张正友方法 根据旋转矩阵的性质,即 和 ,每幅图象可以获得以下两个对内参数矩阵的基本约束 根据旋转矩阵的性质,即 和 ,每幅图象可以获得以下两个对内参数矩阵的基本约束 由于摄像机有5个未知内参数,所以当所摄取得的图象数目大于等于3时,就可以线性唯一求解出

张正友方法 张正友方法所用的平面模板

张正友方法 算法描述 打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数 求出畸变系数 优化求精

张正友方法 张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高,操作繁琐等缺点,又较自标定方法精度高,符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。 张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配,这给不熟悉计算机视觉的使用者带来了不便。

3.4、孟晓桥、胡占义的圆标定方法

孟胡方法 所用的模版

孟胡方法 从至少三个不同方位拍摄模板图象,根据射影不变性计算出每幅图象上的圆环点像的坐标,得到关于内参数矩阵的至少六个方程,即可解出所有内参数。

孟胡方法 计算圆环点像的原理: 圆环点为无穷远点,它是绝对二次曲线上的一对共轭点 (1,i,0,0) (1,-i,0,0) 是一对圆环点 模板平面 无穷远直线 (1,i,0,0) (1,-i,0,0) 是一对圆环点

孟胡方法 在图像上,两个圆环点的图像 被计算出, 则有:

孟胡方法 孟胡的方法与张的方法相比: 过程相似; 所用的模版不同,孟胡的方法基于曲线拟合(稳定),并且不需要任何匹配,而张的方法基于点,需要匹配模版的点和图像点。

3.5、吴等的平行圆标定方法

吴等的标定方法 平行圆:同一个平面上的圆、或平行平面上的圆。 原理:利用摄像机成像的准仿射不变性,计算图像上二此曲线的交点,得到圆环点的图像 进而:

吴等的标定方法 该方法从平行圆的最小个数出发,基于准仿射不变性,分析了所有可能情况的计算圆环点的方法 共面分布: b) The inner-tangent case The line at infinity a) The concentric case The line at infinity The line at infinity c) The outer-tangent case e) The separate case The line at infinity The line at infinity d) The intersecting case The line at infinity f) The enclosing but not concentric case

吴等的标定方法 以上可进行推广到非共面的平行圆的情形

利用K重建一个垂直角;重建平行线之间的交角 吴等的标定方法 利用K重建一个垂直角;重建平行线之间的交角 重建的垂直角 89.28º 重建的平行角 0.0000475º

吴等的标定方法 该方法和以往的基于圆的标定方法相比: (1). 从最小个数出发; (2). 计算圆环点图像简单; (3).只需要从拟合的二次曲线出发, 不需要任何匹配, 不需要计算圆心; (4). 应用场合广泛, 不仅仅限于平面的情形. 可应用基于转盘的重构。

应用于: 自动化所一角 (1)视线定位 (2)基于转盘的重建 H. Wu, Q. Chen, T. Wada, Visual Line Estimation from a Single Image of Two Eyes. ICPR (3) 2004. G. Jiang, L. Quan, H.T. Tsui, Circular motion geometry by minimal 2 points in 4 images, ICCV2003. (3) 车辆机器人等的定位 自动化所一角

4、主动视觉标定方法

胡占义等的主动视觉标定方法 基于平面单应矩阵的正交运动方法 基于外极点的正交运动方法

是摄像机一组正交的平移运动,两个单应矩阵: 胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理 是摄像机一组正交的平移运动,两个单应矩阵: 满足:

胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理 即: ,其中 五组两正交运动可完全求解5个内参数。

胡主动视觉标定方法 基于外极点的正交运动方法原理 2 1 第1、2幅图像在第0幅图像的外极点分别是: 则:

胡主动视觉标定方法 基于外极点的正交运动方法原理 从而: 五组两正交运动可完全求解5个内参数。

这两种主动视觉标定方法与最经典的主动视觉标定方法(马颂德的三正交运动法)相比,具有如下优点: 胡主动视觉标定方法 这两种主动视觉标定方法与最经典的主动视觉标定方法(马颂德的三正交运动法)相比,具有如下优点: 照相机的二正交运动比三正交运动更容易实现。 可以求解摄像机的所有5个内参数,马颂德的 方法可以求解4个内参数。

5、摄像机自标定方法

主要内容 5.1、预备知识: 什么是摄像机自标定 ? 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系 为什么要对摄像机进行自标定 ? 对极几何…… 5.2、基于Kruppa方程的自标定方法 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系

5.1、预备知识

什么是自标定? 为什么要进行自标定? 优缺点: 摄像机自标定是指不需要标定块,仅仅通过图象点之间的对应关系对摄像机进行标定的过程。 实际应用的需求,主要应用场所的转移 优缺点: 优点:灵活,方便 缺点:精度不太高,鲁棒性不足

3、所谓的自标定,就是要标定摄像机的内参数矩阵K 自标定的基本假设及任务 1、假定图象点之间的对应关系已经确定。 2、一般来说,认为在拍摄不同图象时,摄像机的内参数没有发生变化 3、所谓的自标定,就是要标定摄像机的内参数矩阵K

一些预备知识 1、点的齐次坐标 二个齐次坐标如相差一个非零因子,则这二个齐次坐标相同 2、无穷远直线上的点 如点 为无穷远直线上的点,则 t =0

一些预备知识 3、通过二点的直线 如果 为二图象点,则通过 该二点的直线的参数向量为: L x1 x2

一些预备知识 反对称矩阵(Anti-symmetric or Skew-Symmetric matrix) 给定向量 ,其对应的反对称矩阵定义为: 则对应任意的向量 b, 有

一些预备知识 对偶原理 如果 C为一非退化的图象二次曲线,即: 点坐标曲线 过x 处的切线参数向量为: 则 , 代入上式可得: 则 则 , 代入上式可得: 则 对偶线坐标曲线

一些预备知识 对偶曲线示意图 l1 l2 l3 C l1 l2 l3 x3 x1 x2 点坐标曲线 对偶线坐标曲线

一些预备知识 欧几理得空间下的投影矩阵 如果X 为空间某一点,两摄像机间的坐标变换为: 则欧几理得空间下的两投影矩阵为: 投影关系 则欧几理得空间下的两投影矩阵为: K 为摄像机的内参数矩阵 其中 X为空间点,ml, mr 对应于X 的一对图象对应点

对极几何(Epipolar Geometry) 一些预备知识 对极几何(Epipolar Geometry) o ¢ I M m ' e l N

一些预备知识 基本矩阵的推导及形式 F 的秩为2,F在相差一个常数因子下是唯一确定的。F 可以通过8对图象对应点线性确定。

一些预备知识 对极几何的一些代数性质 如果 m位于极线l上,n’ 位于极线l’上,m, n’不一定是对应点,下述关系仍然成立: 所有的外极线都过对应的外极点,外极点是光心连线与图象平面的交点。对应外极线束构成一射影变换 基本矩阵和外极点的关系

一些预备知识

一些预备知识 图象平面 空间曲线 中心投影下,如果射影平面与空间曲线相切,则射影平面与图象平面的交线必与空间曲线在图象平面上的投影曲线相切

一些预备知识 绝对二次曲线 <---> 摄像机自标定的参考标定物 绝对二次曲线是无穷远平面上的一条二次曲线,它的数学定义为:

一些预备知识 绝对二次曲线在图象上投影的性质 绝对二次曲线的象仅与摄像机的内参数有关,与摄像机的运动参数无关 从定义 XTX=0 知, 给定正定矩阵 ,则 K 可以通过Cholesky 分解唯一确定

自标定的基本思路 如何进行 通过绝对二次曲线建立关于摄像机内参数矩阵的约束方程,称之为Kruppa 方程 求解Kruppa 方程确定 矩阵C 通过Cholesky分解得到矩阵K

5.2、基于Kruppa方程的自标定方法

推导Kruppa 方程的示意图

Kruppa 方程 对偶 x 为位于 ll 上的任意一点,则 , 则 则

w 的组成形式 对偶曲线

关于Kruppa 方程的几点说明 1、在Kruppa方程中,F,e 为已知数,w 为未知数 2、 w 有5个独立未知变量 5、假定内参数都在变,任意两幅图像间有两个独立的Kruppa方程,则 N (>=3) 幅图像之间有N(N-1)个Kruppa方程,其中只有5N-9个方程是独立的。

5.3、基于绝对二次曲面、 无穷远平面的自标定方法

绝对二次曲面 将世界坐标系取作第一个摄像机的坐标系,则绝对二次曲面是: 其中 K1 是第一个摄像机的内参数,a 是无穷远平面的法向量。

绝对二次曲面定标方程 是射影重建, 则有:

无穷远平面的单应矩阵 是射影重建,第1幅和第 i 幅图像之间的无穷远平面的单应矩阵是:

基于无穷远平面单应矩阵的标定方程 方程是: x π m m' e e' H33

5.4、几种自标定方程的关系

关系 基于绝对二次曲面的标定方程与基于无穷远平面的标定方程完全等价。 由绝对二次曲面的标定方程或无穷远平面的标定方程可以推出 Kruppa 方程。反之,对Kruppa 方程添加一个方程后,可以推出绝对二次曲面的标定方程或无穷远平面的标定方程。