摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室.

Slides:



Advertisements
Similar presentations
一、 一阶线性微分方程及其解法 二、 一阶线性微分方程的简单应用 三、 小结及作业 §6.2 一阶线性微分方程.
Advertisements

第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
2.6 隐函数微分法 第二章 第二章 二、高阶导数 一、隐式定义的函数 三、可微函数的有理幂. 一、隐函数的导数 若由方程 可确定 y 是 x 的函数, 由 表示的函数, 称为显函数. 例如, 可确定显函数 可确定 y 是 x 的函数, 但此隐函数不能显化. 函数为隐函数. 则称此 隐函数求导方法.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
§3.4 空间直线的方程.
第四章 向量组的线性相关性 §1 向量组及其线性组合 §2 向量组的线性相关性 §3 向量组的秩 §4 线性方程组的解的结构.
《解析几何》 -Chapter 3 §7 空间两直线的相关位置.
3.4 空间直线的方程.
1.非线性振动和线性振动的根本区别 §4-2 一维非线性振动及其微分方程的近似解法 方程
《解析几何》 乐山师范学院 0 引言 §1 二次曲线与直线的相关位置.
第五章 二次型. 第五章 二次型 知识点1---二次型及其矩阵表示 二次型的基本概念 1. 线性变换与合同矩阵 2.
§1 二阶与三阶行列式 ★二元线性方程组与二阶行列式 ★三阶行列式
6.9二元一次方程组的解法(2) 加减消元法 上虹中学 陶家骏.
一、二阶行列式的引入 用消元法解二元线性方程组. 一、二阶行列式的引入 用消元法解二元线性方程组.
第三章 函数逼近 — 最佳平方逼近.
§1 线性空间的定义与性质 ★线性空间的定义 ★线性空间的性质 ★线性空间的子空间 线性空间是线性代数的高等部分,是代数学
第一章 行列式 第五节 Cramer定理 设含有n 个未知量的n个方程构成的线性方程组为 (Ⅰ) 由未知数的系数组成的n阶行列式
第四节 一阶线性微分方程 线性微分方程 伯努利方程 小结、作业 1/17.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第三章 导数与微分 习 题 课 主要内容 典型例题.
2-7、函数的微分 教学要求 教学要点.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
初中数学 九年级(下册) 5.3 用待定系数法确定二次函数表达式.
探索三角形相似的条件(2).
第2章 Z变换 Z变换的定义与收敛域 Z反变换 系统的稳定性和H(z) 系统函数.
本次课程内容 相机成像模型 小孔成像、相机成像参数 单目视觉定位(测距)方法 局限性、难点 双目视觉方法 原理.
Computer Graphics 计算机图形学基础 张 赐 Mail: CSDN博客地址:
物体识别 3D建图 semantic mapping
第三节 视觉系统的几何特性.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
数学模型实验课(三) 插值与三维图形.
工业机器人技术基础及应用 主讲人:顾老师
双曲线的简单几何性质 杏坛中学 高二数学备课组.
工业机器人技术基础及应用 主讲人:顾老师
網路遊戲版 幸福農場168號.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
第二十二章 曲面积分 §1 第一型曲面积分 §2 第二型曲面积分 §3 高斯公式与斯托克斯公式.
2.3.4 平面与平面垂直的性质.
线性规 Linear Programming
线 性 代 数 厦门大学线性代数教学组 2019年4月24日6时8分 / 45.
§1体积求法 一、旋转体的体积 二、平行截面面积为已知的立体的体积 三、小结.
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
复习: 若A(x1,y1,z1) , B(x2,y2,z2), 则 AB = OB - OA=(x2-x1 , y2-y1 , z2-z1)
中国科学院自动化研究所 模式识别国家重点实验室
第16讲 相似矩阵与方阵的对角化 主要内容: 1.相似矩阵 2. 方阵的对角化.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
吴 毅 红 中国科学院自动化研究所 模式识别国家重点实验室
第七、八次实验要求.
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
建模常见问题MATLAB求解  .
《工程制图基础》 第五讲 投影变换.
静定结构位移计算 ——应用 主讲教师:戴萍.
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
线 性 代 数 厦门大学线性代数教学组 2019年5月12日4时19分 / 45.
2019/5/21 实验一 离散傅立叶变换的性质及应用 实验报告上传到“作业提交”。 11:21:44.
§2 方阵的特征值与特征向量.
§2-2 点的投影 一、点在一个投影面上的投影 二、点在三投影面体系中的投影 三、空间二点的相对位置 四、重影点 五、例题 例1 例2 例3
在发明中学习 线性代数概念引入 之四: 矩阵运算 李尚志 中国科学技术大学.
欢迎大家来到我们的课堂 §3.1.1两角差的余弦公式 广州市西关外国语学校 高一(5)班 教师:王琦.
滤波减速器的体积优化 仵凡 Advanced Design Group.
正弦函数的性质与图像.
定义5 把矩阵 A 的行换成同序数的列得到的矩阵,
第四节 向量的乘积 一、两向量的数量积 二、两向量的向量积.
3.2 平面向量基本定理.
第三节 数量积 向量积 混合积 一、向量的数量积 二、向量的向量积 三、向量的混合积 四、小结 思考题.
香港城市大学 导师: 布礼文教授( Dr. L M Po ) 学生: 徐叙远 ( Xu Xuyuan )
§4.5 最大公因式的矩阵求法( Ⅱ ).
第三章 线性方程组 §4 n维向量及其线性相关性(续7)
3.3.2 两点间的距离 山东省临沂第一中学.
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
Presentation transcript:

摄像机标定和三维重建 胡占义 中国科学院自动化研究所 模式识别国家重点实验室

主要内容 1、引言 2、图象的形成过程 3、传统标定方法 DLT方法,RAC方法和简易标定方法 4、 预备知识 5、摄像机自标定 6、基于主动视觉的摄像机标定 7、分层重建理论 8、多视点几何

引言 几个问题 什么是摄像机标定 ? 为什么要对摄像机进行标定 ? 为什么要研究不同的摄像机标定方法? 什么是三维重建 ? 为什么要进行三维重建 ?

引言 三维重建是人类视觉的主要目的,也是计算机视觉的最主要的研究方向. (Marr 1982) 所谓三维重建就是指从二幅和二幅以上图象恢复空间点三维坐标的过程。 三维重建的三个关键步骤 图象对应点的确定 摄像机标定 二图象间摄像机运动参数的确定

图象的形成过程 和 摄像机针孔模型

坐标系 1、世界坐标系: 2、摄像机坐标系: 3、图像坐标系: 说明: 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系 O u 摄像机坐标系 y x v 图像坐标系 说明: 为了校正成像畸变 用理想图像坐标系 和真实图像坐标系 分别描述畸变前后的坐标关系

摄像机光学成像过程的四个步骤 世界坐标系 刚体变换 摄像机坐标系 透视投影 理想图像坐标系 畸变校正 真实图像坐标系 数字化图像 1、刚体变换公式 刚体变换 透视投影 畸变校正 数字化图像 世界坐标系 摄像机坐标系 真实图像坐标系 数字化图像坐标系 理想图像坐标系 齐次坐标形式

2、透视投影——透镜成像原理图 一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替 f=OB 为透镜的焦距 m=OC 为像距 物体 A 图像 O 一般地由于 于是 这时可以将透镜成像模型近似地用小孔模型代替 f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距

2、透视投影——小孔成像模型 o 写成齐次坐标形式为

2、中心透视投影模型 o f 写成齐次坐标形式为

3、畸变校正——径向和切向畸变 径向畸变 径向失真 离心畸变 切向失真 薄透镜畸变 dr :radial distortion Ideal Position Position with distortion dr :radial distortion dt :tangential distortion

3、畸变校正——其它畸变类型 a b 薄棱镜畸变 桶形畸变a和枕形畸变b Axis of max Tangential Axis of min tangential distortion Axis of max Tangential a :barrel distortion b :pincushion distortion a b 桶形畸变a和枕形畸变b 薄棱镜畸变

4、图像数字化 在 中的坐标为 象素在轴上的物理尺寸为 U C V Affine Transformation : 齐次坐标形式: 其中

摄像机的内参数矩阵 K

线性摄像机成像模型 最终得到: 图像像素坐标系 图像物理坐标系 摄像机坐标系 世界坐标系 图像像素坐标系 世界坐标系 这是忽略畸变的线性成像模型

传统的摄像机标定方法 特点 要求摄像机标定块,算法复杂,精度高

直接线性变换(DLT变换) DLT: Direct Linear Transformation

DLT变换 Abdal-Aziz和Karara于70年代初提出了直接 线性变换像机定标的方法,他们从摄影测量 学的角度深入的研究了像机图像和环境物体 之间的关系,建立了像机成像几何的线性模 型,这种线性模型参数的估计完全可以由线 性方程的求解来实现。

DLT变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式: 其中 为图像坐标系下的点的齐次坐标, 为 其中 为图像坐标系下的点的齐次坐标, 为 世界坐标系下的空间点的欧氏坐标, 为 的透视投影矩 阵, 为未知尺度因子。

DLT变换 消去 ,可以得到方程组:

DLT变换 当已知 个空间点和对应的图像上的点时,可以得到一个含有2* 个方程的方程组: 其中 为 的矩阵, 为透视投影矩阵元素组成的 当已知 个空间点和对应的图像上的点时,可以得到一个含有2* 个方程的方程组: 其中 为 的矩阵, 为透视投影矩阵元素组成的 向量 。

DLT变换 像机定标的任务就是寻找合适的 ,使得 为最小,即 给出约束: 像机定标的任务就是寻找合适的 ,使得 为最小,即 给出约束: 为 的前11个元素组成的向量, 为 前11列组成的矩阵, 为 第12列组成的向量。

DLT变换 是否合理? 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明: 世界坐标系作刚性坐标变换 则 约束 不具有旋转和平移的不变性,解将随着世 界坐标系的选取不同而变化. 证明: 世界坐标系作刚性坐标变换 则 显然在一般的情况下

DLT变换 另一个约束 具有旋转和平移的不变性 向量 , , 是两两 垂直的单位向量 由

R. Tsai 的 RAC的定标算法

简 介 80年代中期Tsai提出的基于RAC的定标方法是计 算机视觉像机定标方面的一项重要工作,该方 法的核心是利用径向一致约束来求解除 (像 机光轴方向的平移)外的其它像机外参数,然 后再求解像机的其它参数。基于RAC方法的最大 好处是它所使用的大部分方程是线性方程,从 而降低了参数求解的复杂性,因此其定标过程 快捷,准确。

主要内容 像机模型 径向一致约束 定标算法

像机模型 世界坐标系和摄像机坐标系的关系

像机模型 摄像机坐标系和图像坐标系的关系

理想图像坐标到实际图像坐标的变换 (只考虑径向偏差) 像机模型 理想图像坐标到实际图像坐标的变换 (只考虑径向偏差)

像机模型 从实际图像坐标到数字图像坐标的变换

径向一致约束 径向一致约束:

定标算法 1.利用径向一致约束来求解 和 定标步骤: 2.求解有效焦距 、 方向上的平移和畸变参数

定标算法——步骤一 1.求解外像机参数旋转矩阵 和 、 方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 1.求解外像机参数旋转矩阵 和 、 方向上的平移 由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 其中

定标算法——步骤一 如果得到一系列数目大于7个的标志点和它们的对应投影 图像点,就变成了一个过限制方程组,可以由最小二乘法 解出以下的7个变量 2.计算 由

先假定取正号,由以下的公式可以计算出旋转矩阵 和 定标算法——步骤一 3.确定 由 , 4.计算旋转矩阵 和 ,并确定 的符号 先假定取正号,由以下的公式可以计算出旋转矩阵 和

定标算法——步骤一 取世界坐标系中任一标志点 ,则可以计算出其在 像机坐标系中的坐标 同时取这个坐标点在图像上的投影点 取世界坐标系中任一标志点 ,则可以计算出其在 像机坐标系中的坐标 同时取这个坐标点在图像上的投影点 在实际像机系统中, 应该 和同号,如果计算出两者异号, 则 取为负号。最后求解

定标算法——步骤二 对于一个标志点,可以得到以下的两个方程 当不存在径向畸变时, 。 式变为 式

定标算法——步骤二 对于一系列的标志点,则形成了一个超定的方程组,可以 用线性最小二乘法求出 和 。 用线性最小二乘法求出 和 。 当存在径向畸变时,仍应用式 求出 和 的初始值,然后 将求出的 和 连同 作为条件,对式 进行非线性优化, 估计出 、 和 的真实值。

张正友的平面标定方法

张正友的平面标定方法 基本原理: 在这里假定模板平面在世界坐标系 的平面上 在这里假定模板平面在世界坐标系 的平面上 其中, 为摄像机的内参数矩阵, 为模板平面上点的齐次坐标, 为模板平面上点投影到图象平面上对应点的齐次坐标, 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量

张正友的平面标定方法 其中 根据旋转矩阵的性质,即 和 ,每幅图象可以获得以下两个对内参数矩阵的基本约束 根据旋转矩阵的性质,即 和 ,每幅图象可以获得以下两个对内参数矩阵的基本约束 由于摄像机有5个未知内参数,所以当所摄取得的图象数目大于等于3时,就可以线性唯一求解出

张正友的平面标定方法 张正友方法所用的平面模板

张正友的平面标定方法 算法描述 打印一张模板并贴在一个平面上 从不同角度拍摄若干张模板图象 检测出图象中的特征点 求出摄像机的内参数和外参数 求出畸变系数 优化求精

张正友的平面标定方法 张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高,操作繁琐等缺点,又较自标定方法精度高,符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。 张的方法的缺点是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配,这给不熟悉计算机视觉的使用者带来了不便。