杨青青 Qingqing Yang qqyang@nit.zju.edu.cn 机器视觉 Machine Vision 杨青青 Qingqing Yang qqyang@nit.zju.edu.cn

上一次课程回顾 尺度不变特征点检测 SIFT SURF 特征点描述 特征点匹配

图像特征点匹配概述 1. 选取一系列特殊的关键点 2. 在每个关键点周围指定一个范围 3. 提取这个图像范围的内容并对其进行标准化 A1 A2 A3 B1 B2 B3 2. 在每个关键点周围指定一个范围 3. 提取这个图像范围的内容并对其进行标准化 4. 从标准化的本地区域，计算一组描述子 5. 对局部描述子进行匹配 K. Grauman, B. Leibe

立体匹配（stereo matching） 本次课程 立体匹配（stereo matching） 匹配代价计算 匹配代价聚合 匹配代价优化 视差图求取 Slides from James Hays, Derek Hoiem, Alexei Efros, Steve Seitz, and David Forsyth

立体视觉应用 人脸建模 从一对立体图像对重建3D头部模型 [Frederic Deverney, INRIA]

立体视觉应用 Z Keying：混合现实并进行合成 Takeo Kanade, CMU (Stereo Machine)

[Matthies,Szeliski,Kanade’88] 立体视觉应用 视点插值 给定两幅图像和对应的匹配，合成中间的视点 输入 深度图像 合成视点 [Matthies,Szeliski,Kanade’88]

立体视觉应用 视点插值 给定两幅图像和对应的匹配，合成中间的视点 输入 深度图像 合成视点 [Szeliski & Kang ‘95]

立体视觉应用 视频视点插值

虚拟现实（Virtual Reality） 立体视觉应用 虚拟现实（Virtual Reality） 通过50+的视频码流中提取并重建3D模型序列

立体视觉应用 实时立体匹配 用于机器人导航等应用 基于软件的实时立体技术

基本的立体匹配算法 假定所有的对应点已经在一条直线上 对于左图的每一个像素点x 测试对应扫描线上的每一个像素点，寻找最优的匹 配点x’ 参考图像 匹配图像 假定所有的对应点已经在一条直线上 对于左图的每一个像素点x 测试对应扫描线上的每一个像素点，寻找最优的匹 配点x’ 计算视差

基本的立体匹配算法 寻找匹配 在右图中沿着扫描线滑动窗口，比较窗口中和参考 图像中的窗口内容进行比较 匹配代价：SSD 或者其它代价函数 左图 右图 扫描线 匹配代价 视差 寻找匹配 在右图中沿着扫描线滑动窗口，比较窗口中和参考 图像中的窗口内容进行比较 匹配代价：SSD 或者其它代价函数

基本的立体匹配算法 左图 右图 扫描线 SSD

基本的立体匹配算法 窗口大小的影响 窗口越小 有点：细节越多 缺点：噪声更多 窗口越大 视差图像越平滑 细节更少 W = 3 W = 20

立体匹配算法面对的挑战 为什么立体匹配算法很困难？ Stefano Mattoccia

立体匹配算法面对的挑战 图像扭曲和噪声 特殊平面 Stefano Mattoccia

立体匹配算法面对的挑战 透视伸缩 Stefano Mattoccia

立体匹配算法面对的挑战 投影畸变 均匀表面 Stefano Mattoccia

立体匹配算法面对的挑战 重复纹理 Stefano Mattoccia

立体匹配算法面对的挑战 透明物体 遮挡和不连续 Stefano Mattoccia

立体匹配算法面对的挑战 遮挡和不连续 Stefano Mattoccia

Middlebury 立体评估平台 D. Scharstein and R. Szeliski, http://vision.middlebury.edu/stereo/eval/

Middlebury 立体评估平台测试序列 Tsukuba, Venus, Teddy and Cones Stefano Mattoccia

立体匹配算法框架 局部立体匹配算法 全局立体匹配算法 根据立体匹配分类文献，基本上所有的立体匹配方法都会执 行下列（或者部分）步骤： 匹配代价计算 匹配代价聚合 匹配代价优化 视差图求取 局部立体匹配算法 1 => 2 => 3 => (4)，使用winner-take-all(WTA)计算视差 可以使用快速方法，但传统的方法精度不高 全局立体匹配算法 1 => (2) => 3 => (4)，使用全局优化方法求解能量最优解 能获取精确平滑视差图，但算法复杂度高 基于图像分割的立体匹配算法 — 使用图像分割结果，对同一区域内视差使用平面拟合 — 作为区域约束条件，应用于全局优化，提高视差预测结果 下面，我们对各个步骤逐一进行讲解

立体匹配代价计算 参考图像 匹配图像

立体匹配代价计算 常见的匹配代价计算方法 单像素点匹配代价（彩色图像）： 绝对误差和（SAD） 平方误差和（SSD） 图像块匹配代价计算

立体匹配代价计算 常见的匹配代价计算方法 图像块匹配代价计算 更鲁棒的方法（计算量更大）：

立体匹配代价计算 采样无关的代价计算方法 能有效提升下采样后立体图像对的匹配精度 Stefano Mattoccia

立体匹配代价计算 非参数化代价计算方法： Census和Rank方法 将图像像素视作比特流 通过非参数化变换后，计算比特流距离（如hamming距离等） Census和Rank方法 3x3窗口Census变换示意

立体匹配代价计算 当前经常使用的基于像素点的匹配代价计算方法 平衡参数 截断值 BT匹配代价 对应梯度图像匹配代价

立体匹配代价计算 匹配代价图像(Disparity Space Image)

立体匹配代价计算 匹配代价图像(Disparity Space Image)

立体匹配代价计算 匹配代价卷 和 匹配代价片

Stefano Mattoccia 立体匹配代价聚合 如果通过计算得到的匹配代价直接估计视差值 Winner Tanks All (WTA)

Stefano Mattoccia 立体匹配代价聚合 使用固定窗口实现

立体匹配代价聚合 固定窗口代价聚合的缺点 假定物体表面都是垂直平面 忽视了深度不连续的情况 对于均匀区域（低纹理区域）没有特定处理方法 Stefano Mattoccia 立体匹配代价聚合 固定窗口代价聚合的缺点 假定物体表面都是垂直平面 忽视了深度不连续的情况 对于均匀区域（低纹理区域）没有特定处理方法 对于重复纹理没有特定处理方法

立体匹配代价聚合 a) 不恰当的垂直平面假设 Stefano Mattoccia

立体匹配代价聚合 b) 忽视物体深度不连续 在深度变化的边界区域使用固定窗口，往往会导致深度 边缘的定位不准确 Stefano Mattoccia

立体匹配代价聚合 b) 忽视物体深度不连续 先进的匹配代价聚合方法通过调节窗口形状和（或）大 小，使得聚合窗口自适应于场景物体。 固定聚合窗口 理想聚合窗口 Stefano Mattoccia

立体匹配代价聚合 固定窗口不针对均匀区域c)和重复纹理区域d)进行处理 固定聚合窗口 理想聚合窗口 Stefano Mattoccia 上面两个情况，理想的聚合窗口都需要引入尽可能多的相同像素 Stefano Mattoccia

立体匹配代价聚合 可变窗口方法 固定窗口形状（正方形），窗口大小可变 O. Veksler, Fast variable window for stereo correspondence using integral images In Proc. Conf. on Computer Vision and Pattern Recognition (CVPR 2003), pages 556–561, 2003 Stefano Mattoccia

立体匹配代价聚合 可变窗口方法 固定窗口形状（正方形），窗口大小可变 Stefano Mattoccia

立体匹配代价聚合 可变窗口方法：匹配结果 Stefano Mattoccia

立体匹配代价聚合 自适应权重方法 固定聚合窗口 聚合窗口内像素点权重通过像素点相似度进行赋值 K. Yoon and I. Kweon. Adaptive support-weight approach for correspondence search IEEE PAMI, 28(4):650–656, 2006 Stefano Mattoccia

立体匹配代价聚合 自适应权重方法 Stefano Mattoccia

立体匹配代价聚合 自适应权重：结果 Stefano Mattoccia

立体匹配代价聚合 自适应权重：结果 Stefano Mattoccia

立体匹配代价聚合 局部线性模型 min (𝑎,𝑏) 𝑖 (𝑎 𝐼 𝑖 +𝑏− 𝑝 𝑖 ) 2 +𝜀 𝑎 2 𝑞 𝑖 = 𝑝 𝑖 − 𝑛 𝑖 线性规划 input p 𝑎= 𝑐𝑜𝑣(𝐼,𝑝) 𝑣𝑎𝑟 𝐼 +𝜀 output q 𝑞 𝑖 =𝑎 𝐼 𝑖 +𝑏 𝛻 𝑞 𝑖 =𝑎𝛻 𝐼 𝑖 𝑏= 𝑝 −𝑎 𝐼 将窗口中所有求得的结果平均 guide I 𝑞 𝑖 = 1 |𝑤| 𝑘|𝑖𝜖 𝑤 𝑘 ( 𝑎 𝑘 𝐼 𝑖 + 𝑏 𝑘 ) = 𝑎 𝑖 𝐼 𝑖 + 𝑏 𝑖

立体匹配代价聚合 双层局部自适应 𝜇 𝑘 表示滤波窗口内像素点均值 𝜎 𝑘 2 表示滤波窗口内像素点方差 𝜖 表示平滑参数，用于调节滤波效果

立体匹配代价聚合 双层局部自适应 滤波窗口大小自适应于指导图像的内容 支持像素点权重赋值自适应于中心像素点所在滤波 窗口特性

立体匹配代价聚合 自适应指导图像代价滤波：结果 数字图像滤波器在立体匹配中的应用

立体匹配代价聚合 自适应指导图像代价滤波：结果 从左至右分别为： 参考图像（左图），算法求得的视差图，标准视差图，误差图（误差>1.0）

立体匹配代价聚合 自适应指导图像代价滤波：结果 （计算机合成图像）

立体匹配代价聚合 自适应指导图像代价滤波：结果 （其它高质量立体测试序列）

视差值求取 Winner Tanks All (WTA) Stefano Mattoccia

视差值优化——视差双向检测 左右一致性校验 以左图作为参考的视差值 以右图作为参考的视差值

视差值优化——视差双向检测 白色点表示检测得到的异常值

视差图后处理 背景像素点填充 + 加权中值滤波

提醒 截止时间： 按时提交编程作业 提交节点：2014年5月4日24：00前提交； 最终节点：2014年5月11日24：00；该节点以后提交 将不能过得分数。 注意： 5月4日24：00 ~ 5月11日24：00之间提交的 作业，最后得分将被扣除20%！