摄影测量系统中基于SIFT算法 的柱面全景图像拼接实现 答 辩 人: 高琦 指导老师: 刘玉华 教授 2015年5月24日

目 录 绪论 图像拼接技术及理论基础 基于SIFT算法的局部图像拼接技术实现 摄影测量系统中柱面全景图像的拼接与实现 总结与展望 1 2 3 4 总结与展望 5 计算机学院

绪论(1/3) 全景图像的发展 软件方法进行图像拼接 图像拼接的应用领域 手工拼接 全景相机拍摄 软件处理 将一组有重叠部分的图像序列利用算法拼接成无缝、宽视角、高清晰的全景图像 图像拼接的应用领域 图像拼接技术在医学图像处理、军事应用、遥感摄影和虚拟现实技术等领域有着广泛的应用 图像拼接技术促进数字摄影测量技术的发展 计算机学院

绪论(2/3) 图像拼接在国内外的研究现状 全景图像拼接技术伴随着计算机技术和数字图像技术的 发展不断被创新，其发展势头迅猛。 1996年R.Szdiski和J.Coughlan共同提出在图像拼接中应用投影变换的思想; 2000年，S.Peleg等人经过对 R.Szdiski 理论的总结与研究，提出了采用自适应模型的的图像拼接算法; 2003年，M.Brown提出了基于SIFT特征匹配的图像拼接算法; 2012年，梁艳菊、李庆等人总结了SIFT特征匹配的优缺点，提出了一种基于SURF的全景图像拼接算法. 计算机学院

绪论(3/3) 本文研究内容 图像柱面投影 图像SIFT特征点提取 特征点匹配 图像融合 选取多处地点原始图像序列进行拼接测试与分析 计算机学院

图像拼接技术及理论基础(1/3) 成像变换原理 将不同坐标系下的图像变换到一个坐标系下，可采用投影变 图像坐标系 成像平面 世界坐标系 摄像机坐标系 将不同坐标系下的图像变换到一个坐标系下，可采用投影变 换，其对于摄像机的平移、旋转拍摄、镜头的缩放和水平竖直扫 动等，其原始图像上直线性质不变。 计算机学院

图像拼接技术及理论基础(2/3) 图像配准 图像融合 基于待配准图像灰度信息的配准方法 基于待配准图像变换域内信息的配准方法 基于待配准图像特征信息的配准方法 (1) 特征点提取 (2) 特征点匹配 (3) 构造变换矩阵 图像融合 直接平均像素法 最大最小值法 加权平均法 计算机学院

图像拼接技术及理论基础(3/3) 全景图分类 按照拼接基准表面的投影模型可以分为立方体全景图、球面全景图和柱面全景图 柱面全景图 球形全景图 本文采用模型 视平面 全景图 计算机学院

基于SIFT算法的局部图像拼接技术实现(1/7) 局部图像拼接流程 采集两幅有重叠区域的图像 对图像进行SIFT特征点提取 对特征点进行匹配并剔除错误的匹配特征点 精确匹配并得出变换矩阵 图像融合 生成拼接图 开始 局部图像拼接流程如下： (1) 采集原始图像； (2) 提取SIFT特征点； (3) 特征点匹配； (4) 得出变换矩阵 ； (5) 图像融合； 经过上述流程最终生成拼接图。 图3.1 拼接算法流程图 计算机学院

基于SIFT算法的局部图像拼接技术实现(2/7) SIFT，即尺度不变特性变换(Scale-invariant Feature Transform，SIFT)，其特征点具有尺度、位置和方向不变性。提取的过程主要为如下四步： 尺度空间的建立及极值检测 确定关键点位置 为特征点分配方向 为特征点生成特征描述符 图3.2 SIFT特征点 计算机学院

基于SIFT算法的局部图像拼接技术实现(3/7) 特征点匹配与提纯（1/2） 匹配的标准就是计算两个特征点的欧氏距离L ，L最小表示最具匹配特性，这里采用K-D树的数据结构来存储特征描述子，利用BBF算法进行遍历搜索，初步匹配。 Root Left Right K-D Tree y x 图3.3 K-D Tree数据结构 计算机学院

基于SIFT算法的局部图像拼接技术实现(4/7) 特征点匹配与提纯（2/2） K-D树和BBF算法 K-D树即K-Dimension树，是二叉树的扩展形式。相当于树中每一个节点都有K维。 BBF(Best-Bin-First)是一种改进的K-D树最近邻查询算法。 图3.4 两幅图像特征点 图3.5 图像特征点匹配关系 计算机学院

基于SIFT算法的局部图像拼接技术实现(5/7) RANSAC算法精确匹配并得出变换矩阵 该算法主要是在一组数据集中进行迭代运算，筛选掉其中包含的“局外点”，并估算出其数学模型的参数。经过RANSAC算法处理后得出图像的变换矩阵。 图3.6 特征点匹配对筛选 图3.7 与变换矩阵作用后图像 计算机学院

基于SIFT算法的局部图像拼接技术实现(6/7) 图像融合（1/2） 采用加权平均的像素级融合方法使重叠部分色彩差异变小，实现平滑过渡。 和 分别为待拼接的图像， 为融合后的图像。 其中 和 分别是需要平滑处理的重叠区域内图像 和 各自在同一点上的权值，且有 ， ， 。 计算机学院

基于SIFT算法的局部图像拼接技术实现(7/7) 图像融合（2/2） 图3.8 直接叠加拼接效果图 图3.9 融合后效果图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(1/12) 公司自主研发的摄影测量系统的硬件平台 微型计算机 图像采集设备 电机驱动设备 步进电机 光学系统 USB接口 图4.1 摄影测量系统硬件平台示意图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(2/12) 公司自主研发的摄影测量系统功能模块 摄影测量系统 获取激光测距值 自动俯仰航转动 获取俯仰角航向角 生成三维姿态信息 全景图像拼接 在全景图上显示各点三维信息 获取实时影像和图像 本文研究内容 图4.2 摄影测量系统功能模块 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(3/12) 柱面全景拼接流程图 图像柱面投影 图像采集 利用K-D树和BBF算法对特征点进行初步匹配 提取图像SIFT特征点 利用RANSAC 算法筛选特征匹配对 利用加权平均法对重叠部分进行融合处理 循环执行生成全景图 开始 柱面全景图拼接具有如下流程： (1) 采集多张原始图像； (2) 柱面投影转换； (3) 提取SIFT特征点； (4) 特征点匹配； (5) 得出变换矩阵 ； (6) 图像融合； 循环执行上述步骤最终生成柱面全景图。 图4.3 柱面全景拼接流程图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(4/12) 自动拍照程序流程图 计算机学院 图4.4 自动拍照程序流程图

摄影测量系统中柱面全景图像的拼接与实现(5/12) 柱面投影转换（1/2） 柱面转换公式如下： 焦距 与每张图像所占的弧度角 关系为 。其 中每一幅图像所占弧度角由图像序列的数量决定，假设图像序列为n 张，则 。 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(6/12) 柱面投影转换（2/2） 图4.5 原始平面图 图4.6 柱面投影效果图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(7/12) 柱面图像配准与融合 Step1 排好顺序的第一张柱面图作为全景图 的初始图片； Step2 下一张柱面图 作为待拼接的部分，利用K-D树和BBF算法以及 RANSAC算法进行特征点匹配与提纯，得到匹配点集保存起来；Step3 利用RANSAC算法时，求得 和上一步的全景图像的变换矩阵， 将 变换到 的坐标系下面进行拼接，融合阶段采用加权平均 的方法对重叠区域处理，消除颜色差异和产生的接缝； Step4 循环进行上述步骤，输入下一幅图像，直至最后一张图像。 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(8/12) 柱面全景图像拼接效果图 原始平面图 柱面全景拼接图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(9/12) 实验测试 测试实验采集了 4 组图像序列。在实验中，设置最近距离与次近距离比例阈值为 0.42 ，设置算法的最大迭代次数为 200，各组待拼接图像信息如表3.1所示。 表4.1 待拼接图像序列信息 分组 地点 图像序列数 水平视野角度 第一组 博雅广场 12 360° 第二组 喷泉广场 10 第三组 体育馆门前 7 180 第四组 体育馆二楼 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(10/12) 实验结果（1/2） 图4.9 博雅广场全景图 图4.10 喷泉广场全景图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(11/12) 实验结果（1/2） 图4.11 体育馆门前全景图 图4.12 体育馆二楼全景图 计算机学院

摄影测量系统中柱面全景图像的拼接与实现(12/12) 实验结果分析 利用柱面投影模型的图像拼接保证了全景图具有较好的可视效果 对于图像序列的缩放、旋转和光照差异表现出良好的鲁棒性 对于小比例重叠区域的图像拼接同样生成了效果较好的全景图 融合处理图像时效果明显，对于两幅图像有亮度和色彩差异的情况， 生成的全景图并没有明显的接缝。 计算机学院

总结与展望 总结 展望 SIFT特征点信息量丰富，能够准确的表现出图像的特性 柱面投影获取方式简单、存储和访问方便，是理想的拼接投影模型 加权平均的融合方法效果明显，拼接图无接缝与色差 柱面全景图像拼接适用于摄影测量 展望 降低消耗的内存，实现在摄影测量仪器上实时拍摄，实时拼接 研究处理光照、亮度差别较大的图像的融合 消除动态景物产生的虚影现象 研究将柱面全景图展开为平面图，消除弧形边缘 计算机学院

敬请各位专家老师批评指正！ 谢谢！ 计算机学院