国家自然科学基金重点项目 虚拟现实中基于图像的建模和绘制 （编号 ）

Presentation on theme: "国家自然科学基金重点项目 虚拟现实中基于图像的建模和绘制 （编号 ）"— Presentation transcript:

1 国家自然科学基金重点项目 虚拟现实中基于图像的建模和绘制 （编号60033010）
国家自然科学基金重点项目 虚拟现实中基于图像的建模和绘制 （编号 ） 汇报人：石教英 浙江大学CAD&CG国家重点实验室 二零零五年五月

2 目 录 项目总报告 石教英课题组总结

3 项目总报告 一、项目概况 二、项目研究背景、目标与内容 三、项目成果统计 四、四年来研究工作主要成果概述

4 石教英课题组总结 一、基于图像的建模（IBM）技术 二、基于图像的绘制（IBR）技术 三、基于预计算及采样的实时高真实感图 像的绘制技术
三、基于预计算及采样的实时高真实感图 像的绘制技术 四、统一数字几何处理框架研究

5 一、项目概况 项目名称： 虚拟现实中基于图像的建模和绘制 项目负责人： 石教英，浙江大学 项目承担单位和学术领导人：
浙江大学石教英教授和彭群生教授， 中科院自动化所胡占义研究员， 软件研究所吴恩华研究员 起止年月：2001年1月至2004年12月 资助金额：110.00万元 四年已到款金额：110.00万元 经费结余金额：4万元

6 二、研究背景，目标与内容(1) 项目的研究背景 虚拟现实(VR)技术是信息领域的前沿，对视觉建模和绘制的真实感和实时性有很高的要求
计算机图形学面临的两大挑战：高度真实感，实时性 IBMR（基于图像的建模和绘制）是1990年代初提出的新兴研究方向，鲜明特点： 具有高度真实感和较好的实时性 缺乏几何信息

7 二、研究背景，目标与内容(2) Traditional Computer Graphics
Input: Geometry, Material Properties (Color, Reflectance,…etc.), Lighting. Transformation and Rasterization. Computer Vision methods to recover models. Transform (& Lighting) Rasterization

8 二、研究背景，目标与内容(3) Top Level Survey 3D Graphics Image-Based Rendering
Geometry or Surface Based Rendering & Modeling Sample-Based Graphics Image-Based Rendering & Modeling Volume Rendering

9 二、研究背景，目标与内容(4)

10 二、研究背景，目标与内容(5) Why IBR? Problems of triangle-based graphics:
Always starts from scratch. Millions of sub-pixel triangles. Geometry IBR Modeling Difficult Easy Complexity #triangles #pixels Fidelity Synthetic Acquired

11 二、研究背景，目标与内容(6) 项目的研究目标
采用基于图像的建模技术来替代传统的建模，以及采用图像空间变换操作来替代传统的图形绘制过程，试图解决VR建模复杂度，绘制速度及绘制质量等相互制约的矛盾 研究IBMR的基础理论和算法

12 二、研究背景，目标与内容(7) 项目的研究内容 基于图像的三维场景表示及漫游 基于像素采样点的光照属性和表面几何重建
虚拟景物与现实场景画面的无缝合成 IBMR采样图像的实时、高效压缩和存取 IBMR场景图像采样方法和技术优化 实现一个在CAVE环境下的IBMR实时漫游系统

13 三、项目成果统计(1) 说明： 论文数量较多，质量较高；国际著名期刊论文达13篇（未包括已录用论文数）
四年来已发表论文统计 年度 国际期刊 国际会议 国内一级学报 小计 SCI EI ISTP 2001 5 15 20 1 13 4 2002 3 12 22 37 17 2 2003 6 9 30 7 2004 25 38 总计 35 77 125 19 54 年平均 3.25 8.75 19.25 31 4.75 13.5 说明： 论文数量较多，质量较高；国际著名期刊论文达13篇（未包括已录用论文数） 论文的年平均数也可看出四位学术带头人的平均产出，达31篇

14 三、项目成果统计(2) 2. 人才培养统计 毕业博士生 23名 年均培养毕业博士生 5.75名
毕业博士生 名 年均培养毕业博士生 名 毕业硕士生 名 年均培养毕业硕士生 名 博士生平均发表论文 篇/23名 = 5篇

15 四、四年来研究工作主要成果概述(1) 1、杰出成果简介 本项目推动了我国计算机图形学与计算机视觉两个学科的交叉研究，取得了一批瞩目的成果。

16 四、四年来研究工作主要成果概述(2) 1、杰出成果简介
（1）在摄像机外参数标定的PnP问题上纠正了前人一直认为的基于距离的PnP问题和基于变换PnP问题相互等价的错误结论；深入研究了PnP 多解的几何分布问题。在摄像机自标定这一国际研究热点问题上，证明了对变参数摄像机仅仅知道平移运动不足以达到仿射重建，纠正了存在于学术界长达十余年的错误结论；提出多种基于主动视觉的摄像机自标定理论和算法，包括新的线性摄像机自标定方法和基于射影重建的摄像机自标定方法等。有多篇论文发表在IEEE Trans. PAMI，Pattern Recognition Letters , Image and Vision Computing 及国内一级学报上。

17 四、四年来研究工作主要成果概述(3) 1、杰出成果简介
（2）国际上首次解决了基于（深度）图像自动重建基于点与平面混合表示模型的复杂虚拟场景的技术难题，提出一系列创新算法有：能自动地将庞杂输入数据划分为点与平面模型的像素分类算法；基于Jacobi矩阵的采样密度比较算法；重建平面的空洞分析和预填补算法；针对基于点表达的物体的局部重建和重采样算法以及针对点面混合表达的实时漫游算法等。该项工作作为Kluwer Academic出版社于2004年1月出版的“Integrated Image and Graphics Technologies”专著的一章发表，是一项国际领先水平的成果。

18 四、四年来研究工作主要成果概述(4) 1、杰出成果简介
（3）提出了一个统一的数字几何处理框架，解决了将网格模型参数化到球面（或平面）的全局参数化的方法。在该框架下，所有成熟的数字图象处理技术都可以运用于3D几何数据处理上。论文也为后续应用研究奠定了理论基础。该项工作进一步促进了计算机图形学和图像处理两个学科在表示和处理层次上的交叉和融合。应用统一的数字几何处理框架，提出了曲面滤波处理方法，我们的主要贡献在于提出了两步法球面参数化方法。 有关论文发表在国际著名期刊Computer Aided Design以及国内计算机学报英文版等期刊上。

19 四、四年来研究工作主要成果概述(5) 1、杰出成果简介
（4）基于预计算及采样的实时高真实感图像的绘制技术提出了一种球面光辐射传输映射的新绘制方法。已有的预计算光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法,可以高效地绘制环境光源下动态场景中的软阴影和相互反射。另外还提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术 。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。相关论文发表在Computer Graphics Forum和Computers & Graphics等国际著名期刊上。

20 四、四年来研究工作主要成果概述(6) 1、杰出成果简介
（5）提出了基于相关系数的多源图像最优融合方法和线性最优融合方法，并证明了两者的等价性，改进了计算的时空复杂性。考虑人类视觉对图像局部区域的敏感程度，提出了一种新的基于人类视觉系统（HVS）的小波图像融合新算法，大大改善了图像融合的结果。有关论文发表在国内一级学报上。

21 四、四年来研究工作主要成果概述(7) 1、杰出成果简介
（6）开发了多个具有较高应用前景的基于图像建模和绘制的原型系统，如基于序列图像的建筑场景建模原型系统（SIBM），基于图像绘制的胡雪岩故居及灵隐寺景观漫游原型系统等。

22 四、四年来研究工作主要成果概述(8) 2、完成情况概述 3、四位学术带头人总结报告
1）计划任务书上所列6项研究内容都作了相关研究，并取得相应的结果（参见历年年度进展报告），但是各项内容完成质量是不平衡的。作为本项目的基础，即第1，2两项内容取得了较多和较高水平的成果。这部分成果可以看作为本项目的代表性成果 。 2）完成多个具有重要应用前景的IBMR原型系统。 3）本项目在完成原定研究计划外，还新增了几项与图象、视频以及真实感图形实时绘制等方面相关的研究内容，也取得较高水平的结果 。 3、四位学术带头人总结报告

23 四、四年来研究工作主要成果概述(9) 石教英课题组总结报告
四、四年来研究工作主要成果概述(9) 石教英课题组总结报告 1、基于图像的建模（IBM）技术 2、基于图像的绘制（IBR）技术 3、基于预计算及采样的实时高真实感图像的绘制技术 4、统一数字几何处理框架研究

24 四、四年来研究工作主要成果概述(10) 石教英课题组总结报告
四、四年来研究工作主要成果概述(10) 石教英课题组总结报告 1、基于图像的建模（IBM）技术 主要贡献 论文[文1]提出了一种强壮的特征点匹配算法。论文提出了基于硬几何约束的“匹配强度”概念，可减少匹配歧义性，同时提出了一种扩展指派算法用于全局优化，可达到最终消除匹配歧义问题。论文还改进了Harris特征点提取算法，增强对噪声的扼制能力。特征点匹配是计算机视觉的一项重要研究内容，具有重要应用价值，特别在基于图象建模方向上更是一个基础性工作，本文算法为下步基于图象建模工作打下了扎实基础。

25 四、四年来研究工作主要成果概述(11) 石教英课题组总结报告
四、四年来研究工作主要成果概述(11) 石教英课题组总结报告

26 四、四年来研究工作主要成果概述(12) 石教英课题组总结报告
四、四年来研究工作主要成果概述(12) 石教英课题组总结报告

27 四、四年来研究工作主要成果概述(13) 石教英课题组总结报告
四、四年来研究工作主要成果概述(13) 石教英课题组总结报告 1、基于图像的建模（IBM）技术 主要贡献 论文[文72，73，74]针对建筑物模型的规则性，提出一种基于平面的建筑物模型重建算法，包括相机定标，基平面提取，平面位置和方向计算等子过程，最后通过交互操作指明场景中各平面之间的相互关系，递归求解各平面位置和法向，达到根据图像重建建筑物场景表面模型的目的。

28 四、四年来研究工作主要成果概述(14) 石教英课题组总结报告
四、四年来研究工作主要成果概述(14) 石教英课题组总结报告 基于序列图像建筑场景建模软件原型系统（SIBM） SIBM系统功能模块 重建模型 采样图像

29 四、四年来研究工作主要成果概述(15) 石教英课题组总结报告
2、基于图像的绘制（IBR）技术 主要贡献 提出了一种新的基于图像的场景表示方法：平面狭缝图像场，以及一种称为深度狭缝图像全景拼图的新方法，形成一种新的基于图像的绘制方法，可实时生成具有高真实感的漫游场景。

30 四、四年来研究工作主要成果概述(16) 石教英课题组总结报告
2、基于图像的绘制（IBR）技术 主要贡献 论文[会28,29]是对著名的“画中游”(Tour into picture-TIP)技术的一种改进，提出了TIP建模中相对深度的新概念，应用相对深度概念可以方便地定义参考图象的位置，从而可以方便地构建TIP的模型。论文给出了单灭点TIP和双灭点TIP相对深度的计算方法。实验证明本文方法的可行性和正确性。

31 四、四年来研究工作主要成果概述(17) 石教英课题组总结报告
胡雪岩故居及灵隐景区漫游系统界面（点击左图进入视频演示）

32 四、四年来研究工作主要成果概述(18) 石教英课题组总结报告
3、基于预计算及采样的实时高真实感图像的绘制技术 主要贡献 论文[文8]提出了一种球面光辐射传输映射的新绘制方法。球面光辐射传输映射是一种预计算的光辐射传输函数技术，该技术用于实时的全局光照绘制。已有的预计算的光辐射传输函数方法局限于单个物体或静态场景的绘制。我们提出一种处理包含动态场景的预计算方法。球面光辐射传输映射技术可以高效地绘制环境光源下动态场景中地软阴影和相互反射。 DEMO 1 DEMO 2

33 四、四年来研究工作主要成果概述(19) 石教英课题组总结报告
3、基于预计算及采样的实时高真实感图像的绘制技术 主要贡献 论文[文9]提出了一种称为光照相关纹理的新绘制方法——光照相关纹理技术 。利用这一技术，可以将真实材料表面的三维纹理移植到虚拟模型上，在环境光的照射下，进行实时绘制。这是一种基于采样的实时高真实感图像绘制技术，是基于图像绘制技术的新发展。 DEMO

34 四、四年来研究工作主要成果概述(20) 石教英课题组总结报告
4、统一数字几何处理框架研究 主要贡献 论文[文33]提出了一个统一的数字几何处理框架，即提出了将网格模型参数化到球面（或平面）的全局参数化方法。在论文的框架下，所有成熟的数字图象处理技术都可以运用于3D几何数据处理上。论文也为后续应用研究奠定了理论基础。

35 四、四年来研究工作主要成果概述(21) 石教英课题组总结报告
四、四年来研究工作主要成果概述(21) 石教英课题组总结报告

36 四、四年来研究工作主要成果概述(22) 石教英课题组总结报告
四、四年来研究工作主要成果概述(22) 石教英课题组总结报告 4、统一数字几何处理框架研究 主要贡献 论文[文13]在上述统一数字几何处理框架下提出了曲面滤波处理方法，即应用我们提出的强壮的球面参数化方法将输入曲面转换为球面矢量函数，再进行滤波处理，我们的主要贡献在于提出了两步法球面参数化方法。

37 四、四年来研究工作主要成果概述(23) 石教英课题组总结报告
四、四年来研究工作主要成果概述(23) 石教英课题组总结报告

38 四、四年来研究工作主要成果概述(24) 石教英课题组总结报告
四、四年来研究工作主要成果概述(24) 石教英课题组总结报告

39 四、四年来研究工作主要成果概述(25) 石教英课题组总结报告
四、四年来研究工作主要成果概述(25) 石教英课题组总结报告

40 谢谢大家！