第三章虚拟现实建模技术 虚拟现实建模概述 基于图形学的真实感图形的实时绘制 模型分割：层次细节模型（LOD） 基于图象的建模技术

虚拟现实建模： ——虚拟环境的建模

基于图形学的渲染 基于图像的渲染

基于图形学的渲染： 几何造型 光照模型与渲染算法 三维观察 纹理影射

四、基于图像的建模技术

基于图象的建模和绘制 在计算机创造的虚拟环境中产生身临其境的感受，VR对计算机图形学提出了挑战： 高质量的，实时的图像生成 高分辨率的显示 自然的交互

经典的图形学：能在很短的时间里产生具有相当复杂度的真实感图形，但其固有的矛盾使它无法满足高级VR的要求，在一定程度上限制了VR技术的应用和推广； 从另外一个角度考虑了这个问题，即能否直接由真实场景的图片来构造虚拟场景呢？

能不能用摄像机对景物拍摄后,自动获得所摄环境或物体的二维增强表示或三维模型，即基于现场图像的VR景物建模？

问题： 真实场景图片：点阵结构的像素图像，没有三维几何信息，没有光照信息 图片反映真实场景的某一个角度的视觉特征，用户移动观察视角时，无法由单幅图看到其它角度的场景。

而从图像中获取场景的三维几何信息的问题，在计算机视觉领域研究多年，仍未完全解决。 所以基于图像渲染的想法尽管直接，但一直没有引起大家的深入研究。

1993年， Apple公司的QuickTime VR系统第一次向人们展示了基于图像的方法也可以构造出一个十分优秀的虚拟现实系统。 基于柱面全景图像的虚拟现实系统，生成的虚拟环境不需要知道图像的三维几何信息，但支持用户在虚拟环境中左看、右看、上看、下看、3600环视、沿固定路线前进与后退等漫游操作，且用户观察到的视觉效果完全具有照片质量。

QuickTime VR是不是VR系统？ 不支持自由前进和后退，没有头盔显示器和数据手套；当时很多计算机图形研究人员并不完全承认它是一个虚拟现实系统，认为它相当于图形学中的纹理影射技术。 但没多久，学术界便确认了基于图像渲染的学术地位，并于20世纪90年代兴起了新的研究浪潮——基于图象的建模与绘制技术IBMR

IBMR（Imaged-Based Modeling and Rendering） 基于图象的建模与绘制技术

IBMR、计算机图形学、计算机视觉 图形学：如何由几何模型绘制图象 计算机视觉：如何从场景图象中重建场景几何

：方法 ：状态

图形、图象建模比较 图形： 图象： 图形学中应用图象的例子：纹理映射技术 建模复杂，占用大量的人力和物力 绘制速度：实时和复杂，真实感的矛盾 用相片代替几何输入进行建模和图象合成 （1）利用从相片中抽取的三维信息，重构传统的几何模型 （2）将照片作为系统的输入，使用二维的、基于图象的视图重构方法 图形学中应用图象的例子：纹理映射技术

基于图象的建模：用预先获得的一组图象表示场景的形状和外观；新图象的合成通过适当地组合原图象实现； IBMR的优点： 建模容易：拍摄照片 绘制快：视图—视图 真实感强

什么是基于图像的建模与绘制？

基于图象的造型与绘制（IBMR）

例：

基于图象的造型（IBM） 应用图象得到 场景的外观 场景的几何信息 光照 反射特性 运动特性 很容易构造真实感场景

基于图象的绘制 已有图象可以用来构造新视点的图象 不必进行所有光照计算 可以快速的进行绘制

IBMR技术包括两类不同的方法 基于计算机视觉的技术 基于图象的绘制（IBR）技术

基于计算机视觉 利用计算机视觉的方法重建场景的3D模型，并利用图象中的纹理细节进行绘制。

基于计算机视觉（Cont） 重建三维模型 空间位置？

基于计算机视觉（Cont） 点重建

基于图像的渲染（IBR）？ 当把图像影射到简单几何中时，图像经常用作某一部分场景的近似。纹理映射是这种应用最简单的一个例子。 纹理映射：定义纹理空间坐标与三维模型中对应位置之间的映射函数，这种映射的说明既困难又耗时，经常需要人工干预； 纹理映射的另一个局限：它依赖于基础的三维几何模型，而三维几何模型的构建相当费时费力。

大部分虚拟环境的三维模型是聘请专业人士手工绘制的，如影片《泰塔尼克号》中“泰塔尼克”号巨轮便是好莱坞花巨资（约2500万美元）精心绘制而成的； 构建三维几何模型的困难与定义纹理坐标映射点组合在一起时，问题变得更复杂了。 这种情况下，基于图像渲染（Image-Based Rendering，简称IBR）产生了；

IBR技术－目标 IBR的目标 从已有图象得到新视点的图象 原因：图象容易得到

IBR以环境中抽样出的离散图形组成基础数据，通过处理与组织这些图像数据得到环境的连续描述。 如构造一个虚拟友谊广场： 在广场选择有限个视点，在若干个不同的方向拍摄照片，得到友谊广场的一组离散图像； IBR技术处理和组织这些图像，构造出一个虚拟友谊广场； 支持用户在其中任意角度、任意方向自由漫游

图像是基础，图像被认为是二维空间上的一种测量。 在传统的图像处理中，唯一的几何联系是图像空间上的二维相邻。 基于图像渲染则需要考虑一种更加全局的三维几何相邻。获取输入图像集内不同像素之间的几何联系，重构出虚拟环境的连续描述。

基于图像的绘制(IBR)是计算机图形的一个重要研究方向，它可以从图像中重建具有照片真实感的虚拟场景。 由IBR的定义可知，IBR的输入是离散的图像集，输出是一个连续变化的函数。 虚拟环境的连续描述可以总结为全光函数。

IBR技术－核心 把图象看作光线的集合 …而不是象素的集合

IBR技术－全光函数 给我们足够多的采样光线，是不是可以插值得到附近的光线？

全光函数： 全光函数：从空间中任意点在任何时候所看到的任意波长的光线的集合。 全光函数描述一个观察者在一个特定空间中所接收到的所有辐射能量，而不是一个光照源或一个视点。

全光函数 P7=P(Vx ,Vy ,Vz ,θ,φ,λ,t) 是一个七维函数； 从理论上讲，只需采样环 境并重建出全光函数，IBR就变得非常容易。 但实际上，重建七维的全光函数很难实现，几乎是不可能的。

McMillan和Bishop忽略λ和t，提出全光建模系统，从一组离散采样点产生连续五维全光函数 五维函数 P5=P(Vx ,Vy ,Vz ,θ,φ) 然而五维函数仍然难以重构，Levoy等和Gortler等分别提出了光场函数和光图函数，在一定的条件下，把五维的全光函数降为四维。

四维光图函数的定义： McMillan和Bishop将全光函数简化为一个用五个变量描绘位置和方向的函数，如果假设空气是透明的，则光线通过空间的光亮度是恒定的；再假设，只考虑远离一个有界物体凸起表面的那个光源，只需描绘这个物体表面的全光函数值。

在空间任一位置的一个立方体，沿着某条光线向后追索到立方体的表面，就能够确定任何光线在任何方向的发光度，由于光线在立方体上的交点最多只有两个，而在平面上描述一个交点只需二维向量，因此，用四维函数便能描述物体表面的任意光线,这便组成了一个四维的全光函数

选择立方体的一个面，建立垂直轴（s，t）；用一条平行于st面的辅助平面构成的坐标轴（u，v）参数化光线的方向；则任一光线都可以用四个坐标参数（s，t，u，v）来确定 四维函数： A（s，t，u，v） 这个四维函数还要进行离散化

光图系统 如何生成一个光图，以及如何从光图生成一幅图像 光图系统流程图

1、图像采集与摄像机定标 真实场景的光图获取需要大量观察点的图像，用摄像机获取； 首先要校准摄像机，以确定摄像机方向与图像坐标之间的映射关系； 其次，在每一幅图像中设定特殊的标记，以从这些标记中计算摄像机的姿态。

2、三维外形的估计 从自然图像恢复3D形状信息一直是计算机视觉研究的重点与难点，经过几十年研究，从图像中可靠地提取精确的3D几何信息始终没有得到很好的解决； 但重建光图只需要大致的估计物体的外形，还是可以实现的

3、光图重建 从样本构建一个光图类似于多维分散数据的近似 样本点问题：样本点不能被预先确定或控制 样本的均匀分布不能被保证 多分辨率光图重建算法

4、压缩 光图取样需要大量的存储空间，需要压缩

5、重建图像 给定一个虚拟摄像机，重建过程其实就是给输出图像的每一个像素着色，使得输出图像上的物体就像是摄像机正对着真实的物体一样； 有了光图，可以一个像素一个像素地，一条光线一条光线地生成一幅新的图像。

对光图函数的讨论： 光图函数假定针对的是静态物体或场景，不需要知道场景的反射特性，不需要关于场景的任何几何信息，然而这种方法允许使用几何信息以改进计算效果。 光图函数的计算过程十分复杂，从采集图像到生成最终所需要的图像一般要花费几个星期，且精度与效果都有待于进一步改进。

光场(Lightfields)技术把全光函数缩小到了4维表达，但数据量仍然十分庞大而且不容易采集。 同心拼图技术解决了这些问题，将光图函数降到了3维的形式，从而提供了很好的应用可能。

同心圆拼图技术是 沈向洋博士提出的 　　沈向洋，微软中国研究院研究项目主任，负责计算机成像、计算机图形、机器人、图像设计和虚拟环境模型设计等项目的研究工作。沈博士的博士论文是世界上第一个由照片转换成虚拟实境的研究。

在1999年举行的国际图形学年会上，沈向洋博士发表了：用同心拼图法将空间任意拍摄的二维图像进行全真的三维复原。 这是到目前为止，这一领域最高水平的研究工作，将对计算机图形学研究中的虚拟现实技术产生重大影响，并由此导致许多新的技术手段的出现，将为商业、医疗、文化等诸多领域带来广泛的用途。

什么是同心拼图？ 同心拼图（concentric mosaics）：由位于同心圆上的照相机拍摄的一系列细长的图片（slit images）拼接而成的。 由一架照相机在不同视点（viewpoint）拍摄的照片组合成的，而这些视点是连续分布的。 同心拼图的采样系统由数架固定在水平旋转杆上的相机构成，每架相机沿着各自的圆周做连续运动。 　　

同心拼图法使二维图像的三维立体重现不仅停留在理论上，而是可以成为现实，并且非常便于实现。 同心拼图采样跟传统的全景摄影一样简单，不涉及困难的几何光学建模过程，只是需要较多数量的图像。　

ＩＢＲ技术将以其旺盛的生命力进入人类生活空间的方方面面…… 雄伟的万里长城 秀丽的桂林山水 巍峨的华山泰山 历史博物馆 科技馆 英雄纪念碑 

ＩＢＲ在网络中的应用： 网上虚拟购房，远在上海的客户只要登录北京的售楼公司网址，则大到所售楼房的外观，小到每个房间的灯具、地毯质地等场景便一览无余，而客户所要做的只是双击鼠标。 

虚拟全景空间 ——基于图像渲染的虚拟现实系统

90年代，QuickTime VR与IPIX Viewer等一批新型系统的推出，向人们展示了一个个方便制作、高质量的虚拟全景空间生成平台； 而Internet的普及又为虚拟全景空间的推广与应用构筑了一个很好的舞台；

全景图像实际上描述的是一个二维的全光函数，即在全光函数P7=P(Vx ,Vy ,Vz ,θ,φ,λ,t) 中，全景图像描述了固定视点（Vx ,Vy ,Vz）、时间t与波长范围λ的情况下，变化观察视角（θ,φ）得到的任意观察方向上所看到虚拟场景集； 以全景图像技术为基础构建出的虚拟全景空间是当今最成熟、最实用的一个基于图像渲染的虚拟现实系统；

虚拟全景空间？ 基本定义：视点空间 （1）视点：指用户在某一时刻在场景中的观察点，观察时所用的焦距固定。 （2）视点空间：在某一视点处，用户所观察到的场景。 视点空间定义限定了视点的位置，对观察方向未作任何限定，即视点空间包含任意观察方向上用户所看到的全局场景。

虚拟全景空间： 单个视点空间反映的是一个三维点空间，而一个虚拟现实系统往往需要建立一个N维的虚拟空间； 点空间:用户只能靠改变视角来观察不同的场景； N维的虚拟空间：用户可通过改变空间位置观察不同的场景；

N维虚拟空间能反映虚拟空间在时间上的变化，风景名胜岁季节的变化，白天黑夜的变化等 这样的N维虚拟空间称为虚拟全景空间（Virtual Panoramic Space）

VPS由众多视点组成，视点空间是VPS的基本组成单元； 空间操纵：用户通过一定手段可以在虚拟空间中漫游； 视点空间内操纵：操纵视角，360。全视野 视点空间间操纵：位置变化、时间变化、超现实场景变化

VPS的组成： 全景图像生成器 空间编辑器：把不相干的全景图像组织成用户可以任意漫游的虚拟全景空间 VPS浏览器：提供给用户漫游功能

全景图像：能反映全局场景的图像（Panaromic Image） 局部图像：反映用户在某一视角看到的场景

全景图像的定义 全景图像的制作 全景图像的特点 全景图像的应用

全景图像的定义： 三维全景 虚拟全景 实景虚拟现实 全景图 360。全景 全景摄影

定义（1）  全景是把相机环360 度拍摄的一组或多组照片拼接成一个全景图像，通过计算机技术实现全方位互动式观看的真实场景还原展示方式。在播放插件（通常Java或Quicktime、activex、flash）的支持下,使用鼠标控制环视的方向，可左可右可近可远 。使用户感到就处在现场环境当中，产生身临其境的逼真视觉效果。

定义（2） 全景摄影是把相机环360度拍摄的一组照片拼接成一个全景图像，用一个专用的播放软件在互联网上显示，并使您能用鼠标控制环视的方向，可左可右可近可远。使您感到就在环境当中，您好像在一个窗口中浏览外面的大好风光 。

定义（3） 全景，是对场景的超大视角乃至360度完整场景范围进行展示的照片。 通过对专业相机捕捉整个场景的图像信息用软件进行合成，用专门的播放器进行播放，把二维的平面图模拟成真实的三维空间，呈现给观赏者。 给观赏者提供各种操纵图像的功能，放大缩小，各个方向移动观看场景，达到模拟和再现场景的真实环境的效果。

全景图像： 球面全景图像 多面体全景图像 柱面全景图像 视点空间：球体、多面体与圆柱体

柱形全景：把拍摄的照片投影到以视点为中心的有限高度的圆柱上，从而水平360度观看四周的景色，但用鼠标向上下拖动时，上下的视野将受到限制，看不到天顶，也看不到地底。即垂直视角小于180度。

球形全景：把拍摄的照片投影到以视点为中心的圆球上从而能水平360度，垂直180度，即全视角360X180观看全景照片。可以说用户已经融入了虚拟环境之中了。 球形全景照片的制作： 首先必须全视角拍摄，即要把上下前后左右全部拍下来，普通相机要拍摄很多张照片。 然后再用专用的软件把它们拼接起来，做成球面展开的全景图像 最后选用播放软件，把全景照片嵌入网页。

立方体全景(cubic Panorama)： 这种全景照片是由前，后，左，右，上，下6张照片无缝拼接而成。相机位于立方体的中心，也是全视角,实际效果与球形全景类似。

全景图像的制作： 怎样生成三维全景呢？——硬件和软件 拍摄：需要相机和鱼眼镜头、云台、三角架等硬件来拍摄出鱼眼照片 照片的数字化和全景照片的合成：使用全景拼合发布软件把拍摄的鱼眼照片拼合 选用播放软件并把它嵌入网页，发布成可以播放和浏览的格式。

常见的全景制作硬件： 一次成像：Oneshot 环拍设备：Roundshot，Panoscan 组合设备：数码相机+鱼眼镜头+全景云台

常见的全景制作软件： 著名软件企业：3Divsta、Ipix、Iseemedia、Ulead、上海杰图等。 常见合成软件：Panotool、Photovista、Ipix、Ulead cool360、造景师等 常见播放工具：Ptviewer，Iseemedia的Realtime Viewer，Quicktime Player等。 发布制作工具：国内的漫游大师，国外的3Dvista publisher，IBM Hotmedia等。

全景图像的制作——拍摄 拍摄: 全景摄影全视角拍摄，特点: 拍摄:  全景摄影全视角拍摄，特点:  （1） 相机必需准确可靠定位: 由于相机的视角大多小于360度，因此必须拍摄多张照片才能记录全视角图像信息，为了使多张照片光滑地连接成全景投影图像，相机必需准确可靠定位在一个中心点上，有专用设备可供选购，可以准确定位相机。许多爱好者仅仅使用三角架也能拍出好的全景照片。

（2） 选用超广角镜头:   对全360度全景照片，相机镜头的视角越小，拍摄的照片就越多，后处理就越复杂。因此最好选用小于18MM的鱼眼镜头，比如选用18MM的镜头需要拍8---10张(照片之间应有适当的重叠)，而选用8MM的鱼眼镜头只需拍2-3张。 按一次快门就可以拍下全360度的专业相机，价格昂贵。

为什么需要鱼眼镜头？ 鱼眼镜头能使拍摄到图片的水平视角和垂直视角都达到180度，整个场景只需要拍摄两张图片就可以。 普通照片的水平视角和垂直视角能捕捉到的范围分别为 90度左右和70度左右。 鱼眼镜头能使拍摄到图片的水平视角和垂直视角都达到180度，整个场景只需要拍摄两张图片就可以。

8mm鱼眼镜头拍的180度广角照片

鱼眼镜头拍摄的照片

云台的作用？ 相机节点（ Nodal Point）：“节点”指照相机的光学中心，穿过此点的光线不会发生折射。 在拍摄鱼眼照片时，相机必须绕着节点转动，才能保证全景拼合的成功。云台的作用正是如此。

云台安装于三脚架上。保证相机转动时，镜头的“节点”正好位于转动轴上。 不采用云台而直接使用数码相机和鱼眼镜头拍摄鱼眼图像将会产生偏移。

拍摄时没有采用云台，空间信息不完全，图像无法正确拼合，加了云台，节点的位置保持不变，偏移消失

使用云台拍摄后进行拼合的图像没有拼缝和错位

（3） 取景与用光: 取景要兼顾水平四面八方，还要顶天和立地，球形和立方体全景顶天和立地的巧妙取景可以产生融入三维环境的效果。 用光是全景拍摄的难点，由于是360度拍摄， 无法回避直射的阳光，反差大难以控制，与普通摄影不同。但摄影的用光和拍摄技巧全部可以用在全景的拍摄中。

全景图像的制作——数字化 数字化: 把照片输入计算机 数字相机:直接输入计算机。 胶片照相机:用扫描仪数字化照片后输入计算机。

全景图像的制作——合成全景照片 合成全景照片: 把拍摄的多张照片合成一个全景照片是全景制作的重点。  合成全景照片:  把拍摄的多张照片合成一个全景照片是全景制作的重点。 柱形全景合成最简单，球形和立方体全景则必须经过几何变换才能合成。

首先将拍摄好的正面、反面的两张鱼眼图片导入软件 导入拍摄好的前后两个半球的鱼眼照片

将前后半球拼合成一张完整的全景图。 自动拼合鱼眼图片并在鱼眼图下面生成全景图的预览

合成后的全景图像

全景图像的制作——后期润饰 后期的润饰: 由多张照片合成的全景照片往往在照片之间对比度，色彩、清晰度、层次上有许多差异，必须由图像处理软件编辑和修改，最常用的软件是Photoshop。

全景图像的制作——互联网上显示 全景照片在互联网上的显示: 全景图片拼合好以再使用软件将其发布成可以播放和浏览的格式。 全景可发布成网页格式、exe格式、mov格式（需要quicktime播放器才能播放）等。

全景照片嵌入网页后，借助于一个浏览器的插件在互联网上显示。这个插件可以是JAVA小程序，也可以是一个IE的ActiveX控件。JAVA小程序是自动下载和自动执行的，其功能是显示全景照片，并使能用鼠标拖动观看。

用Quicktime 5 显示QTVR全景

应用在网页中的全景

 杰图FlyVR实景虚拟现实平台

gis地图与现实场景的互动结合给人们带来建模无法实现的真实感受

全景特点： 1.真实感，基于对真实图片的制作生成，相比其他建模生成对象更真实可信。 2.比平面图片能比能表达更多的图像信息，并可以任意控制，交互性能好。 3.经过对图像的透视处理模拟真实三维实景，沉浸感强烈，给观赏者带来身临其境的感觉。 4.生成方便，制作周期短，制作成本低。 5.文件小，传输方便，适合网络使用，发布格式多样，适合各种形式的应用。

全景应用： 全景以其可以真实快速表现360度范围场景的信息，能给客户带来身临其境的感觉，应用非常广泛 1、全景虚拟导览介绍（交互式漫游）            2、旅游景点虚拟导览展示            3、酒店网上三维全景虚拟展示            4、房地产行业虚拟全景运用            5、产品商业全景展示应用            6、娱乐休闲空间三维全景虚拟展示应用            7、汽车三维全景虚拟展示应用            8、虚拟校园三维全景虚拟展示应用            9、政府开发区环境展示

讨论？ 360度全景图像是否是真正的虚拟现实？ 当定点在某一视点向四周进行环视时，虚拟现实与基于三维全景照片的观赏效果一样。 在观赏三维互动全景照片时，人们的确获得了这种在“真正VR”场景中一样的空间感、方位感和沉浸感（除了不能向任意方向漫游外），说明它并没有枉担“三维”之虚名。

虚拟现实的最大意义——把一个不再身边存在的场景空间可以在观众面前展示，让观众不用去现场就能体验到该场景的现场环境。 基于360度全景图像的交互导览展示具备虚拟现实的最大特征，达到真正有效的信息传递展示的效果目的。

虚拟现实的人机交互信息导航 目前大多数的虚拟展示技术都用来单个节点场景或物品的展示，但是假如果是一个大型的虚拟展示馆或旅游景区，那么面对众多的展厅和景点，实现之间的相互完美超链接就必须设计人机交互导航。

基于图像的虚拟以站立节点为单位，观看的视点是预先设置好的，不能像基于多边行的三维虚拟空间那样，可以漫游走到任意的站立点观看。 一个好到交互导航设计结合节点的变换，同样能达到好的虚拟导览展示效果，弥补基于图像全景虚拟的这一缺陷。