虚拟现实与增强现实技术概论 计算机中心

第4章 虚拟现实的计算体系结构

导学 一、学习目标 1.掌握图形绘制流水线和触 觉绘制流水线的原理。 2.熟悉基于PC和基于工作站 的VR的系统结构。 二、重点、难点 1、图形绘制流水线3个阶段 应用程序、几何处理、光栅化。 2、触觉绘制流水线3个阶段 碰撞检测、受力计算、触觉计算。 3、多用户多用户分布式虚拟现实 网络拓扑结构 单服务器、多服务器环状网、点 到点LAN、通过路由的混合点到 点WAN 4、基于工作站的VR体系结构

4.1 绘制流水线 VR引擎是从输入设备中读取数据，访问与任务相关的数 据库，执行任务要求的实时计算，从而实时更新虚拟世界 的状态，并把结果反馈给输出显示设备。 大量的数据计算、低延迟和图形、触觉实时显示都要VR 引擎具有强健的计算体系结构。 VR系统结构的设计中最重要的是绘制技术。

4.1 绘制流水线 4.1.1 图形绘制流水线 图形绘制流水线：指的是把图形绘制过程划分成几个阶段，并把它们指派给不同的硬件资源并行处理，用来提高图形绘制速度。 多边形（三角形）网格表示法）：物体的立体几何信息是通过它们的边界面或包围面来表示，而物体的边界面可以用许多单独的多边形表示。是最常见的虚拟现实三维模型表示法之一。 使用多边形网格法建模的三维图像

4.1 绘制流水线 图形绘制流水线3个阶段

4.1 绘制流水线 模型变换（坐标变换、平移、旋转和缩放等）、光照计算、场景投影、剪裁和映射 应用程序阶段 几何处理阶段 光栅化阶段 模型变换（坐标变换、平移、旋转和缩放等）、光照计算、场景投影、剪裁和映射 完成建模完成建模、加速计算、动画、人机交互响应用户输入。和触觉绘制流水线一些任务。 将几何图形信息转换成视频显示器需要的像素信息，即几何场景转化为图像。 通过CPU软件编程实现 由几何处理引擎硬件实现 由光栅化单元硬件实现

4.1 绘制流水线 接口芯片接收系统总线传送的3D数据，发送到几何处理主板。 几何处理阶段：由几何处理主板上最空闲的几何处理引擎执行相关操作，处理相应的三维数据，并返回结果到接口芯片。接口芯片将经过几何处理的数据发送给纹理芯片，纹理芯片负责纹理映射。 光栅化阶段：光栅化单元从纹理芯片中读取数据，把它们转换成像素信息，然后发送到帧缓冲区。 图形绘制流水线的实例- HP Visualize fx卡 视频芯片把像素颜色映射成真彩色，进行数/模转换和视频同步处理，输出显示结果

4.1 绘制流水线 4.1.2 触觉绘制流水线 为了提高对象模型的真实感除了视觉效果外，还需要触觉来感知物体。可以通过多阶段的触觉绘制流水线描述触觉模型的过程。

4.1 绘制流水线 基于各种物理仿真模型计算触点压力。还包括力平滑和力映射。 碰撞检测阶段 受力计算阶段 触觉计算阶段 基于各种物理仿真模型计算触点压力。还包括力平滑和力映射。 确定两个（或多个）虚拟对象之间是否有接触。从数据库中加载虚拟对象的物理特性 主要绘制仿真过程的接触反馈分量（触觉纹理），增强了对象表面物理模型真实感。 注意：只有发生了碰撞的对象才会在触觉绘制流水线中处理。

4.2 图形体系结构 4.2.1 基于PC的图形体系结构 只有将PC和虚拟现实交互式设备集成在一起才能构成VR引擎。 将头部跟踪器连接到PC的串行端口，操纵杆连接USB端口，用来接收用户的输入，操纵杆接收触觉反馈。头戴式可视设备连接到图形卡输出端口，接收系统的视频反馈。而三维声卡插在PCI总线上，用户通过用带有三维声卡的耳机接收音频反馈。

4.2 图形体系结构 4.2.2 基于工作站的体系结构 工作站使用了超级（多处理器）体系结构，具有更强大的计算能力、更大的磁盘空间和更快的通信形式。 Infinite Reality是SGI公司开发的第一个为通用工作站专门设计，具有4个几何处理引擎和主板，用于提供复杂场景下具有稳定的60HZ刷新率高质量绘制的图形系统。

4.3 分布式虚拟现实的体系结构 分布式VR引擎：使用两个或多个绘制流水线的VR引擎。这些流水线可以同时位于一台计算机中，也可以分别位于多台协作的计算机中，或者位于集成在一个仿真系统中的多台远程计算机中。

4.3 分布式虚拟现实的体系结构 4.3.1 多流水线同步 多条流水线输出的图像都需要同步。 4.3.1 多流水线同步 多条流水线输出的图像都需要同步。 如果不进行同步，帧刷新率不一致，就会导致系统整体的延迟，图像扭曲。 特别是用多台CRT显示器联合仿真显示，不同步会会导致图像闪烁，使用户产生视觉不适。

4.3 分布式虚拟现实的体系结构 多流水线同步解决的方法 1.软件同步法 2.帧缓冲器同步法 方法：要求并行流水线的应用程序阶段在同一时刻开始处理新的一帧。 缺点：某一条流水线处理速度快于其他流水线，先填充帧缓冲器，图像先显示出来。 2.帧缓冲器同步法 方法：流水线绘制3D图像前会等待系统垂直同步信号，然后开始绘制一帧图像。 缺点：同时绘制，但绘制速度较快的流水线会先绘制完帧，还存在图像偏差的可能。

4.3 分布式虚拟现实的体系结构 3.主从显示器同步法 方法：将其中一个显示器成为主显示器，而其他显示器为从显示器。主从显示器图形卡之间通过内部视频逻辑电路连接，可确保从显示器的垂直和水平扫描线都与主显示器相同，确保了输出图像的一致性。

4.3 分布式虚拟现实的体系结构 视觉与触觉流水线同步 视觉和触觉两种感觉模态也需要同步绘制才能提高真实性，视觉和触觉的同步是在应用程序阶段实现的，需要通过专门的接口控制器完成。

4.3 分布式虚拟现实的体系结构 4.3.2 联合定位绘制流水线 4.3.2 联合定位绘制流水线 联合定位绘制流水线的系统由一台带有多流水线图形加速卡的计算机；或者每台带一个不同的绘制流水线的多台计算机；或者它们的任意组合构成。

4.3 分布式虚拟现实的体系结构 （1 ） 多流水线图形卡 Wildcat II 5110能同时在两个显示器上独立地显示，具有两套几何处理引擎和两套光栅化引擎。 Wildcat II 5110图形加速卡外观

4.3 分布式虚拟现实的体系结构 （2）PC集群 基于大型的多流水工作站，依靠特殊的硬件进行图像合成。 PC集群通过高速LAN网络连接起来，使用控制服务器能够控制输出图形的同步。

4.3 分布式虚拟现实的体系结构 4.3.3 分布式虚拟环境 分布式虚拟环境是指在一组以网络互连的计算机上同时运行虚拟现实系统，使处于不同地域的多个用户可以在同一虚拟世界中共享信息，进行实时交互，协同完成各种任务。

4.3 分布式虚拟现实的体系结构 （1）两用户共享的虚拟环境 两用户可单独使用交互设备与同一VR系统交互， 通过LAN通信网络互联，使用TCP/IP协议发送单播数据 包来传消息，用户之间通信要顺畅、状态要一致。

4.3 分布式虚拟现实的体系结构 （2）多用户共享虚拟环境的网络拓扑结构 单服务器模式 原理：客户机管理本地用户与I/O交互，执行本地图形绘制；服务器负责维护所有虚拟对象的状态和协调仿真活动。动作以单播包的形式传播。 缺点：中心服务器的处理能力限制更多用户参与仿真。 多服务器环状网模式 原理：用多个互连的服务器代替中心服务器。每个服务器都维护着虚拟世界的同一副本，并负责自身客户机所需的通信。单播模式传播。 缺点：不同服务器之间客户机需要通信时，延迟可能会增加。

4.3 分布式虚拟现实的体系结构 （2）多用户共享虚拟环境的网络拓扑结构 点到点LAN模式 原理：一个客户机的信息可以通过多播通信的方式直接发送给另一个客户机。 缺点：局域网使用；所有用户下线后，无法维持虚拟世界。 通过路由的混合点到点WAN模式 原理：使用一个代理服务器的网络路由把多播信息打包成单播包，在网上传送给其他路由器；本地的代理服务器收到后进行解析，将信息以多播的形式发送给本地用户。

本章小结 虚拟现实的计算体系结构的学习，是虚拟现实开发的 框架和基础。要求掌握VR引擎中图形绘制流水线和触觉 绘制流水线的基本工作原理；了解基于PC和工作站的VR 图形体系结构；理解分布式虚拟环境的网络拓扑结构及其 应用。能够运用所学的内容分析VR引擎上虚拟现实功能 的开发和实现，为以后章节的学习打下基础。