基于PC集群机的并行图形绘制系统研究 浙江大学CAD&CG国家重点实验室 2005年11月

第一部分 研究现状 并行绘制系统的分类 现有基于PC集群机的并行图形绘制系统

并行绘制系统的分类 按照场景数据归属判断时机分类 按照数据控制形式分类 按照数据存储方式分类 Sort-first, sort-middle, sort-last 按照数据控制形式分类 立即模式、保留模式 按照数据存储方式分类 In-the-core, Out-of-core

归属判断： Sort-first, sort-middle, sort-last G-几何处理 R－光栅化 (1) sort-first (2) sort-middle (3)sort-last G R 显示屏幕 场景 ● 像素合成

数据控制形式： 立即模式、保留模式 进程A 立即模式绘制器 应用程序 立即模式引擎 进程B 保留模式绘制器 保留模式引擎 （a）单机环境下的 立即模式和保留模式引擎 Client进程 Server进程 网络 立即模式并行结构 保留模式并行结构 （b）分布式并行绘制 环境下的立即模式和保留模式 API调用 场景数据

数据存储方式： In-the-core, Out-of-core 场景完全调入内存 检索速度快 场景规模受内存限制 Out-of-core 场景保存在硬盘，根据需要调入内存 场景规模庞大 I/O影响性能 系统复杂度高

现有的基于PC集群机的并行图形绘制系统 WireGL － 斯坦福大学 Chromium －斯坦福大学 AnyGL －浙江大学 Display Wall － 普林斯顿大学 MSPR － 浙江大学

WireGL Sort-first 立即模式 应用程序透明的并行化

Chromium WireGL的后续版本 SPU－Stream Process Unit 将并行绘制系统的功能模块化 提高开放性 Sort-first Hybrid sort-first and sort-last Sort-last

AnyGL 混合sort-first和sort-last 立即模式 应用程序透明的并行化

Display Wall Sort-first 保留模式 多屏幕拼接显示

MSPR 保留模式 多屏幕拼接显示 Application OPENGL_STUB Message Encoding Network Send Client Rendering Network Receive Server INTERCONNECTING NETWORK SCENE REDISTRIBUTION …

第二部分 研究目标 基于PC集群机的并行图形绘制系统 功能 混合sort-first和sort-last 保留模式 大规模动态场景实时绘制 支持Out-of-core、In-the-core等模式 支持OpenGL工业标准，提供二次开发接口 集成多屏幕拼接显示系统

第三部分 研究内容 基于保留模式的混合型并行图形绘制体系结构 Out-of-Core与In-the-Core相结合的SceneGraph场景定义 负载平衡策略 复式嵌套并行绘制流水线 优化并行绘制-合成-显示流水线技术

基于保留模式的混合型并行图形绘制体系结构 显示屏1 显示屏m 显示屏n 显示屏mn 控制节点 动态绘制节点 拼接显示投影墙 合成节点 ...... (1) Parallel-SG系统结构 主 从 …… (2)动态绘制节点内部结构

基于保留模式的混合型并行图形绘制体系结构 任务划分方式 Sort-first方式 －－对应于每个投影仪 Sort-last方式 －－动态绘制节点内部

优点 通过动态调节各个动态绘制节点内部的绘制从节点数目来调节动态绘制节点的计算能力，从而维持各动态节点间的负载平衡，解决了sort-first的负载不平衡问题； 一个动态绘制节点只对应一个投影仪的显示区域，控制了图像合成的规模，避免了sort-last方式中随像素规模增长而急剧下降的合成效率。

Out-of-Core与In-the-Core相结合的SceneGraph场景定义 场景进行SceneGraph组织定义，相关的数据结构以In-the-core方式在内存中管理 SceneGraph结构中的Data节点的数据按照Out-of-core方式保存于硬盘，根据需要调入内存

Out-of-Core与In-the-Core相结合的SceneGraph场景定义 广场 鸽群 雕塑几何数据 鸽子几何数据 游人几何数据 建筑 … 城市 雕塑 白鸽 灰鸽 游人 目标： 灵活操纵场景变化 超大规模场景绘制 Out-of-core …

负载平衡 基于任务迁移的平衡策略 思路:通过调节动态绘制节点内部绘制从节点的数目来调节整个动态绘制节点的计算能力，用动态绘制节点计算能力的变化来适应其负载的变化。 优点 适合多屏幕拼接显示系统 算法简明、开销小

优化并行流水线技术 动态绘制节点内工作流程的三个基本步骤(顺序相关性) 绘制：CPU/GPU－－t1 像素合成： 网络传输－－t2 显示合成结果 ：显卡I/O －－t3 （t1≈t2>> t3 ）

优化并行流水线技术 象素合成 绘制 显示 i-1帧 i帧 i+1帧 串行绘制-合成-显示流水线 耗时 Ts = t1+t2+t3

优化并行流水线技术 并行绘制-合成-显示流水线 耗时 Tp = max(t1 , t2 , t3) 绘制 i-1 象素合成 i-2 CPU/GPU Network 显卡I/O t3 t2 t1 绘制 i+1 象素合成 i 显示 i-1 绘制 i+2 象素合成 i+1 显示 i 绘制 i 象素合成 i-1 显示 i-2 资源占用 并行绘制-合成-显示流水线 耗时 Tp = max(t1 , t2 , t3)

第四部分 当前测试结果 －测试方案 方案 投影墙设置 (动态绘制组数) 主控节点数 从节点总数 动态绘制组内部平均绘制服务器数 一 1×1 31 32 二 2×2 4 28 8 三 3×3 9 23 四 5×3 15 17 2

整体性能测试结果

各总负载和绘制从节点

平均负载

串行绘制-合成-显示流水线

谢 谢！

Llow的推导 Tlow<<t 其中： D为场景总数据量； n为系统中动态绘制节点数目； Tlow为单机上绘制Llow的耗时； f 为设定的帧速； t 为像素合成一次的耗时 Tlow<<t