基于虚拟现实的培训系统: 技术和案例 詹青龙 博士 教授.

Slides:



Advertisements
Similar presentations
五脏六腑话养生 董飞侠 医学博士 副教授 硕士研究生生导师 副主任中医师 美国贝勒医学院高级访问学者.
Advertisements

四川财经职业学院会计一系会计综合实训 目录 情境 1.1 企业认知 情境 1.3 日常经济业务核算 情境 1.4 产品成本核算 情境 1.5 编制报表前准备工作 情境 1.6 期末会计报表的编制 情境 1.2 建账.
年節保腸健胃 - 遠離腸癌飲食注意事項 台大醫院營養室 鄭金寶. 大腸癌朋友春節飲食原則 1. 遵守治療醫矚, 不放假 2. 過年期間,不舒服即時就醫 3. 配合支持醫療的飲食原則, (1) 心理建設有個準備 : 過年要 像平日一樣沒有什麼大不同 (2) 該限制的還是要限制 (3)
主编:邓萌 【点按任意键进入】 【第六单元】 教育口语. 幼儿教师教育口 语概论 模块一 幼儿教师教育口语 分类训练 模块二 适应不同对象的教 育口语 模块三 《幼儿教师口语》编写组.
第一組 加減法 思澄、博軒、暐翔、寒菱. 大綱 1. 加減法本質 2. 迷思概念 3. 一 ~ 七冊分析 4. 教材特色.
海南医学院附 院妇产科教室 华少平 妊娠合并心脏病  概述  妊娠、分娩对心脏病的影响  心脏病对妊娠、分娩的影响  妊娠合病心脏病的种类  妊娠合并心脏病对胎儿的影响  诊断  防治.
植树节的由来 植树节的意义 各国的植树节 纪念中山先生 植树节的由来 历史发展到今天, “ 植树造林,绿化祖国 ” 的热潮漫卷 了中华大地。从沿海到内地,从城市到乡村,涌现了多少 造林模范,留下了多少感人的故事。婴儿出世,父母栽一 棵小白怕,盼望孩子和小树一样浴光吮露,茁壮成长;男 女成婚,新人双双植一株嫩柳,象征家庭美满,幸福久长;
客户协议书 填写样本和说明 河南省郑州市金水路 299 号浦发国际金融中 心 13 层 吉林钰鸿国创贵金属经营有 限公司.
浙江省县级公立医院改革与剖析 马 进 上海交通大学公共卫生学院
第二章 环境.
教师招聘考试 政策解读 讲师:卢建鹏
了解语文课程的基本理念,把握语文素养的构成要素。 把握语文教育的特点,特别是开放而有活力的语文课程的特点。
北台小学 构建和谐师生关系 做幸福教师 2012—2013上职工大会.
福榮街官立小學 我家孩子上小一.
第2期技職教育再造方案(草案) 教育部 101年12月12日 1 1.
企业员工心态管理培训 企业员工心态管理培训讲师:谭小琥.
历史人物的研究 ----曾国藩 组员: 乔立蓉 杜曜芳 杨慧 组长:马学思 杜志丹 史敦慧 王晶.
教育部高职高专英语类专业教学指导委员会 刘黛琳 山东 • 二○一一年八月
淡雅诗韵 七(12)班 第二组 蔡聿桐.
第七届全国英语专业院长/系主任高级论坛 汇报材料
小數怕長計, 高糖飲品要節制 瑪麗醫院營養師 張桂嫦.
制冷和空调设备运用与维修专业 全日制2+1中等职业技术专业.
会计信息分析与运用 —浙江古越龙山酒股份有限公司财务分析 组员:2006级工商企业管理专业 金国芳 叶乐慧 魏观红 徐挺挺 虞琴琴.
第六章 人体生命活动的调节 人体对外界环境的感知.
芹菜 英语051班 9号 黄秋迎 概论:芹菜是常用蔬菜之一,既可热炒,又能凉拌,深受人们喜爱。近年来诸多研究表明,这是一种具有很好药用价值的植物。 别名:旱芹、样芹菜、药芹、香芹、蒲芹 。 芹菜属于花,芽及茎类。
2012年 学生党支部书记工作交流 大连理工大学 建工学部 孟秀英
北京市职业技能鉴定管理中心试题管理科.
2014吉林市卫生局事业单位招聘153名工作人员公告解读
各類所得扣繳法令 與申報實務 財政部北區國稅局桃園分局 103年9月25日
初級游泳教學.
爱国卫生工作的持续发展 区爱卫办 俞贞龙.
公司保密工作要求及 院商秘保护工作安排 2014年9月12日.
第八章 数学活动 方程组图象解法和实际应用
本课内容提要 一、汇率的含义 二、汇率变化与币值的关系 三、汇率变化的影响. 本课内容提要 一、汇率的含义 二、汇率变化与币值的关系 三、汇率变化的影响.
散文鉴赏方法谈.
广东省社会信用体系建设系列讲座 强化企业信用管理 提高核心竞争力 广东省信用管理师协会执行会长 陈 文
諮商技巧與實務研討 主講人:蔡佩潔臨床心理師 .
谷雨节气模板.
按開憂鬱症的結 ---穴位玄機妙用 溫嬪容 醫師.
面試甄試準備要領 魯真 中興大學管理學院副院長.
第四章 蛇 重点: 1. 蛇人工养殖的场地设计。 2. 蛇人工孵化。. 第四章 蛇 重点: 1. 蛇人工养殖的场地设计。 2. 蛇人工孵化。
城区西北片区集中供热扩容工程 供热管理科 宋健敏.
中信信诚-淮安项目.
南部生技醫療器材產業聚落發展計畫暨實施要點(草案)
电大转型社区教育何以可能 华东师范大学终身教育研究中心 主任 教育学部博士生导师 吴遵民教授.
2016年三甲复核一模二模检查反馈 医务部.
傷 仲 永 王安石 S 孫子潔.
垃圾食品與肥胖的關係 敏盛綜合醫院 陳美月 營養師.
耐震「詳細評估」及「補強設計」勞務採購契約要項
第三章 3D 数学基础.
携手物流协会 共创物流金融 招商银行重庆分行 2012年5月.
辦理建教合作注意事項 國立台灣師範大學 鄭慶民
商業實務報告 第三組 指導老師:林淑惠 柯宜廷 許家喬 顏妙玲
住宅部門能源消費及節能意識之性別差異分析
臺北市國中健康與體育領域104學年度上學期共同備課分享
加强邮政市场监管,为行业持续快速健康发展保驾护航
学籍异动学生选课辅导 学年第1学期.
班級:車輛三乙 學號: 學生:王章嘉 指導老師:吳宗霖老師
甲、乙類大客車 車輛型式安全審驗或底盤車型式登錄 審驗補充作業規定說明 103年2月13日
「簡易水土保持申報書」 內容及送審流程之探討
日常操作及技术培训 深圳市学生信息管理综合平台 南方教育软件基地有限公司 地址:深圳市南山区科技园北区华瀚科技A-9A
聲寶股份有限公司 陳盛泉 應外4A 簡志瑋 指導老師:吳雨濃.
報告人:潘繼良老師.
第三組 指導老師:林淑惠老師 組員: 柯宜廷 許家喬 顏妙玲 蔡佳君
大巨人的小發明─CD 組員 楊昌憲 ppt整合 蔡依霖 上台報告 王冠文 ppt製作
簡報檔案可由服務學習網-課務資訊-TA下載 課外活動組
105學年度 新北市英語歌曲演唱競賽 志工工作會議 105年11月18日 9:30-10:00 碧華國小演講廳 新北市三重區碧華國小.
2018年安徽工程大学大学生高分子材料创新创业大赛
機構督導: 范盛翔 督導 實習生: 佛光大學社會學系江佳穎 實習日期: 7/1(二)~8/29(五)
105年教育部熱血老師翻轉學生「教育愛」座談會
Presentation transcript:

基于虚拟现实的培训系统: 技术和案例 詹青龙 博士 教授

一、培训与教育

1. 培训与教育:有何不同 教育提高人的素质,奠定未来工作的基础 培训提升人的技能,适应当前的工作岗位

2. 培训与教育:VR取向的差异 教育 培训 焦点 概念和原理的理解 技能习得的程序和操作 形式 比较中学、思中学 观中学、做中学 知识 正式的内容和课程 行业及其操作经验 目标 事实、概念、原理和价值观 具体岗位的技能 学习 智力模型建构和决策 动作和技术步骤 程序 非重复性:解释、图示 可重复性:命令、指令 反馈 综合性、推论性 具体性、直接性 协作 多用户 单用户 导航 生成性 预设性 行为 大致性 准确性 媒体 模拟性 真实性

二、技术使能的培训变迁

1.师传徒受 在师傅的指导下,通过具体实践掌握技能 能利用已有的设备和技术,培训效果好 偏重技术操作方面的训练,在理论学习上显得不足

2.传统的课堂式培训 培训者讲,学员听 培训成本低,培训效率高 脱情境,迁移性差

3.计算机辅助的课堂式培训 培训者讲,学员听 部分地呈现多媒体信息

4.基于计算机的培训 学员利用计算机呈现的培训内容进行学习 培训内容通过CD-ROM传递 培训内容具有媒体丰富性和交互性 学员自定学习进度 培训内容不易更新 学员具有孤独感

5.基于网络的培训 学员利用网络进行学习 学习内容易更新 存在着多向互动 以自我导向的学习为主

6.虚拟培训 虚拟培训是指学员通过多种交互设备来驾驭VR环境和操作各种对象,从而掌握各种知识或技能 虚拟培训能使学员在培训中获得感性知识和实际经验

三、虚拟现实:强大的培训工具

1.何谓VR 技术观 VR通常是高级计算机技术部件和设备集成的HCI系统,例如计算机、可视化设备、动作感知数据手套、跟踪系统等。 功能观 实验心理观 VR是用户体验远程临场(tele-presence)的工具,远程临场是指个体在计算机环境和物理环境中感受到自己存在的程度。 13

1.何谓VR VR作为允许用户与计算机集成环境交互的技术,基本思想是计算机能从数值化数据中产生三维图形环境。这种环境可以是真实的,也可以是构造的。 利用视觉和听觉设备,人们能体验堪比真实环境的世界。计算机产生的这种世界,可以是真实世界对象的模型,也可以是人类可以理解的、非真实感的抽象世界,还可以是完全想象的科幻世界。 14

2.VR的系统结构

2.VR的连续统一体

3.AR AR是借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确“放置”在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者感官效果真实的新环境。 虚拟对象与真实场景混合 实时、交互、3D 跟踪 +渲染 + 显示

3.AR

3.AR:系统构成

4.虚拟现实设备

5. VR培训的优势 21

5. VR培训的优势:节省时间 22

5. VR培训的优势:学员地理上分布 23

5. VR培训的优势:提高培训质量 24

5. VR培训的优势:超越危险环境的实践 25

5.实例:计算机安装虚拟培训 26

6. 实例:BMW的AR型培训 使用AR,技师会接收到他正在维修的发动机的三维信息,例如帮助技师诊断和解决故障。除了真实的环境外,通过装有耳机的数据眼镜,技师能看到虚拟的动画部件,需要使用的工具和听到每个工作步骤的指令。 27

四、虚拟培训系统的教学设计

1. 4C/ID教学设计模型 4C/ID模型比较适用于复杂性技能领域的教学设计。van Merriënboer(2002)认为: 复杂性技能由若干个子技能构成 复杂性技能存在着层级结构,由简单到复杂 相互关联的技能形成一个技能簇(skill cluster) 复杂性技能包括重用性技能和非重用性技能 29

1. 4C/ID教学设计模型 30

4C/ID模型的要素:学习任务 具体的、真实的、整体性的任务经验 按照从简单到复杂的任务类别来组织 对同类别的第1个学习任务提供较多的学习支持,并逐渐减少该类别其他学习任务的学习支持 同一类别的学习任务具有一定的变化性 31

4C/ID模型的要素:支持性信息 支持性信息说明了某个任务领域是如何组织的,并对任务的行为提供认知反馈 支持非重复性技能的学习 主要由智力模式、认知策略和认知反馈组成 指向具体的任务类别 学习者随时可以利用 32

4C/ID模型的要素:程序性信息 程序性信息提供了完成任务的步骤说明 是重复性技能或实践性项目学习的必备条件 由信息呈现、技能演示、实例和纠正性反馈组成 指向具体的重复性技能 当学习者需要时呈现,在获得了专家型经验时迅速消失 33

4C/ID模型的要素:分任务练习 按一个个分任务来组织实践 为了达到所需的熟练水平,对重复性技能提供额外的实践 复杂的规则集可采用滚雪球的方式来组织 基本的规则可以支持多种情境的实践项目 34

2. 4C/ID教学设计模型的实施步骤 ④ ① ② ③ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ 35

五、虚拟培训系统的结构

1. 软件结构

1. 软件结构 OpenGL(Open Graphics Library)是一个开放的三维图形软件包,独立于操作系统,以它为基础开发的应用程序可以方便地移植到各种平台。主要功能包括建模、变换、颜色模式设置、光照和材质设置、纹理映射。 OpenAL(Open Audio Library)是开源的跨平台音效API。 OSG(Open Scene Graph)是一款开源的高性能3D图形开发库,它使用标准的C++和OpenGL编写而成,广泛应用于可视化仿真、游戏、虚拟现实、高端技术研发以及建模等领域。

1. 软件结构 Bullet Physics是一款开源的实时物理引擎,也是世界上三大物理模拟引擎之一(另外两种是Havok和PhysX)。物理引擎根据牛顿力学定律,计算VR环境中物体的合理的物理位置,并将计算结果提供给渲染引擎,从而向使用者展示出真实性的渲染效果。 Lib3ds是一个开源的、用于读取3ds格式三维模型的标准类库。

2. 功能结构

2. 功能结构 任务规划模块:依据学员特征和培训绩效产生合适的培训任务方案 绩效评价模块:自动监控和收集数据。它使用任务规划模块的任务信息识别培训情境和更新学员模型。这个模块依据任务规划代理的请求产生培训任务,为教学模块提供建议或警告信息 界面模块:理解和整合学员不同模态的动作。界面模块包括语音和手势识别、文本处理等,负责接收和分析传感数据

2. 功能结构 教学模块:从以上三个模块中持续地接收信息,提供即时的教学、提示和建议 绩效评价模块的信息被用于与学员相关的建议或警告 任务规划模块的信息被用于识别培训过程的情境 界面模块的信息被用于纠正学员的动作 模拟模块:产生培训 在虚拟环境中,学员利用计算机产生的虚拟手操作图形对象和与之交互

六、国外典型的 虚拟培训系统开发案例

1. 超精密加工虚拟培训系统:功能

1. 超精密加工虚拟培训系统:框架结构

1. 超精密加工虚拟培训系统:控制面板 控制面板是用户与虚拟环境进行交互的界面,有按下按钮、选择旋钮、屏幕显示区等。 在培训过程中,用户可以调整和控制这些按钮,进行虚拟加工活动。数控编程、刀具和工件的设置,也可以通过此控制面板完成。 数控机床的轴位和设置状态可反馈到控制面板。

1. 超精密加工虚拟培训系统:信息模块 该模块包括数据缓冲区和内部数据库两个子模块: 数据缓冲区是一个动态数据库,主要包括虚拟设备动作场景的实时更新数据 内部数据库由刀具信息库、机器特征、工件信息、材料、机器安装参数等组成

1. 超精密加工虚拟培训系统:事件处理模块 事件处理模块用于处理用户对控制面板的的操作,用户对控制面板上的每个操作,都可以作为一个事件来处理。

1. 超精密加工虚拟培训系统:虚拟对象及建模 虚拟对象包括虚拟超精密设备和表面测量虚拟检测设备 虚拟对象的建模,可以按照真实设备的规格,例如结构和几何尺寸来进行

1. 超精密加工虚拟培训系统:虚拟对象及建模 STEP(STandard Exchange of Product data model, 产品数据模型交换标准)是国际标准化组织制定的描述整个产品生命周期内产品信息的标准。 STEP 标准划分为两部分:STEP标准的数据模型和工具。 数据模型包括通用集成资源、应用集成资源、应用协议 工具包括描述方法、实现方法、一致性测试方法和抽象测试套件 50

1. 超精密加工虚拟培训系统:开发技术 采用Visual C 、ProE和OpenGL开发 OpenGL可处理动画序列创建、实体模型对象连接、场景的虚拟对象交互等。OpenGL相关的图形支持库用于创作对象的层次结构、细节,为对象添加色彩、材质和纹理。 在一台计算机上采用双显示器,一个显示控制面板,一个做模拟用。

2. 危险环境的虚拟培训系统:石化领域 场景模拟:在图形工作站上运行,并为用户建立整个培训场景。它也处理学员与场景对象之间的交互,如开关、控制杆、工具等。由于每个头部运动都被跟踪,应用程序能根据学员的角度和方向,生成每次移动的新图像,建立身临其境的效果。 培训应用:培训者可以观察整个训练过程,控制场景的任一部分,对学员的行动做出反应。此外,它允许管理学员的数据库中的训练进度,从而制定个性化培训。

2. 危险环境的虚拟培训系统:石化领域 主要模块 模拟(学员模块):应用程序的主要部分,并在图形工作站上运行,主要负责视觉显示和用户输入(追踪) 培训者控制中心:在PC上运行的Java应用程序,可由培训者控制场景,并对VR世界中发生的事件做出响应 音效服务器:基于消费者3D音效卡的DirectX应用程序,能根据学员的位置和方向产生3D音效 服务器,它控制液压平台

2. 危险环境的虚拟培训系统

2. 危险环境的虚拟培训系统

2. 危险环境的虚拟培训系统 创作工具的结构

2. 危险环境的虚拟培训系统 库 存储着场景描述的所有对象,它包含: 图形组件:虚拟世界的图形对象 逻辑组件:如AND, OR, NOT,允许不同对象的连接 数学组件:如开方、求幂等 触发组件:由事件源产生 属性组件:描述对象的行为,如可点击、可移动 复合性组件:由更基本的组件组成

2. 危险环境的虚拟培训系统 库管理器 所有的编辑器不直接访问库中的对象,而是通过库管 理器来进行,确保对象的统一管理和共享。

2. 危险环境的虚拟培训系统 编辑器 在建模虚拟世界时,不是一个工具来生成一个虚拟的环境,而是五种编辑器相结合: 编辑器 在建模虚拟世界时,不是一个工具来生成一个虚拟的环境,而是五种编辑器相结合: 场景编辑器:放置对象建立新的场景 从属编辑器:定义对象的依赖关系 空间编辑器:定义步行和非步行区 培训者GUI编辑器:创建图形用户界面及功能 库编辑器:以树形控件的方式可视化复合对象

2. 危险环境的虚拟培训系统 场景描述文件 场景描述文件描述了真实情境的对象及其属性。从这些文件开始,我们的系统生成虚拟世界,包括模拟和培训者模块 所有部件的描述都通过 VRML97定义,帮助用户管理场景的复杂性

2. 危险环境的虚拟培训系统 数据结构——元场景图——图形库场景图

3.拆装虚拟培训系统:基于iVRML iVRML 是一种开发沉浸性体验的通用框架,它采用VRML/X3D标准 VRML是一种描述交互式三维图形内容的语言,既可用于单机环境,也可用于Web iVRML的主要功能 根据3DOF传感器的输出不断改变视点方向 根据6DOF传感器和数据手套的输出驱动虚拟手 检测、响应用户控制的对象与其他场景对象之间的碰撞

3.拆装虚拟培训系统:基于iVRML

3.拆装虚拟培训系统:基于iVRML 打开VRML文件 激活并设定VR装置 连接虚拟现实设备的数据到VRML实体(如3DOF传感器到一个视点) iVRML的特殊功能支持,如对象到对象的碰撞检测,文本到语音,定位音频和环境的声音效果(如混响) iVRML用户界面

3.拆装虚拟培训系统:基于iVRML Language abstract diagram designed to define a tutorial

3.拆装虚拟培训系统:基于iVRML 用户学习如何揭掉飞机发动机的金属盖

3.拆装虚拟培训系统:基于iVRML 拧下螺栓(用“手指螺丝刀”) 移走绿管:屏幕显示告诉用户“把管子移到旁边”。

Thank you for your attention!

联系方式 天津市河西区大沽南路 1310号 天津职业技术师范大学 信息技术工程学院 邮编:300222 电话:13920324267 天津职业技术师范大学 信息技术工程学院 邮编:300222 电话:13920324267 022-88181065 Email:qlzhan@126.com