国内外对“设计多媒体教材”的 研究及比较 ﹒游泽清 ﹒

设计多媒体教材 画面语言 学习者 多媒体学习认知理论 多媒体（画面）设计理论 ( Cognitive theory of Multimedia learning ) （Multimedia design theory ）

设计多媒体教材 画面语言 学习者 多媒体（画面）设计理论 多媒体学习认知理论 （国内） 多媒体画面设计理论 (画面语言学） 已讲 （国外） 多媒体学习认知理论(认知心理学） 本讲内容 国内外研究的比较

多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) 基本思想 创建理论 形成规则 4

多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) 设计多媒体教材 不仅要呈现教学内容； 而且还要引导学习者如何认知。 设计的多媒体教材 应该与人脑的认知活动一致。 人脑有两个认知通道加工信息， 因此同时呈现“图”、“文”是与 人脑认知活动一致的。 ﹡ 基本思想 5

多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) ﹡ 基本思想 ﹡ 创建理论 ﹡ 基本思想 ﹡ 创建理论 三个基本界定 多媒体： 画面上同时呈现语词和图像 多媒体学习： 通过语词和图像来建立脑内的表征 多媒体教学： 设计多媒体画面，帮助人们按照 呈现内容建立脑内（知识）表征 6

呈现特点： 文（words） 包括文本（printed text） 解说 (spoken text ） 和图（pictures） 包括静态呈现的图 图片（photos) 图形（graphs） 和动态呈现的图 视频 (Video) 动画 （Animation) 文 文 图（静态） 解说 (spoken text ） 图形（graphs） 文本（printed text） 图片（photos) 动画（Animation) 视频(Video) 声 多媒体 教材 投 影 仪 学 生 图 图（动态） 像

多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) ﹡ 基本思想 三个假设 ﹡ 基本思想 ﹡ 创建理论 三个假设 认知模型（两个记忆区） 双通道假设 (Dual channels) 容量有限假设 (Limited capacity) 主动加工假设（Active processing） 由感觉记忆区（视觉、听觉通道） 和工作记忆区（概念、表象通道） 组成 8

多媒体学习认知理论 ( Cognitive theory of Multimedia learning ) ﹡ 基本思想 ﹡ 创建理论 ﹡ 基本思想 ﹡ 创建理论 认知模型（三步认知加工） 选择（感觉记忆区） 通过注意，将外界的视、听觉刺激选送到工作记忆区 组织 ( 工作记忆区 ) 整合 ( 工作记忆区 ) 分别将输入的语词、图像信息 组织成言语、图像模型 联结言语模型和图像模型， 并且参照原有的知识（经验）， 形成整合模型 9

？ ？ 认知模型（两个记忆区） （感觉记忆） （工作记忆） 听觉 视觉 外界刺激 ？：概念、表象 感觉记忆区（视觉、听觉通道） 选择 听觉 视觉 外界刺激 ？ ？：概念、表象 选择 ？ 感觉记忆区（视觉、听觉通道） 工作记忆区（概念、表象通道） 双通道 选择：将外界刺激选送工作记忆 容量有限、主动加工

认知模型（两个通道） 语言模型 图像模型 外界刺激 听觉 声音 听觉通道 视觉通道 视觉 图像 该理论认为：概念通道并入听觉通道； （感觉记忆） （工作记忆） 组织 选择 语言模型 图像模型 外界刺激 听觉 声音 听觉通道 视觉通道 视觉 选择 图像 该理论认为：概念通道并入听觉通道； 表象通道并入视觉通道。 组织：将文本、解说组织成语言模型； 将非语言表征组织成图像模型。 需加表征转换 音乐、音效？ (非语言、非视觉)

+ 认知模型（两个记忆区） 原有知识 外界刺激 听觉 声音 语言模型 视觉 图像模型 图像 整合：参照原有的知识（经验）， （感觉记忆） （工作记忆） 选择 组织 外界刺激 听觉 声音 语言模型 + 整合 视觉 选择 组织 图像模型 图像 整合：参照原有的知识（经验）， 在语言模型与图像模型的相应部分之间建立联系， 形成一个整合模型

+ 认知模型（两个记忆区） 原有知识 外界刺激 听觉 声音 语言模型 视觉 图像模型 图像 在选择、组织、整合的过程中， （感觉记忆） （工作记忆） 选择 组织 外界刺激 听觉 声音 语言模型 + 整合 视觉 选择 组织 图像模型 图像 在选择、组织、整合的过程中， 都用到双通道、容量有限和主动加工三个假设。

5种典型的知识结构 例如，主动学习 为了建立一致的整合模式（或一致的心理表征）， 该理论提出了5种典型的知识结构， 用以规范多媒体画面的设计，形成5种“设计格式”。 5种典型的知识结构 过程 分几步讲解一个知识点（工作原理、操作过程等） 比较两个以上同类物体或现象的异同 以同样格式呈现若干案例，旨在总结出一个原理、规律 从一个原理、规律出发，列举若干案例说明 讲解一个设备的各部分，或一类物体的各分支等 比较 从“多媒体画面语言”的角度看， 可将这些知识结构视为不同的题材， 应分别采用不同的“设计格式”。 概括 列举 分类

多媒体学习认知理论 基本思想 创建理论 形成规则 ( Cognitive theory of Multimedia learning ) 该理论根据不同的学习效果， 将学习分成三类： 无效学习 机械学习 有意义学习 有针对性地形成规则： 将“无效学习”减到最小（5条） 合理运用“机械学习” （3条） 积极培养“有意义学习”（4条） （共12条） 15

多媒体设计规则 （1） 尽量减 少“无效学习”的 5条规则： ( Prenciples of Multimedia Ddsign ) （针对5种不利于学习的设计） 画面上不要出现一些与教学无关的媒体（图、文、声） 一致性原则 （coherence principle） 2 重、难点等需强调的教学内容没有凸显出来 强调原则 （Signaling principle） 3 在动画中配了解说，再加同内容的文本，不仅冗余， 还可能造成视觉通道的容量超载 冗余原则 （Redundance principle） 16

多媒体设计规则 （1） 尽量减 少“无效学习”的 5条规则： ( Prenciples of Multimedia Ddsign ) （针对5种不利于学习的设计） 教学上相关的内容，需在画面上集中呈现， 以免学习时需花精力寻找（无效学习） 空间接近原则（spatial contiguity principle） 5 教学上相关的内容，需在同一（或邻近）画面呈现， 以免 学习时花精力寻找（无效学习） 时间接近原则（temporal contiguity principle） 17

多媒体设计规则 （2）合理运用“机械学习”的 3条规则： ( Prenciples of Multimedia Ddsign ) （配合3种记忆性学习的设计） 6 尽可能地将教学内容（特别是重点、难点）分散呈现 分散呈现原则（segmentation principle） 7 呈现教学内容前，最好先预示一下内容的概要（如菜单） 预训练原则（Pre-training principle） 8 为充分利用视听觉通道，动画配解说要比配文本合理 感觉通道原则（modality principle） 18

多媒体设计规则 （3）积极培养“有意义学习”的4条规则： ( Prenciples of Multimedia Ddsign ) （配合4种理解性学习的设计） 9 图文配合呈现的学习效果要比只用文本的好 多媒体认知原则 （Multimedia principle） 呈现的教学内容，要考虑学习者 原有知识水平的差异和空间思维能力的差异 个体差异原则（individual differences principle） 19

多媒体设计规则 （3）积极培养“有意义学习”的4条规则： ( Prenciples of Multimedia Ddsign ) （配合4种理解性学习的设计） 11 友好地表达（如对话式）的教学效果要比生硬表达好 呈现声音原则 （Voice principle） 12 在有解说内容的多媒体画面上，呈现解说者的图像， 不见得比不呈现图像的学习更加深入 呈现图像原则（Image principle） 20

两种理论的比较 共同点 不同点 21

两种理论的共同点 多种媒体 呈现的优势 图、像、文、声 1 二者都认识到， 多媒体教材的优势， 是可以采用多种媒体呈现教学内容 1 二者都认识到， 多媒体教材的优势， 是可以采用多种媒体呈现教学内容 因而使人的认知渠道得到充分利用。 表象渠道 概念渠道 视觉渠道 听觉渠道 22

呈现多媒体教材采用的媒体: （国外理论） text on screen spoken text graphs photos animation Video 文本 文( Words ) 解说 静态呈现 图( Pictures ) 动态呈现 23

呈现多媒体教材采用的媒体: （国内理论） 视频拍摄媒体 text on screen （文） 文本 计算机制作媒体 文( Words ) spoken text （声） 解说 graphs （图） 静态呈现 photos 图( Pictures ) （像） animation Video 动态呈现 24

两种理论的共同点 有规律可循 2 二者都认为， 设计多媒体教材是有规律可循的， 并且都在通过建立理论（即基础研究） 来探寻这些规律 2 二者都认为， 设计多媒体教材是有规律可循的， 并且都在通过建立理论（即基础研究） 来探寻这些规律 令人惊讶的是， 二者探寻的思路都是一致的，即 基于理论 总结规则 建立理论的 框架并细化 提出几个 基本假设 明确一个 基本论点 25

明确一个基本论点： 多媒体学习认知理论 多媒体（画面）设计理论 设计多媒体教学内容 设计多媒体教学内容 要采用多媒体画面语言 要考虑学习者如何学习。 不仅呈现知识信息， 而且要引导学生如何 加工呈现的知识信息： 如何选择 如何组织 如何整合 要认识该语言的特点： “形”（以形表义） “动”（分时呈现） 运用该语言的规律： 语构方面（语法规则）、 语义方面（设计格式） 语用方面（教学格式）。 26

提出几个基本假设： 多媒体学习认知理论 多媒体（画面）设计理论 多媒体画面上 双通道假设 艺术和语言是同构的。 容量有限假设 艺术规则（或语法规则） 规范的是 视听觉要素， 使知觉中的“新值”满足 认知需求和审美需求。 双通道假设 容量有限假设 主动加工假设 27

建立理论的框架并细化 多媒体学习认知理论 多媒体（画面）设计理论 界定 基本元素、 界定 多媒体、 视觉要素、 多媒体学习、 艺术规则 界定 多媒体、 多媒体学习、 多媒体教学 提出脑内认知加工模型 界定 基本元素、 视觉要素、 艺术规则 在理论层面和接口层面 明确艺术规则规范 视听觉要素的形式

基于理论总结规则： 多媒体学习认知理论 多媒体（画面）设计理论 媒体呈现 将“无效学习”减到最小 （5条） 基本规则（3条） 合理运用“机械学习” （3条） 积极培养“有意义学习” （4条） 基本规则（3条） 配套规则（4条） （背景、属性、文字、解说） 画面组接（交互功能） （1条） （二者都要求按照理论的思路运用规则！）

两种理论的共同点 重视理论的 实证 (效）性 3 二者都很重视理论的实证性(实效性）。 多媒体学习认知理论 注重通过大量的认知试验 3 二者都很重视理论的实证性(实效性）。 多媒体学习认知理论 　　注重通过大量的认知试验 　　来论证理论及其规律的正确性 多媒体（画面）设计理论 注重通过大量课件的教学实践 来论证理论及其规律的正确性。 30

两种理论的不同点 认知观 媒体观 两种理论对同一问题（如何设计多媒体教材？）的研究， 表面看，似乎是看问题的角度不同， 其实是，研究问题的观念发生了变化！ 认知观 媒体观 31

对认知的研究要考虑时代背景 进入信息时代以后，研究认知至少要注意两点变化： 呈现教学内容的介质变了 书本教材 屏幕教材 32

对认知的研究要考虑时代背景 进入信息时代以后，研究认知至少要注意两点变化： 呈现教学内容的介质变了 对认知环境影响认知过程的反作用重视了 淡化认知、审美之间的界限 33

有本质的不同！ 书本教材与屏幕教材呈现教学内容的机理 交互（编辑）功能是组成 屏幕教材的基本条件之一 书本教材 基于空间呈现 基于时间呈现 编辑功能(电影、电视） 交互功能（计算机、网络） 34

多媒体的定义： 二定义都能引出 文本（printed text） 解说 (spoken text ） 图片 （photos) 图形 （graphs） 视频 (Video) 动画 （Animation) 多媒体的定义： （国外）：由图 ( Pictures ）和文（ Words ） 两类媒体组成 （国内）：由视频（Video）和计算机（Computer） 两个领域的媒体组成， 并且具有交互功能 将多媒体画面艺术分为两部分： ﹡媒体呈现艺术（7条规则） ﹡画面组接艺术（1条规则） 35

设计多媒体教材应遵循的规律： 多媒体画面艺术规则 与 多媒体画面语法规则 （国外）：遵循多媒体学习认知规律 合併 （国内）：教材内容的安排， 遵循认知规律； 内容呈现的设计， 遵循艺术规则； 36

对媒体的研究要深入进去 屏幕呈现和多媒体的出现， 标志与信息时代相适应的一种新语言问世！ 我们叫它为“多媒体画面语言” 只有从画面语言的角度， 才有可能对媒体的研究深入进去： 每一类媒体语言都由各自的基本元素组成 37

对媒体的研究要深入进去 经研究，组成“多媒体画面语言”的基本元素包括 形态（字形、图形) 属性 (色彩、肌理、影调） 其它大部分元素 属性 (色彩、肌理、影调） 背景（图文背景、声音背景) 运动（变化） 语音 文(音)义 其它大部分元素 都通过视觉通道 通过听觉通道 38

重要结论 多媒体学习时， 视觉通道的信息量一般远多于听觉通道 视觉媒体（图、文）的呈现特点： 空间展开 视觉媒体（图、文）的呈现特点： 空间展开 听觉媒体（解说）的呈现特点： 时间展开 解说表达一个完整的语义需要一段时间， 在这段时间内可以先后扫描画面上的图和文 39

（国外）通道、冗余规则 与 （国内）媒体匹配规则的比较： 冗余信息分有效与无效两类： 无效冗余信息算干扰信息,应消除； 有效冗余信息可提高信息传递可靠性， 不仅不可消除，必要时还需添加。 通道、冗余规则： 配动画时，选用解说比文本好 媒体匹配规则： 媒体的选用 选时要遵循“媒体呈现的特点 与教学内容的需求匹配”原则； 用时要遵循“分工合作、优势互补”原则 要点：突出教学内容需求， 媒体没有好坏之分，只有合理选用的问题 40

如何安排背景音乐和音响效果？ 在多媒体学习认知理论中， 听觉通道/视觉通道； 概念通道 /表象通道 烘托、陪衬 听觉通道 视觉通道 表象通道 （感觉记忆） （工作记忆） 视觉通道 表象通道 概念通道 背景音乐 音响效果 非视觉 无表象 41

如何安排背景音乐和音响效果？ 在多媒体（画面）设计理论中， 将声音背景与图文背景合并 组成“多媒体画面语言” 的基本元素 烘托、陪衬 听觉通道 （感觉记忆） （工作记忆） 视觉通道 表象通道 概念通道 背景音乐 音响效果 非视觉 无表象 42

谢 谢 !