第8章 多媒体 东壁画散花仙女，内一垂髫者，拈花微笑，樱唇欲动，眼波将流。朱注目久，不觉神摇意夺，恍然凝想。 潍坊学院

本章内容 一、多媒体世界 二、多媒体中的基本概念 三、多媒体技术 四、多媒体计算机系统 五、多媒体应用

一、 多媒体世界 12英寸的CGA/EGA屏幕，图形处理条件。 PC喇叭，具有声音处理条件 多媒体技术发展伴随着 第四代计算机开始的 发　展　过　程 1987年8月， 创新音乐系统问世 12复音立体声音乐合成卡。标志着电脑具备了音频处理能力，电脑进入多媒体技术发展阶段 1988年MPEG的建立 对多媒体技术的发展起到了推进作用 以单机为主WAV、MIDI 多种网络音乐压缩技术 音频处理技术 视频处理技术 90年代，自80486以后多媒体时代到来。 AVI为视频存储奠定标准 Stream传播视频变得轻松 MPEG普及了视频应用 未　来 21世纪，网络和计算机技术相交融的交互式多媒体将成为多媒体发展方向。包括：大容量光碟存储器、国际互联网和交互电视。

二、多媒体中的基本概念 1、媒体及其五种基本形式 2、多媒体及其信息类型 3、超文本与超媒体

二、多媒体中的基本概念 媒体及其基本形式 媒体：是信息存储、表示和传播的载体。CCITT把媒体分为五大类： 感觉媒体 表示媒体 基本形式 直接作用于人的感觉器官，产生直接感觉的媒体 基本形式 表示媒体 传输感觉媒体的中介媒体，即用于数据交换的编码 表现媒体 进行信息输入和输出的媒体 存储媒体 用于存储表示媒体的物理介质 传输媒体 指传输表示媒体的物理介质

二、多媒体中的基本概念 媒体及其基本形式 多媒体及其信息类型 文本 信息类型 图像 动画 声音 视频影像 　　多媒体（Multimedia）：由单媒体复合而成的，是融合两种以上媒体的人机交互式信息交流和传播的媒体。 （五类信息） 使用最多，用文字和各种专用符号表达的信息形式，主要对知识的描述性表示。 文本 信息类型 图像 最重要，决定多媒体软件视觉效果的关键因素 使抽象内容形象化。 动画是利用了人的视觉暂留特性。也包括画面的缩放、旋转、变换、淡入淡出等特殊效果。文件格式有FLC、MMM、GIF、SWF等。 动画 声音 传递信息、交流感情最方便、最熟悉的方式之一。 在多媒体中声音基本上分为音乐和音效两类。 视频影像 具有时序性与丰富的信息内涵，常用于交待事物的发展过程，有声有色，存储格式有AVI、MPG、MOV等。

二、多媒体中的基本概念 媒体及其基本形式 多媒体及其信息类型 超文本与超媒体 　　超文本与超媒体技术：模仿人脑的联想记忆方式，把一些信息块按需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。 超文本 建立文、句之间的链接 由信息节点和表示信息节点间相关性的链组成的具有一定逻辑结构和语义的网络。 超媒体 建立的是多媒体之间的链接关系（不止文本）

二、多媒体中的基本概念 媒体及其基本形式 多媒体及其信息类型 超文本与超媒体 感觉媒体 基本形式 文本 信息类型 超文本 表示媒体 图像 动画 表现媒体 声音 存储媒体 超媒体 视频影像 传输媒体

三、多媒体技术 1、多媒体技术的特点 2、音频信息处理技术 3、图像信息处理技术 4、视频信息处理技术

三、多媒体技术 多媒体技术的特点 信息媒体的多样性 多样性 信息媒体的处理方式多样性（多维化） 将多媒体系统的各种设备与设施合成为一个整体 集成性 交互性 实时性 信息媒体的集成 存储信息的实体的集成 指通过各种媒体信息，参与的各方都可以对有关信息进行编辑、控制和传递。 声音和视频与时间因子的密切相关性决定了多媒体技术具有实时性，要求多媒体系统在处理信息时有着严格的时序要求和很高的速度要求。

三、多媒体技术 多媒体技术的特性 音频信息的处理 音频处理方式 模拟方式 就像录音机，把声音信号的波形原样保存下来 数字方式 模拟信号的波形示意图 根据抽样定理，人们对模拟信号经过采样和量化，把模拟信号以数字形式保存起来， 采样量化的示意图 数字方式

三、多媒体技术 多媒体技术的特性 音频信息的处理 常用的音频文件 计算机上的音频文件多种多样，不同的文件使用不同的编码或压缩方法，文件大小与播放效果也不一样。 常用的音频文件 文件的扩展名 说 明 pcm cmf（Creative Music Format） voc（CreativeVoice） mff，mod，seq， mid（MIDI） mp2 Mp3 wav（Waveform） WMA（Windows Media Audio） au rm（RealMedia） ra（RealAudio） Rol Cd音乐，对音源无损伤，储存声音素材 声霸（SB）卡带的MIDI文件存储格式 声霸卡存储的声音文件存储格式 MIDI文件存储格式 Windows的MIDI文件存储格式 MPEG Layer I，Ⅱ MPEG Layer III Windows采用的波形声音文件存储格式 微软音频压缩格式，比mp3压缩率更高 Sun和NEXT公司声音文件格式8位u律编码或16位线性编码 RealNetworks公司的流放式声音文件格式 Adlib声音卡文件存储格式

三、多媒体技术 多媒体技术的特性 音频信息的处理 图像信息的处理 采集 把位图图像在水平和垂直方向分解成许多的点，记录下每个点的颜色值，分解成红、绿、蓝三种基色的组合存储起来。采集图像的设备有扫描仪、数码相机、摄像机（或数字摄像机）等。 位图量化时保存的是像素点的灰度（亮度）值。 矢量图是用一系列计算机指令来表示一幅图，实际上是用数学方法来描述一幅图，变成许多数学表达式，再编程，用语言来表达。矢量图有许多优点。

三、多媒体技术 多媒体技术的特性 音频信息的处理 图像信息的处理 采集 编码和压缩 图像数字化之后的数据量很大，要占用很多存储空间和传输时间。 图像数据压缩主要是根据两个基本事实来实现的： 图像数据中有许多重复数据，使用数学方法来表示这些重复数据就可以减少数据量；进行的是无损压缩技术。 人的眼睛对图像细节和颜色的辨认有一个极限，把超过极限的部分去掉，这也就达到了压缩数据的目的。进行的是有损压缩技术。 实际的图像压缩是综合使用各种有损和无损压缩技术来实现的。 编码和压缩

三、多媒体技术 多媒体技术的特性 多媒体信息处理技术的发展 音频信息的处理 图像信息的处理 采集 编码和压缩 图像压缩标准 MPEG-4是ISO为传输码率低于64 Kb/s的实时图像设计的。与JPEG、MPEG-1、MPEG-2等所采用的基本压缩算法不同，该标准采用基于模型的编码、分形编码等方法，以获得极低码率的压缩效果。 应用范围覆盖了有线、无线、移动通信、Internet以及数字存储回放等各个领域，它在信息描述中首次采用了“对象”概念，是以内容为中心的描述方法，对信息元的描述更符合人的心理，不仅获得比原有标准更优越的压缩性能，也提供了各种新功能的应用。 为了压缩连续色调（即灰度级或彩色）的静止图像，“联合图片专家组”（JPEG，1986年成立）于1991年3月提出了ISO/IEC l0918号建议草案“连续色调静止图像的数字压缩编码”，1992年正式通过。 JPEG标准采用混合编码方法，支持很高的图像分辨率和量化精度。平均压缩比为15:1，当压缩比大于50时将可能出现方块效应。 适用于黑白及彩色照片、传真和印刷图片。 JPEG 2000是一个新标准，提高了图像的压缩质量，还可根据图像质量、视觉感受和分辨率进行渐进传输。 采集 1996年底正式公布，引用了MPEG-1标准的基本结构，并作了扩展，它可以直接对隔行扫描视频信号进行处理；空间分辨率、时间分辨率和信噪比可分级，以适应不同用途的解码要求；输出码流速率可以是恒定的或变化的，以适应同步和异步传输。 MPEG-2标准的处理能力可达广播级水平，即720×480像素，兼容MPEG-1标准，适应1.5～80 Mb/s编码范围。MPEG-2标准也是高清晰度电视（HDTV）全数字方案、DVD方案所采用的数据压缩标准。 编码和压缩 CCITT在1990年12月通过了H.261即p×64 Kb/s视听业务用的视频编解码器，针对运动实时动态图像的压缩编码和解码，可用于可视电话和电视会议。采用混合编码方法，压缩比可达48:1。它的原理框架奠定了以后MPEG标准的基础。 二值图像压缩标准有G3、G4和JBIG。 以非自适应、一维游程编码为基础，JBIG采用无损压缩技术，但它的压缩率比CCITT G3、G4标准高1.1～30倍（根据内容的不同）。JBIG也可以对含灰度值的图像或彩色图像进行无失真压缩。 图像压缩标准 “动态图片专家组”（Moving Picture Expert Group，简称MPEG）提出的“用于数字存储媒体运动图像及其伴音率为1.5 Mb/s的压缩编码”，简称为MPEG-1。它包括三个部分：MPEG视频、MPEG音频和MPEG系统。压缩比为50:1，其处理能力可达到360×240像素。 二值图像压缩（JBIG） 静止图像压缩标准（JPEG/JPEG 2000） 动态图像压缩标准（H.261） 动态图像压缩标准（MPEG-1） 动态图像压缩标准（MPEG-2/H.262） 动态图像压缩标准（MPEG-4/H.263）

三、多媒体技术 多媒体技术的特性 音频信息的处理 图像信息的处理 采集 BMP文件 TIFF文件 GIF文件 编码和压缩 图像压缩标准 是专门为打印图形和文字而设计的一种编程语言，很好地描述了矢量图和位图，现在也用于图像的存储和交换。PostScript文件的显示效果与打印的介质无关，不管在纸上、胶片上打印，还是在屏幕上显示都适合。它的使用平台主要是Macintosh机、PC机、Unix工作站等。几乎所有的Macintosh应用程序、PC机文字处理和单面排版程序及一些高性能的PC机图形和CAD应用程序，均支持PostScript图文格式。 位图文件BMP格式是Windows采用的图像文件存储格式，在Windows环境下运行的所有图像处理软件都支持这种格式。它是将一幅图像分割成栅格，栅格的每一点的亮度值都单独记录下来。 采集 BMP文件 TIFF文件 GIF文件 PNG格式 PostScript文件 JPEG格式 流式网络图形格式，能存储32位信息的位图文件格式，图像质量远胜过GIF。同GIF一样，无损压缩方式，采用了颇受好评的lz77算法的一个变种。越来越多的软件开始支持这一格式，可能会在整个Web上广泛流行。与GIF不同，PNG图像格式不支持动画 编码和压缩 标记图像文件格式TIFF是最复杂，是一种多变的图像文件格式，独立于操作系统和文件系统。支持色彩数最高可达16M种，其特点是：图像质量高，存储空间大，大小是相应GIF图像的3倍，JPEG图像的10倍；细微层次的信息较多，有利于原稿阶调与色彩的复制。 图像压缩标准 GIF（Graphics Interchange Format，简称GIF）是CompuServe公司开发的图像文件存储格式，目前广泛用于互联网的网页中。 文件以数据块为单位存储图像的相关信息。 采用LZW压缩算法，允许设置图像背景的透明属性。此外，一个文件可中存放多幅彩色图形/图像，可以像幻灯片或者像动画那样演示。 图形图像文件 现在的JPEG文件基本上都是采用的JPEG文件交换格式（JPEG File Interchange Format，简称JFIF），使用的是JPEG压缩标准设计的一种编程语言。

三、多媒体技术 音频信息的处理 图像信息的处理 视频信息的处理 在多媒体技术中，最复杂的是运动视频的处理技术。 多媒体技术的特性 视频信号处理的一般过程

三、多媒体技术 多媒体技术的特性 多媒体信息处理技术的发展 音频信息的处理 图像信息的处理 视频信息的处理 视频数据的编码和压缩 以声音与图像编码和压缩为基础的，主要采用的是MPEG系列标准。 视频内容和视频效果的处理：如淡入淡出、裁剪 视频内容的分析：如计算机图像识别、文字识别 视频图像的编辑处理 对图像点阵数据的运算 视频文件类型 早期有MPEG、DAT、MOV、AVI等，近几年又出现了RM、RA、RAM、ASF、VOB等。

四、多媒体计算机系统 1、MPC的硬件系统 2、MPC的软件系统

四、多媒体计算机系统 MPC硬件系统 多媒体信息具有实时性强、复合度高和信息量大等特点。这些特点决定了MPC的主机应该比普通PC具有更大的存储空间、更高的CPU速度和更快的内部通信、网络通信能力。 声卡和音箱、话筒 高分辨率彩色显示器 大容量的光盘存储设备 MPC机的组成（硬件）

四、多媒体计算机系统 MPC硬件系统 通常认为声频卡、视频卡和CD-ROM是多媒体计算机的基本硬件。 录像机

四、多媒体计算机系统 MPC硬件系统 通常认为声频卡、视频卡和CD-ROM是多媒体计算机的基本硬件。 声卡组成 实现录音和放音的部件 包括A/D、D/A转换电路 支持乐器合成的MIDI合成器 连接声音设备的各种端口 16位卡的采样精度可达到64K分之一 声卡组成 频率调制 波表 硬波表 软波表 可下载样本

四、多媒体计算机系统 MPC硬件系统 通常认为声频卡、视频卡和CD-ROM是多媒体计算机的基本硬件。 声卡组成 声卡功能 视频信息经A/D转换后与计算机显卡中的VGA信号相叠加，叠加后的信号显示在显示屏上，叠加方式有窗口式和色键式。 将计算机的VGA显示信号转换成标准的NTSC、PAL或SECAM电视信号，可以在电视机上观看，或输出到录像机，可以记录计算机的显示画面，用于广告电视片的后期处理。电视编码卡转换的效果与其所支持的分辨率有关。 视频叠加卡 视频采集卡 电视编码卡 MPEG卡 （电影卡） TV卡 尤其适用于捕捉视频图像，经数字化后，以AVI格式文件存盘，可以编辑。高档次捕捉卡压缩功能。 由TV调谐卡、视频叠加卡合并而成，前者能通过高频头选择接收电视台的信号，把它们转换为视频信号。 有的TV卡上设有视频输入口，可直接接受来自录像机或摄像机的视频信号。 因此，利用TV卡除观看电视外，还可观看录像带或摄像机的画面。 应用最多的一种卡。作用是将压缩存储在VCD影碟中的电影解压缩后在MPC回放。它的功能包括：MPEG音频解压、MPEG视频解压、音频和视频同步解压。 目前有两类MPEG卡：不带屏幕缩放功能、带有屏幕缩放功能。 视频卡

四、多媒体计算机系统 MPC硬件系统 通常认为声频卡、视频卡和CD-ROM是多媒体计算机的基本硬件。 声卡组成 声卡功能 视频卡 常用的CD-ROM光盘物理上共有三层结构，基体层是聚碳酸酯硬塑料，约1.2 mm厚；在基体上覆盖了极薄的一层铝箔，称为反射层，它是光盘的信息载体，所有数据均刻在这一层上；再上面覆盖了一层保护膜，以保护反射层免受损伤。 光盘上存储信息是通过在光道上沿着盘面以凹坑的形式存储的 。一张CD-ROM盘片约有30亿个凹坑，分布在螺旋形光道上，螺旋光道绕盘达2万周。相邻光道只相隔1.6 pm，相当于每英寸160 000道，比软磁盘和硬盘的道密度高得多。 由于分布在盘面的凹坑是机械性的，不像磁盘那样会受磁场的影响而丢失数据信息。 存储容量为650MB。 声卡组成 声卡功能 视频卡 CD-ROM CD-ROM （光盘） 一次写多次读光盘（WORM，CD-R） 可重写光盘 （CD-RW） 光盘分类 优点：存储容量大，制作成本低，不怕磁和热，工作稳定，密度高，寿命长，便于携带等。 CD-ROM驱动器

四、多媒体计算机系统 MPC硬件系统 MPC软件系统 多任务 能管理大容量存储器 大内存、虚拟内存 MPC操作系统 文字处理工具：Word、WPS 图形图像处理：Photoshop、Pain Brash 声音处理：Sound Recorder、Media Player 动画处理：Flash、Cool 3D 视频处理：Ulead Video 编辑工具 创作工具 多媒体工具 指能够集成处理和统一管理多媒体信息，根据用户的需要生成多媒体应用软件的编辑工具，大体上都是一些应用程序生成器。Authorware、Director、Multimedia、Tool Book。

四、多媒体计算机系统 MPC硬件系统 MPC软件系统 MPC操作系统 多媒体工具 多媒体应用软件 媒体播放软件 辅助教学软件 游戏软件 电子工具书 电子百科全书 多媒体工具 多媒体应用软件

五、多媒体应用 多媒体的社会应用 多媒体创作和展播 多媒体出版 多媒体办公自动化和计算机会议系统 多媒体信息咨询系统 交互式电视与视频点播 交互式影院和数字化电影 数字化图书馆 家庭信息中心 远程学习和远程医疗保健 媒体空间、赛博空间 多媒体应用

1、音乐合成与MIDI 2、语音合成技术 3、语音识别技术 4、动画与动漫技术 5、虚拟现实 6、触摸屏技术 7、文字识别 五、多媒体应用 多媒体的社会应用 多媒体的技术应用 1、音乐合成与MIDI 2、语音合成技术 3、语音识别技术 4、动画与动漫技术 5、虚拟现实 6、触摸屏技术 7、文字识别

8.5.2 多媒体技术应用 1. 音乐合成与MIDI 理论上，用多种频率的正弦波可以合成任何波形，调频（FM）音乐合成技术就基于这个理论。现在的音乐合成器（电子琴）和计算机上的声卡都配备有FM设备。FM设备内置了各种乐器的合成方式，播放时只要有乐器类型、音高、音量、播放时间等数据的代码，就可以播放出声音来。高级的FM设备使用的是波表技术，即保存的是WAVE格式的真实乐器的录音（不是合成的），播放效果更加逼真。现在流行的MIDI是通过音乐合成技术工作的。数字式电子乐器的出现，为计算机处理音乐创造了条件。 MIDI（Musical Instrument Digital Interface）是音乐与计算机结合的产物，是电子乐器与计算机之间的连接界面和信息交流方式。MIDI声音与数字化波形声音完全不同，它不是对声波进行采样、量化和编码，而是将数字式电子乐器的弹奏过程记录下来，如按了哪一个键、力度多大、时间多长等等。它实际上是一串时序命令，用于记录电子乐器键盘弹奏的信息，包括键、通道号、持续时间、音量和力度等。这些信息称之为MIDI消息，是乐谱的一种数字式描述。当需要播放时，即从相应的MIDI文件中读出MIDI消息，生成所需要的乐器声音波形，经放大后由扬声器输出。

8.5.2 多媒体技术应用 2．语音合成技术 实现计算机语音输出有两种方法：一是播放事先录制好的声音，二是文语转换。第一种方法，首先要把录制好的模拟语音信号转换成数字形式，编码后存于存储设备中，播放时，再经解码，重建声音信号；第二种方法是基于声音合成技术的一种声音产生技术，它可用于语音合成和音乐合成。 文语转换是语音合成技术的延伸，它能把计算机内的文本转换成连续自然的语音流。采用这种方法输出语音，须预先建立语音参数数据库、发音规则库等。需要输出语音时，系统按需求先合成语音单元，再按语音学规则或语言学规则，连接成自然的语流。 计算机语音输出按其实现的功能可分为两类，即：有限词汇的计算机语音输出和基于语音合成技术的文字语音转换。

8.5.2 多媒体技术应用 3．语音识别技术 语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、做出回答。语音识别的研究已有几十年的历史，带有语音功能的计算机将很快成为大众化产品。语音输入将会成为计算机的重要输入手段。 语音识别的目的是抽取语音信号携带的信息。语音信号是时间依赖信号，具有时变性、瞬变性的特点，其随机性和非平稳性给识别带来很多困难。世界上有为数众多的专家正在从事语音识别相关技术的研究。基于语言学知识，建立语音识别的高层模型，识别并理解语言是我们的最终目的。

8.5.2 多媒体技术应用 在屏幕上依次播放一系列有细微差别的静态图像，各幅图像之间的细微差别就在人的视觉误差中形成了连续的动画。 用计算机实现的动画有两种：帧动画、造型动画。 用计算机制作动画时，一般是先制作好关键的画面（称关键帧），中间画面由计算机内插来完成。 动漫技术是动漫产业的重的组成部分，是一项高度综合的多媒体技术，目前应用最为广泛的是数字动漫影视产品和计算机游戏。动漫产品的创作和应用促进了计算机设备、多媒体创作系统、网络通信、数字化采集传感设备等多项信息技术的发展。

8.5.2 多媒体技术应用 5．虚拟现实 虚拟现实（简称VR），是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。它综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、动作等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。

8.5.2 多媒体技术应用 6. 触摸屏技术 触摸屏技术使人机交互更为直截了当。因此，触摸屏已成为当前最简便的人机交流的输入设备。触摸屏技术开辟了多媒体应用的新途径。 触摸屏分为接触式和非接触式两种。接触式触摸屏是玻璃板式的透明屏，可用手指或其他物体接触其表面。其优点是分辨率高，但价格也很高，且实质性的接触会导致屏幕寿命降低；非接触式触摸屏使用红外光学技术，用户手指阻断交叉的红外光束得到位置信息，这种技术成本低，由于是非实质性的接触，触摸屏寿命不受触摸次数的影响。

8.5.2 多媒体技术应用 7. 文字识别 文字识别分为手写识别和书面扫描识别两种。手写识别是通过记录文字图像抬笔、落笔、笔迹上各像素的空间位置，以及各笔段之间的时间关系等信息，从而实现对文字的识别处理。在处理过程中，系统以一定的规则提取信息特征，再由识别模块将信息特征与识别库的特征进行比较，加以识别，最后转化为计算机所使用的文字代码。所用的识别特征库是基于多人以习惯笔顺书写的统计特征而建立的，它在手写识别中具有十分关键的作用。 文字识别技术发展比较快，现在的印刷体识别率几乎达到了100%以上，但手写体识别还有待进步。