多媒体技术 饶志坚

多媒体概念 在计算机领域中，媒体(Medium) ，也称为媒介、或媒质，通常有两种含义：一是指用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图像和图形等。

多媒体技术 多媒体技术就是综合处理图、文、声、像信息，并使之具有集成性和交互性的计算机技术。多媒体技术处理信息需要通过计算机数字化的采集、获取、压缩与解压缩、编辑、存储等加工处理。 多媒体技术主要包括数据压缩与解压缩、媒体同步、多媒体网络传输等关键技术。

文本媒体 声音媒体 图形图像 动画视频 虚拟现实技术

文本媒体 1、文本的输入方式 键盘输入、手写输入、语音录入、扫描文字识别（OCR） 2、文本处理软件 3、文本文件格式 .TXT .DOC(DOCX) .CHM .RTF .PDF .WPS 4、文本格式的转变

声音媒体 声音的三要素 人耳对不同强度、不同频率声音的听觉范围称为声域 响度、音高、音色称为声音的“三要素”。 音色，又称为音品，由声音波形的谐波频谱和包络决定。声音波形的基频所产生的听的最清楚的音称为基音，各次谐波的微小振动产生的声音称为泛音。 音色是声音的特色，根据不同的音色，即使在同一音高和同一声音强度的情况下，也能区分出是不同乐器或人声发出的。 音色的不同取决于不同的泛音，每一种乐器、不同的人以及所有能发声的物体发出的声音，除了一个基音外，还有许多不同频率的泛音伴随，正是这些泛音决定了其不同的音色，使人能辨别出是不同的乐器甚至不同的人发出的声音。

影响数字音频质量的技术指标 （1）采样频率 （2）量化位数 （3）声道数

图中的正弦曲线代表原始音频曲线；填了颜色的方格代表采样后得到的结果，二者越吻合说明采样结果越好。横坐标便是采样频率；纵坐标便是采样分辨率。

采样频率 kHz 采样精度 位 所需存储容量 MB 数据速率 KB/s 常用编码方法 质量与应用 44.1 16 10.094 88.2 PCM 相当于激光唱片质量，应用于高质量要求的场合 22.05 5.047 ADPCM 相当于调频广播质量，可应用于伴音及各种音响效果 8 2.523 11.025 相当于调幅广播质量，可用于伴音或解说词 1.262

多媒体技术中的数字音频技术包括三个方面的内容：     ①声音采集及回放技术。     ②声音识别技术。     ③声音合成技术。

声音识别技术 人类使用的文字大致可分为两类：拼音文字和象形文字。拼音文字在学习、拼写、阅读、自动化控制（如计算机）等方面有着绝对的优势。计算机技术发展到今天这个水平，拼音文字起着关键性的作用。汉字作为一种象形文字，伴随着计算机技术的发展，其发音方式在计算机的语音识别中却有着突出的优点。同英语相比，汉语语音有着明显的音节，这就使汉语在计算机语音命令处理中成为最优秀的语言。

常用的语音识别系统 Microsoft IBM ViaVoice Naturally Speaking

声音合成技术 声音合成技术主要用于语音合成和音乐合成（MIDI音乐）。 语音合成技术的作用刚好与语音识别作用相反。语音识别是将语音转换成为文本（文字）或代码。而语音合成则是将是文本（文字）或代码转换成相应的发音。 MIDI音乐应属于合成音乐。

常用软件 MidiSoft Studio Cakewalk Pro Audio Excel中的语音

音频类型和格式 波形文件和MIDI文件 CD格式：天簌 WAV：无损 APE: 无损压缩 MP3：流行 MIDI：作曲家

声音文件比较

音频数据的采集、使用、编辑和转换 录音处理 声音编辑 （1）噪音处理（2）音调调整 （3）特殊效果（4）静音处理 混响处理

乐器调音 MuseBook Tuner 古筝一般是调成D调，D调的1 2 3 5 6分别对应着校音软件上的：D E #F A B

图形、图像 图形通常是指人们用工具在纸或其他平面上画出来的物体的形状。它们以点、线、面等几何形状及相应色彩为组成元素，组合成表现事物形状的可视画面，表达和储存事物的信息。

图像通常指人们描绘、摄影、扫描或印制成的物体的平面形象或影像。它们以对应原物体的映像点及其色彩和光线为组成元素，反映出表现事物形象和影像的可视画面，再现和记录事物的信息。

图形图像素材采集 直接使用图像素材库资源 从屏幕上抓取图像采集素材 使用扫描仪采集图像素材 使用数码相机采集图像素材 用软件直接绘制图像素材

关于分辨率 “分辨率”指的是单位长度中，所表达或包含的像素数目。 （1）图像分辨率 （2）显示分辨率 （3）打印分辨率

图像颜色 位图图像中每个像素上用于表示颜色的二进制数字位数称为图像深度（也称图像灰度、颜色深度）,用n表示。所能表示的色彩数为2n 彩色图像 ：每个像素的信息由RGB 三原色构成的图像，其中RBG 是由不同的灰度级来描述的，n=24

图形图像的文件格式 BMP GIF TIFF JPG PSD WMF

office剪贴画WMF的使用和编辑

GIF文件 GIF文件格式采用了LZW无损压缩算法按扫描行压缩图像数据。它可以在一个文件中存放多幅彩色图像，每一幅图像都由一个图像描述符、可选的局部彩色表和图像数据组成。如果把存储于一个文件中的多幅图像逐幅读出来显示到屏幕上，可以像播放幻灯片那样显示或者构成简单的动画效果。GIF的图像深度从1位～8位，即最多支持256种色彩的图像。

JPG JPEG是Joint Photographic Experts Group(联合图像专家组)的缩写，文件后辍名为"．jpg"或"．jpeg"，是最常用的图像文件格式，由一个软件开发联合会组织制定，是一种有损压缩格式，能够将图像压缩在很小的储存空间，图像中重复或不重要的资料会被丢失，因此容易造成图像数据的损伤。尤其是使用过高的压缩比例，将使最终解压缩后恢复的图像质量明显降低，如果追求高品质图像，不宜采用过高压缩比例。但是JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像，换句话说，就是可以用最少的磁盘空间得到较好的图像品质。

看图软件 Acdsee Google Picasa 照片管理软件 光影魔术师

图像处理软件 Adobe PhotoShop CorelDraw

动态图像的编辑制作(动画视频) 一、动画 计算机设计动画有两种：一种是帧动画，一种是造型动画。 二、动画文件格式 SWF 、3DS、 MOV、GIF

Flash动画 SWF 是Micromedia 公司的产品Flash 的向量动画格式，它采用曲线方程描述其内容，因此这种格式的动画在缩放时不会失真，非常适合描述由几何图形组成的动画，如教学演示等。由于这种格式的动画可以与HTML 档充分结合，并能添加MP3音乐，因此被广泛地应用于网页上，成为一种“准”流式媒体文件。

Flash动画制作 Flash 软件 SWish软件

视频 1、模拟视频 和数字视频 2、模拟视频的数字化 数字视频的采样 Y:U:V 4:1:1、4:2:2 和4:4:4 数字视频标准 ： 采样频率为fs=13.5MHz

PAL 与 NTSC PAL与NTSC的区别电影放映的时候都是每秒24个胶片帧。 PAL制式每秒50场，NTSC制是每秒60场，由于现在的电视都是隔行场，所以可以大概认为PAL制每秒25个完整视频帧，NSTC制30个完整视频帧。

视频的相关参数 分辩率 帧率

VCD 352x240像素，每秒29.97幅画面（适合NTSC制式电视播放） ； 352x240像素，每秒23.976幅画面 ； 352x288像素，每秒25幅画面（适合PAL制式电视播放）

DVD DVD的分辨率: 720×480 [NTSC制式] 720×576 [PAL制式]

标清Standard Definition 物理分辨率在720p以下的一种视频格式。 指分辨率在400线左右的VCD、DVD、电视节目等“标清”视频格式，即标准清晰度。而物理分辨率达到720p以上则称作为高清。

高清 High Definition 意思是“高分辨率”。 一般所说的高清，有四个含义：高清电视，高清设备，高清格式，高清电影。高清电视，又叫“HDTV”，是由美国电影电视工程师协会确定的高清晰度电视标准格式。电视的清晰度，是以水平扫描线数作为计量的。

什么是高清电视？ “高清晰度数字电视”: 包括：高清电视节目源、高清机顶盒、高清电视机和必要的传输网络。 高清电视图像分辨率成倍提高，达到1920×1080，而标清数字电视分辨率仅为720×576。高清采用的宽高比为16：9的大屏幕播映方式。

从音频效果看，高清电视节目将支持杜比5.1声道环绕声，而高清影片节目支持杜比5.1 True HD规格。

VCD / DVD / 标清 / 高清

i 和 p 的意义 标准清晰度又称SDTV，分辨率为704×576i。 高清晰度又称为HDTV，分为三种，分别是720P（1280×720p），1080i（1920×1080i），1080p（1920×1080p）。 带”i”的是隔行扫描，后缀为P的表示逐行扫描。

模拟视频接口 RF RAC D端子 3RAC D-SUB …

射频 RF 接口 天线和模拟闭路连接电视机就是采用射频（RF）接口。作为最常见的视频连接方式，它可同时传输模拟视频以及音频信号。

复合视频信号(CVBS)接口 最简单、最原始的视频接口，常称的RCA接口。黄色的为视频信号，白色的为左声道音频信号，红色的为右声道音频信号。

S端子接口 S-Video 随着摄影机、S-VHS录像机的发展，出现了S端子接口。将亮度信号Y和色度信号C分开传输。确保亮度信号不会受到色度信号的干扰。

SCART接口 欧洲厂商统一起来，使用SCART接口，传输的是RGB三原色信号。

D端子 日本厂商发展D端子，传输的是色差分量信号 D1: 525i(普通NTSC 525行隔行信号) D2: 525i, 525p D3: 525i, 525p, 1125i D4: 525i, 525p, 1125i, 750p D5: 525i, 525p, 1125i, 750p, 1125p 注：525i也习惯称480i，525p也习惯称480p，1125i也习惯称1080i，750p也习惯称720p。

色差 端子/3 RCA （ Y/Pb/Pr ） 美国人则延续了使用RCA端子的传统，使用3个RCA端子来传输色差分量信号。

D-SUB 9 (VGA端子 )

数字视频接口 USB IEEE1394 DVI HDMI

USB 只适合用来传输静态图片如数码相机的JPG照片或低质量的动态图像，而不适合传输动态高清晰度图像。

IEEE1394( i.Link / DV接口 ) 传输的最高数据率是400MBPS。

DVI接口 8GBPS(165MHZ x 24bit x 2)，适合传输无压缩、高清晰度视频信号。最高支持QXGA(2048x1536)格式。不少显卡都具有DVI输出，DVI是现在等离子显示器的标准输入接口。

HDMI　(DVI-CE)　接口 支持HDTV信号的无压缩传输，并支持8声道96KHZ或1个声道的192KHZ数字伴音。这样就可以使用一根线完成高清晰度图像和数字伴音的传播。 HDCP保护协议 。

HTPC家庭影院个人电脑 不追求高性能为惟一目标，它应该是外观，性能、噪音，功耗4者平衡的产物。

HD-DVD 与 BD 光存储介质 DB：25GB 单面双层可达50GB HD-DVD：15GB 单面3层达45GB

视频压缩标准 1、国际电联压缩编码标准 H.261 H.263 H.264等 2、JPEG压缩编码标准 3、MPEG压缩编码标准 MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准 4、DVI压缩编码标准

视频编码技术

H.264（ MPEG4-AVC ）

常见的视频文件格式 AVI格式 MPEG格式 MOV RMVB格式 RM格式 MKV MP4 / 3GP WMV格式 FLV

AVI容器 AVI是微软1992年推出用于对抗苹果Quicktime的技术，尽管国际学术界公认AVI已经属于被淘汰的技术，但是由于windows的通用性，和简单易懂的开发API，还在被广泛使用。 AVI本身只是提供了这么一个框架，内部的图像数据和声音顺据格式可以是任意的编码形式。

因为索引放在了文件尾部，所以在播internet流媒体时已属力不从心。很简单的例子，从网络上下载的片子，如果没有下载完成，是很难正常播放出来。

VirtualDub提出了一种新的方法扩充了AVI对VBR音频的兼容，但是在高码率时会产生丢失数据的问题，从而导致有损音效。但对TrueHD, DTS-HD等音效更是完全不能支持。

MKV 是 Matroska 的一种媒体文件， Matroska 是一种新的多媒体封装格式，它可将多种不同编码的视频及16条以上不同格式的音频和不同语言的字幕流封装到一个Matroska Media文件当中!

视频文件转换软件简介 RealProducer Plus V10 暴风转码 Super Video Converter FFDShow MPEG-4 Video Decoder

视频文件的切割 暴风转码 VirtualDub mkvmerge GUI

字幕文件分类 图形格式 idx, sub 文本格式

Sub 字幕 图形格式字幕由 idx 和 sub 文件组成，idx 相当于索引文件，里面包括了字幕出现的时间码和字幕显示的属性，sub 文件就是字幕数据本身，由于是图片格式，所以比较大，动辄 10M 以上。idx+sub 可以存放多种语言的字幕，在播放的时候可以方便的选择。

文本格式字幕 扩展名通常是 srt、smi、ssa 或 sub 所以尺寸很小 一句时间代码 + 一句字幕

字幕的播放 播放器打开媒体文件(如 AVI、OGM、MKV 等)的时候，将字幕(如果有的话)进行载入，然后配合影音文件一起播放。注意：字幕文件的前缀要求和媒体文件一致并放在同一个目录中

字幕的编辑 SubResync

视频采集 DV -> PC IEEE1394 / I.Link / 火线接口

视频编辑软件介绍 1、Premiere 中文版。Premiere是视频编辑软件中专业级的软件 2、绘声绘影。绘声绘影是入门级的视频编辑软件，操作简单、使用方便。尤其是视频格式变换和导出导入文件方面设计的一目了然。 3、Windows Movie Maker。Windows系统自带的视频编辑软件。 4、其他

流媒体 流媒体一般是指通过Internet网络传送媒体（如视频、音频等）的技术总称。广义的含义是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法和协议的总称

虚拟现实技术 虚拟现实，也称虚拟实境或灵境，是一种可以创建和体验虚拟世界的计算机系统，它利用计算机技术生成一个逼真的、具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，使之产生身临其境感觉的交互式视景仿真和信息交流，是一种先进的数字化人机接口技术。 虚拟现实的主要特征是：多感知性（Multi-Sensory）、浸没感（Immersion）、交互性（Interactivity）、构想性（Imagination）

多媒体创作软件 Authorware Powerpoint Flash 方正奥思多媒体创作工具 ….

PowerPoint多媒体著作 文本 ( 母版 / 项目编号 ) 作图 图像 ( 分辨率 / 调整大小 / 色彩 / 高级处理) 声音 视频 ( 直接嵌入/ 间接嵌入 / 迁移 ) 动画 (组合 / 动画效果/切换 )

Word 高级应用