多媒体技术及其应用基础 第四章（共2讲）
什么是多媒体 媒体——指用来表示、存储、传递各种信息的载体 多媒体——多种信息表现形式和传递方式的综合 文字、图像、声音 报纸书刊、广播、电视、电话、网络 多媒体——多种信息表现形式和传递方式的综合
主要内容 多媒体在计算机中的表示 多媒体数据存储 多媒体数据传输 多媒体技术应用 图像 声音 文本 压缩 存储（文件格式与存储设备） 图像 声音 文本 多媒体数据存储 压缩 存储（文件格式与存储设备） 多媒体数据传输 流媒体 流传输 多媒体技术应用 日常应用 系统组成 应用实例 第1讲 第2讲
第一部分 多媒体在计算机中的表示
多媒体在计算机中的表示 计算机中颜色的表示 计算机中图像的表示 计算机中声音的表示 计算机中文本的处理 纯文本 格式化文本 超媒体
1.计算机中颜色的表示 三原色原理： 人眼对红、绿、蓝最为敏感，人的眼睛像一个 三色接收混合器 任何颜色可以通过红、绿、蓝三基色按照不同 的比例合成产生 绝大多数单色光也可以分解成红、绿、蓝三种 色光
1.计算机中颜色的表示 255 …色度… 白色 R=255 G=255 B=255 青色 R= 0 G=255 B=255 品红 R=255 255 …色度… 白色 R=255 G=255 B=255 青色 R= 0 G=255 B=255 品红 R=255 G= 0 B=255 黄色 R=255 G=255 B= 0 黑色 R=0 G=0 B=0
1.计算机中颜色的表示 三原色原理的动态演示 一种颜色= R值(1字节)+G值(1字节)+B值(1字节)=24位二进制 总颜色数= 256×256×256=16，777，216=224 ，真彩色
2.计算机中图像的表示 图像 图形 由输入设备捕捉的实际景物的画面 由点、线、弧、面构成的图，是抽象后的图像。主要用于描述事物的轮廓。 常由计算机程序绘制
2.计算机中图像的表示 像素点阵表示法 每一格称为一个像素 n列 m 行 逐格转换 图像 分格(n×m) 确定每格颜色 图像数据 引用：http://hi.baidu.com/mynameisny/blog/item/d14ac2b1e0c8e9590823021a.html
2.计算机中图像的表示 图像分辨率—点阵规模（宽X高） 分辨率越高，描述的图像越精确，产生的数据量也越大 11 X 14 22 X 28
2.计算机中图像的表示 颜色位数 1位 颜色位数越多，描述的图像越艳丽，产生的数据量也越大 2色 4位 16色 24位 真彩色
2.计算机中图像的表示 位图文件 分辨率为nxm 颜色位数为l 分格确定各像素颜色值独立保存位图文件(bitmap) 总数据量=图像宽 (n)×图像高(m)×颜色位数 (l) /8 (字节) 例如： 1024×768×24/8 = 2,359,296 字节 =2.25 MB
DC成像原理 光电 转换 数字处理 存储 镜头 光信号 RGB分解 DC—Digital Camera
2.计算机中图像的表示 动态图像(视频)：连续渐变的图像或图形序列。视频中一幅图像或图形称为一帧。 记录视频中连续变化的画面即形成视频文件 视频的技术指标 有 帧速 (每秒变化的帧数) 图像分辨率和颜色位数 文件格式(编码)
2.计算机中图像的表示 动态图像(视频) 电影：帧速24帧/秒 电视：帧速25帧/秒(国内) 高清(HD)电视： 2K/4K n个像素 m个 像素 动态图像(视频) 电影：帧速24帧/秒 电视：帧速25帧/秒(国内) 高清(HD)电视： 分辨率的宽高比例n:m=16:9 垂直方向上像素个数不低于720（m≥720） 720P (1280×720，逐行) 1080i (1920×1080，隔行) 1080P (1920×1080，逐行) 2K/4K 国内现在把m<720视频格式称为标清(SD)
标清(SD),高清(HD),超高清(2K,4K) 4096 2160
3. 计算机中声音的表示 声音是通过一定介质传播的连续的波-声波 声音用电表示时，在时间和幅度上都是连续的模拟信号。 振幅：音量 周期(频率)：音调
3. 计算机中声音的表示 声音按频率分类： 如何记录声音？ 模拟声音 .VS. 数字声音
模拟记录 爱迪生的留声机, 1877年 磁带，1920’s年 黑胶唱片，1888年
声音数字化: PCM技术,1937年 模拟信号 数字信号 A/D D/A 物理 声音 模拟 信号 数字 信号 采样 量化 编码 回放 声音文件 回放 PCM——脉冲编码调制技术
声音数字化过程 模拟声音信号 声音信号采样 采样信号的量化 音频数据 声 道 数 采样频率 量 化 等 级 101100101010001111101011101010000… 音频数据
声音数字化技术三指标 采样频率 量化位数 声道数 每秒钟抽取声波幅度样本的次数 每个采样点用多少位二进制表示 使用声音通道的个数 采样频率越高 声音质量越好 数据量也越大 量化位数越多 音质越好 立体声比单声道的表现力丰富，但数据量翻倍 11.025kHz 22.05 kHz 44.1 kHz 1kHz=1000Hz 8位 ＝ 256 16位＝65536 单声道 立体声
声音数字化的数据量 每秒音频数据量＝采样频率×量化位数×声道数/8 (字节/秒) ≈ 4 ×60 ×172.27 = 40.38 MB 每秒音频数据量＝采样频率×量化位数×声道数/8 (字节/秒) 1kHz=1000次/秒， 1KB=1024B 采样频率(kHz) 量化位数(bit) 数据量(KB/s) 单声道 立体声 11.025 8 10.77 21.35 16 21.53 43.07 22.05 86.13 44.1 172.27 使用44.1kHz,16bit的PCM编码一首4分钟的立体声音乐的数据量？ ≈ 4 ×60 ×172.27 = 40.38 MB
音频数据保存 音频数据按采样顺序直接保存可得到： CD光盘(<700MB) Wave文件 (扩展名为.wav) 经典的Windows多媒体音频格式 文件比较大，音质好
声音数字化过程
4. 计算机中文本处理 只含文字符号本身(机内码) text文件 每个字符可以有自己独有外观 包含颜色、字号、字体、字形等信息 纯文本 只含文字符号本身(机内码) text文件 格式化文本 每个字符可以有自己独有外观 包含颜色、字号、字体、字形等信息 超媒体 含符号本身及其格式信息 可嵌入图、表、声音使图文并茂 含超链接使得各种媒体信息相互联系在一起
4. 计算机中文本的表示 超链接 常见文档格式有 指向文档其他位置 或指向其他文档 点击实现切换 word/wps文档 PDF文件(只读) HTML文件(网页 文件)
HTML文件示例 <html> <center> <p> <font size=20> hello! </font> </p> <img src="./logo.jpg" align=center> <br> <a href="http://www.jxufe.cn">江西财大学</a> </center> </html> 如同纯文本文件，HTML文件只存储文字符号，但符号分为文本内容和格式标记符两种，由浏览器解释成网页
第二部分 多媒体数据存储
多媒体数据存储 多媒体数据压缩的基本原理 常用文件格式 图像、视频、音频数据文件 多媒体数据存储设备
1.多媒体数据压缩的基本原理 数据压缩的必要性。 一幅分辨率为1024X768的真彩色图像数据量 1024 × 768 × 24 bit ≈ 2.25 MB 同样分辨率的一部高清电影(90分钟)视频数据量 90×60秒×24帧/秒 × 2.25MB/帧 =54 MB ≈ 285 GB 存储介质容量有限 硬盘： 1~2TB 光磁盘：蓝光DVD <= 100GB （百度百科） 多媒体数据直接存储效率低！
1.多媒体数据压缩的基本原理 数据压缩的可行性 原数据中存在冗余 空间冗余 静态图像 时间冗余 视频 结构冗余 文本等 视觉冗余 空间冗余 静态图像 时间冗余 视频 结构冗余 文本等 视觉冗余 听觉冗余 等
空间冗余 大量颜色相同的块——无需逐个像素保存，只记录相邻像素值的变化量
时间冗余 不变化部分：较多 变化部分： 极少 第1帧完整记录 后 续 帧 只 记 录 画 面 变 化 的 部 分
视觉、听觉冗余 视觉敏感度曲线 人耳可听声音 对人体器官感觉不到的信息可进行筛减
1.多媒体数据压缩的基本原理 压缩技术的原理就是尽量减少冗余量 压缩技术分类 数据量 -冗余量 = 有效信息量 压缩比=数据量 ÷ 有效信息量 压缩技术分类 无损压缩 有损压缩
2.多媒体数据常用文件格式 图像文件格式 视频文件格式(与编码技术相关) 音频文件格式 bmp jpeg 或 jpg, png, gif, … 视频文件格式(与编码技术相关) AVI，WMV、MPEG RMVB、FLV (适合网络播放) AVS（国内提出的音频视频编码标准） MP4，3GP（适合手机） 音频文件格式 cd audio, wav ； ape, mp3,wma, rm 未压缩 压缩
多媒体音频格式应用指南 声波信号 CD Audio格式 WAV（waveform）格式 APE/flac MP3或wma RA格式 抓音轨,刻录 无损压缩 有损压缩 2:1 >10:1
3.存储多媒体数据的主要设备 磁盘阵列 硬盘 光盘 存储网络(云端存储)
光存储设备 光盘（120mm）+光盘驱动器 读写原理
光存储设备 光存储分类 按照光盘的读写功能划分 按照光盘的存储结构划分 只读式 光存储系统 一次写入式 光存储系统 可重写 光存储系统 只读式 光存储系统 一次写入式 光存储系统 可重写 光存储系统 按照光盘的存储结构划分 CD <700MB DVD 4.7GB, 8.5GB 蓝光光盘 > 25GB（单层）
光存储设备 光存储设备的技术指标 存储容量 存取响应时间 数据的传输速率 光存储设备的优点 存储容量大 寿命长 价格便宜
第三部分 多媒体数据传输
多媒体数据传输 多媒体数据传输的特点 流式传输技术与流媒体 网络
多媒体数据传输特点 非实时性业务数据 实时性业务数据 电子邮件、网页浏览、QQ消息 特点：对时延、传输率要求不严格，但不允许数据出错 以话音、视频为主的应用 特点：对时延，网络带宽要求较高，允许少量的数据传输错误
流媒体技术 多媒体数据通过网络传输的两种方式： … 下载—先下载,后播放 流传输 ——边播放,边下载 播放 下载所有数据 等待下载完成… 播发第3部分 下载第4部分 … 下载第1部分 缓冲等待… 播放第1部分 下载第2部分 播发第2部分 下载第3部分
流媒体技术 流媒体—通过流传输技术在网络上传输的多媒体文件类型 RM（RealMedias） /RMVB ASF（Advanced Streaming Format） QuickTime FLV (Flash Live Video) http://baike.baidu.com/view/7704.htm http://zh.wikipedia.org/wiki/Flash_Video
流传输技术 用户 要素： 1. 流媒体文件 2.本地缓存 3. 网络传输协议 4.媒体服务器 5.媒体播放器 Web浏览器 Web服务器 选择播放 Web浏览器 启动 Web服务器 HTTP/TCP 媒体 播放器 调 用 媒体服务器 观看 列文 件目 录 RTSP/TCP 流媒体 缓冲区 要素： 1. 流媒体文件 2.本地缓存 3. 网络传输协议 4.媒体服务器 5.媒体播放器
第四部分 多媒体技术应用
多媒体技术应用 个人日常应用 系统级应用 多媒体系统组成 多媒体教学系统 视频会议系统 数字电视系统 …
多媒体技术是什么 多种处理对象： 多技术融合： 文本（text） 图像（image） 声音（audio） 信息数字化技术（输入） 计算机技术（编辑与存储） 通信技术（传输与共享） 01010 01101 输出 存储 编辑 传输
多媒体应用 自助服务 休闲娱乐 人机交互 电子出版 多媒体通讯 多媒体教学 远程会议 …
1.个人日常应用 看图工具 影音播放器 刻录软件 光盘镜像制作 格式转换 返回
1.个人日常应用 人机交互 语音识别 图像识别 行为识别 语音检索(iPhone) 图像检索(google) 汽车导航 人工智能
2.多媒体系统 系 统 组 成 多媒体控制卡和接口 多媒体应用软件 多媒体开发平台 操作系统 设备驱动软件 计算机硬件 外围多媒体设备 创作与编辑软件 多媒体开发平台 操作系统 设备驱动软件 计算机硬件 外围多媒体设备 第八层 第七层 第六层 第五层 第四层 第三层 第二层 第一层 硬件 软件 系 统 组 成 多媒体系统层次结构图
2.多媒体系统组成 硬 件 主 板 C P U 和 内 存 显 示 设 备 鼠 标 和 键 盘 ．．．．．．． 数 字 笔 触 模 屏 硬 件 主 板 C P U 和 内 存 显 示 设 备 鼠 标 和 键 盘 ．．．．．．． 数 字 笔 触 模 屏 彩 色 打 印 机 音 响 投 影 仪 ．．．．．． 音 频 卡 压 缩 卡 显 示 卡 网 络 适 配 器 通 信 线 路 调 制 解 调 器 交 换 机 基本硬件 I/O设备 扩展硬件 通信设备
多媒体教学系统 多媒体教学系统的优势 集成性 灵活性 交互性 跨时空性 信息量大 硬件 软件
多媒体视频会议系统 http://www.gesee.com/ 大规模视频会议系统 + 一对一的视频
多媒体视频会议系统 硬件组成 软件组成 音视频编码 网络传输协议 控制软件
多媒体视频会议系统 视频会议系统的特点 视频会议系统的扩展功能 分布性 提供流畅的音频，清晰的视频图像 实时性 协作性 支持广播 集成性 高时空效率 视频会议系统的扩展功能 提供流畅的音频，清晰的视频图像 支持广播 桌面共享和远程摇控 电子白板 文件传输和共享 音频、视频的录制功能
数字电视系统 数字电视是一个从节目采集、节目制作、节目传输直到用户端都以数字方式处理信号的端到端的系统 信号还原 Internet 数字采集 制作、存储 传播控制 节目传输 显示终端
其他应用系统 KTV电脑点歌系统 保安监控报警系统 迪厅音响灯光系统 数字化语音教室系统 体育场音视频控制系统 网络数字广播系统 IPTV系统 远程教学系统 多媒体无线导游系统 智能家居中控系统 可视对讲系统 汽车调度寻呼系统 歌厅/礼堂演出系统 智能交通信息系统 大型LED视频显示系统 音乐打铃校园广播系统 电子警察 …
4.多媒体开发（选讲） 图像处理工具 视频处理软件 动画处理软件 音频编辑软件 Photoshop、ACDSee、CorelDraw、Paint Brush、Freehand 等。 视频处理软件 Adobe Premiere、Media Studio Pro、Ulead Video Studio 等。 视频转换 动画处理软件 Director、Animator Pro、3D Studio Max、SuperCard、CompuServe GIF89a等。 音频编辑软件 Cool Edit Pro、Gold Wave、Cake Walk等、抓音轨。
Photoshop Photoshop主要的功能 (静态图像) 图形制作 颜色编辑功能 支持多种格式 强大的图像特技效果 图层和通道
3DS Max 3DS Max功能特性 创意设计 造型建模 材质贴图 动作设计 特效 视频输出
Premiere Premiere 是数字视频编辑软件 主要功能 视频、声音、动画、图片、文本混合剪辑 具有丰富的视频、音频、字幕特效 支持多种文件格式 可以直接导入3DS Max动画
CoolEdit
第四章 总结 多媒体技术基础 多媒体技术应用 流媒体与流传输技术 图像的数字化原理 日常应用 声音的数字化原理 超媒体是什么 多媒体系统组成 第四章 总结 多媒体技术基础 图像的数字化原理 分辨率、颜色位数 声音的数字化原理 采用频率、量化位数、声道数 超媒体是什么 多媒体数据的压缩与存储 压缩的原理、压缩分类 多媒体文件格式 流媒体与流传输技术 多媒体技术应用 日常应用 看图、刻录、转换 人机交互 多媒体系统组成 多媒体系统应用 多媒体教学 视频会议 数字电视