多媒体技术 Multimedia Technology 全校公选课： 3*12=36学时，2学分 研究生选修课：3*18=54学时，3学分 电子课件：http://sist.sysu.edu.cn/~isscwli 纸质教材：李才伟. 多媒体技术基础. 清华大学出版社/ 北京交通大学出版社，2009.9. 成绩： 公选课：考勤答问5% + 平时作业15% + 大作业20% + 期末考试（开卷笔试）60% 研究生：考勤答问10% + 平时作业30% + 大作业60%

提交作业的方式 将作业打包后使用FTP上传到学院网络硬盘中的对应子目录中，网址（用户名和密码都是test）：ftp://test:test@222.200.182.92或ftp://test:test@sist.sysu.edu.cn/。 注意：作业包名应该包含自己的学号、姓名，及与作业内容相关的文字串（如“15213123张三-熵编码.rar”、“15213123李四-HTML.zip”）。FTP可以使用Windows的资源管理器，将网址复制到其地址栏中后回车，然后将作业包文件拖放进去。由于学院的FTP服务器与少数汉字不兼容，拖放时可能会报错，解决办法是将文件名中的汉字改成姓名的拼音或内容的英文单词。 作业也可交到我的邮箱（isscwli@mail.sysu.edu.cn）

课程要求 内容：多媒体技术的内容丰富且应用广泛。通过本课程的学习，掌握各种媒体(文、声、图、像、动画、视频)的性质；掌握多媒体数据的压缩算法、编码标准与存储格式；了解光存储和多媒体网络通信等技术；了解超文本的概念与模型；了解多媒体技术的主要应用。 重点：数据压缩、编码标准、标记语言（网页设计） [、开发编程]。

参考书 林福宗. 多媒体技术基础(第3版). 清华大学出版社，2009.1. 李泽年、Mark S. Drew. 多媒体技术教程. 机械工业出版社，2007.1. Tay Vaughan. 多媒体技术及其应用（第6版）. 清华大学出版社，2004.11 鄂大伟. 多媒体技术基础与应用（第二版）. 高等教育出版社，2003.9. 钟玉琢等. 多媒体技术基础及应用. 清华大学出版社，2000.8. Ralf Steinmetz & Klara Nahrstedt. 多媒体原理（第一册）媒体编码及内容分析. 电子工业出版社，2003.8.

作业要求 [编程工具：Visual C++ 或 Java、VB、C#等] 提交的作业内容：（说明文档占作业成绩的30%以上） 说明性文档：姓名、学号、章节，题目的名称、内容和要求，使用的算法、方法和技术，程序的模块、功能和使用方法、界面/结果画面、参考文献、心得体会。（电子文档，老Word格式[.doc文件]） 源程序：工作区与项目文件(*.sln与*.vcproj)、头文件(*.h)、代码文件(*.cpp)、资源文件(*.rc)等文件及资源目录res、数据文件、可执行文件的发行版。（不要其他中间文件及整个Debug子目录和Release子目录中的非可执行文件）] 注意：作业包名应该包含自己的学号、姓名，及与作业内容相关的文字串（如“12380123张三-文字.rar”、“13380124李四-压缩.rar”、“14380125王五-网页.zip”） 提交作业的方式：将作业打包后作为电子邮件附件，发到我的邮箱 isscwli@mail.sysu.edu.cn。 交平时作业的时间：布置作业后一周之内

第1章 引论 1.1 媒体与多媒体 媒体、多媒体 1.2 多媒体技术 概念、主要特点、定义 1.3 意义、简史与内容

1.1 媒体与多媒体 多媒体技术 = 多种 + 媒体 + 技术 媒体 媒体(medium) = 信息的载体(复数media) 1993年国际电信联盟(ITU = International Telecommunication Union) 定义了五种媒体 本课程所说的媒体是指感觉媒体 计算机(多媒体技术)所处理的媒体主要是表示媒体

国际电信联盟ITU定义的五类媒体 感觉(Perception)媒体：人的感官能感觉到的东西，如声音、文字、图像、质地、气味、温度、压力等； 表示(Representation)媒体：为了加工感觉媒体而构造出来的一种媒体，如各种编码。即感觉媒体的数字化编码（人造媒体），如各种媒体文件； 展现(Presentation)媒体：感觉媒体与通信电信号进行转换的一类媒体，它又可分为：输入展现媒体，输出展现媒体。即I/O工具与设备； 存储(Storage)媒体：用于存放表示媒体的物理实体，如：纸、唱片、录音带、录像带、胶片，内存、硬盘、光盘、磁带等； 传输(Transmission)媒体： 用来将表示媒体从一处传送到另一处的物理传输介质，如通信电缆、光纤、电磁空间等。

多媒体 多媒体：多种媒体（文本、图形、图像、声音、动画、视频等）的综合。 计算机技术的发展（处理对象）： 操作系统：无OS DOS/Unix MacOS/Windows/X-Window Linux/iOS/Android 编程语言：Fortran COBOL Basic/C C++/Java/C#/Objective-C 处理数据：数字 字符 图形 多媒体 适用对象：专家 商用 通用 人性化

人类接受外部信息 的途径与所占的百分比 感觉（感官） 百分比 视觉（眼） 80% 听觉（耳） 10% 嗅觉（鼻） 味觉（舌） 触觉（皮肤） Ted Nelson：“我们居身在媒体世界里就像鱼生活在水中”

媒体的种类 目前的计算机主要处理6种视觉和听觉媒体：文本、图形、图像、声音、动画、视频等。 气味（嗅觉）和压力（触觉）媒体（平版电脑和智能手机的触摸屏主要用作输入设备）也有少量应用（如仿真影院、游戏操纵杆、虚拟现实等），但不太普及；味觉媒体至今仍未见应用；所以，这些媒体种类本课程将不予讨论。 可以依据是否与时间相关，将媒体分成如下两类： 静态媒体（离散媒体/非时基媒体）：与时间无关的媒体，如文本、图形、图像； 流式媒体（连续媒体/时基媒体）：与时间有关的媒体，如声音、动画、视频。该类媒体有实时和同步等要求。

1.2 多媒体技术 1.2.1 概念的抽象层次： 主义—思想— 理论—方法—技术—工艺— 产品 技术：方法的应用，理论性不强、实用性强 哲学/信念(社科) | 科学/研究(理科) | 工程/应用（工科） 主义—思想— 理论—方法—技术—工艺— 产品 信仰 观念 体系 算法 应用 操作 生产 技术：方法的应用，理论性不强、实用性强 多媒体技术：没有自己的成套理论，是各种相关方法的综合应用。为计算机应用学科的一个分支。 定义：计算机综合处理多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性的一种技术。（至今无严格统一的定义）

1.2.2 多媒体技术的主要特点 (1) 多样性：多种媒体、丰富感觉 (2) 集成性：多种媒体信息与技术设备的综合集成与同步 (3) 交互性：人机交互、主动参与 [(4) 实时性：流媒体（音频/动画/视频）] 传统电视符合(1)(2)(4)，但不符合(3) 数字电视全符合 多媒体的其他特点：数字化、数据量巨大（所以数据压缩是多媒体的核心技术）

智能（聪明）+ 多媒体（人性化）+ 网络（便捷）= 智能手机/普适计算？ 1.3 意义、简史与内容 1.3.1 多媒体技术的意义 人类最重要的三大资源：材料（物质）、能源（动力）、信息（数据） 信息技术的五飞跃：印刷术、广播电视、计算机、多媒体、因特网（万维网） 信息环境E = 多媒体m * 计算机c * 通信c （~质能公式E = mc2） 信息时代计算机的发展方向： 智能（聪明）+ 多媒体（人性化）+ 网络（便捷）= 智能手机/普适计算？

1.3.2 多媒体技术的简史 下面从图形用户界面、光存储、多媒体系统、压缩编码标准、网络与标记语言等几个方面来介绍多媒体技术的发展简史。 1.3.2 多媒体技术的简史 下面从图形用户界面、光存储、多媒体系统、压缩编码标准、网络与标记语言等几个方面来介绍多媒体技术的发展简史。 图形用户界面： 1950年MIT的林肯实验室推出CRT显示器 1963年Douglas Engelbart发明鼠标，1968年他公开演示视窗与人机界面、超媒体和群件 1972年Alan Kay设计出面向对象的Smalltalk语言，首创下拉式菜单，提出GUI概念 1973年施乐Xerox公司的PARC研究中心推出具有图形用户界面（键盘+显示器 / 鼠标+位图）的原型机Alto 1982年多伦多大学发明感应食指指压的多点触控（multi-touch）屏幕。1984年贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏

1984年Apple公司推出Macintosh计算机(Motorola 6800)，在微机中引入图形界面；1987年8月Apple公司在Mac机中引入超级卡HyperCard系统，使其成为多媒体计算机 1985年MIT推出X-Window（Unix的图形界面） 1985年11月Microsoft推出Windows 1.0（PC机的图形界面），1990年5月Windows 3.0获得成功，1992年4月推出多媒体操作系统(MOS) Windows 3.1，1999年推出具有流媒体功能的MOS Windows 2000，2006年11月推出具有3D用户界面的Windows Vista（远景），2012年10月推出支持Metro卡片界面与多点触控的Windows 8 2005年9月17日日本的任天堂公司发布了Wii游戏机的Wii遥控器，支持指向定位与动作感应 2007年1月Apple推出支持多点触控的智能手机iPhone，大获成功，开创了智能手机的新时代 2008年4月17日Microsoft推出支持多点触控和声音指令的Surface技术 2009年6月2日索尼公司推出了针对其PlayStation 3 (PS3) 游戏机的PlayStation Move控制器，配合PlayStation Eye可提供了六轴感应、振动及体感功能

2010年11月4日微软推出针对其Xbox 360游戏机的体感设备Kinect for Xbox 360，不需要手持或踩踏控制器，可使用语音指令或手势来操作游戏机界面，并能捕捉玩家全身上下的动作，用身体来玩游戏。2012年2月1日又推出面向Windows的Kinect版本“Kinect for Windows” 2011年10月14日Apple推出同时支持多点触控和智能语音指令的iPhone 4S 2013年3月14日三星推出的Galaxy S4智能手机，支持悬浮操作和眼球控制 2015年4月10日和24日苹果先后发布了支持压力感应触控的MacBook笔记本电脑和Apple Watch智能手表，2015年9月9日苹果又发布了支持压力感应触控（3D Touch）的iPhone 6S智能手机。2015年9月2日中国的华为公司抢在苹果公司之前发布了采用压感屏幕技术的智能手机Mate S

体感输入设备 任天堂的Wii遥控器 索尼的PS运动控制器 微软的Kinect

VR AR MR 2012年4月5日谷歌公司推出增强现实（Augmented Reality，AR）的谷歌眼镜（Google Project Glass） 2012年9月11日索尼公司推出虚拟现实（Virtual Reality，VR）的头戴式显示器（HMZ-T2） 2015年1月21日微软发布了混合现实（Mixed Reality，MR）的全息技术Holographic和HoloLens眼镜 2015年9月24日三星公司和脸谱（Facebook）公司旗下的眼（Oculus）公司共同推出新版的虚拟现实头盔（Gear VR） 2016年7月6日日本任天堂公司与日本的精灵宝可梦企业（The Pokémon Company）及美国的Niantic公司合作推出风靡全球的增强现实手机游戏Pokemon Go（口袋妖怪/宠物小精灵/神奇宝贝） 2016年8月16日英特尔发布了融合现实（Merged Reality，MR）的Alloy一体化虚拟现实眼罩。

光存储： 1981年Philips & Sony 推出CD-DA； 1985年Philips & Sony 推出CD-ROM； 1993年JVC、Philips、Matsushita、Sony联合推出VCD； 1995年9月Sony & Philips / Toshiba & Time Warner推出DVD； 2002年2月索尼等9个公司提出蓝光盘BD(Blu-ray Disc)，单层25GB/双层50GB/四层100GB/八层200GB； 2005年2月23日EVD成为中国电子行业推荐性标准（采用DVD-9介质和新压缩算法，可实现全高清1920×1080i的视频编码与重放）； 2009年12月17日 蓝光光盘协会(BDA)正式宣布完成Blu-ray 3D标准的制定； 2015年5月12日BDA发布Ultra HD Blu-ray标准，支持4K分辨率（4096*2160）的视频、采用H.265/HEVC编码、50/66/100GB蓝光盘的数据率为80/108/128Mbps，计划于2015年圣诞节推出4K-BD机。

压缩编码标准： 1986年CCITT与ISO成立JPEG(Joint Photographic Experts Group，联合图象专家组) 1991年公布静态图像压缩标准JPEG(ISO/IEC 10918) 2000年12月公布JPEG 2000(ISO/IEC 15444) 1988年成立MPEG(Moving Picture Expert Group，运动图像专家组) ：(MPEG1/2的视频压缩率为30倍左右) 1992年11月推出MPEG-1(ISO/IEC 11172) 1994年11月推出MPEG-2(ISO/IEC 13818) 1998年10月推出MPEG-4(ISO/IEC 14496) 2001年9月推出MPEG-7(ISO/IEC 15938) 2001年12月开始推出MPEG-21 (ISO/IEC 21000) 1996年10月W3C推出静态图像编码标准PNG；

2001年12月MPEG与ITU-T的VCEG共同成立的JVT (Joint Video Team，联合视频组)： 2003年5月推出了视频编码标准H.264/AVC（Advanced Video Coding，先进视频编码），对应于MPEG-4的第10部分AVC（ITU-T H.264、ISO/IEC 14496-10），其压缩率是MPEG1/2的3倍左右 2013年4月13日又推出了压缩比是H.264/AVC的2倍左右的视频编码标准H.265，对应于MPEG-H的第2部分HEVC（High Efficiency Video Coding，高效视频编码）（ITU-T H.265、ISO/IEC 23008-2） 2006年2月22日中国公布先进音视频编码国家标准AVS（Audio Video coding Standard，音视频编码标准）的视频部分（GB/T 20090.2-2006） 2009年7月AVS与H.264/AVC和VC1被ITU并列为IPTV的三大视频编码标准 2011年6月AVS成为我国数字电视接收机唯一必须支持的视频编码标准

2012年7月支持3D高清视频编码的AVS+的第一部分成为广电行业标准GY/T 257-2012 2012年12月31日公布AVS的系统部分（GB/T 20090.1-2012）、符合性测试部分（GB/T 20090.4-2012）和参考软件部分（GB/T 20090.5-2012） 2014年8月支持超高清视频编码的第二代AVS标准——AVS2的制订工作已经完成，现在正在公开征求意见

网络与标记语言： 1983年因特网的前身ARPANet启用TCP/IP协议集； 1989年Tim Berners-Lee提出HTML/HTTP，创立万维网；1994年他又牵头成立万维网协会W3C； 1990年Tim Berners-Lee发明了首个（只支持文本的）网页浏览器WorldWideWeb 1993年初，Marc Anderressen与Eric Bina合作开发出支持内嵌图像的网页浏览器马赛克（Mosaic），1994年10月Anderressen等人创办的网景公司Netscape推出了Navigator浏览器；1995年网景公司的Brendan Eich发明了JavaScript，为网页浏览器提供了脚本功能和动态能力； 1998年2月23日Netscape推出了开源项目Mozilla，2002年9月23日推出Mozilla Fixfox（火狐）浏览器； 1995年微软公司购得马赛克技术，并在此基础上开发出IE（Internet Explorer，因特网探索者）浏览器，随Windows 95免费推出；

1995年Opera公司开发出Opera（歌剧）浏览器； 1998年2月W3C推出XML；接着W3C又推出基于XML的系列应用标准，如SMIL(多媒体集成，1998年6月)、XHTML（网页描述，2000年1月）、SVG(二维矢量图与动画，2000年9月)等； 2003年1月7日苹果公司推出的Safari（游猎）浏览器； 2008年9月2日谷歌在Mozilla的基础上开发出Google Chrome（铬）浏览器； 2014年10月28日，W3C推出了替代HTML4和XHTML1的HTML5标准，引入了许多新特性和新元素。HTML5的新增特性和功能主要有：多媒体（SVG、画布、音视频）、文档排版、地理定位、本地存储、API/DOM交互等； 2015年7月29日微软公司随Windows 10推出的Edge（边缘、锋利、刀刃）浏览器。

移动电话通信标准： 1976年美国摩托罗拉的工程师Martin Cooper首先将无线电应用于移动（蜂窝）电话； 1978年底美国贝尔试验室研制成功了全球第一个移动蜂窝电话系统AMPS； 1G（第一代移动通信技术）——是采用模拟通信技术的蜂窝无线电话系统，只能进行语音通话。首个商用自动蜂窝网络由日本电报电话公共公司于1979年推出。中国首个1G系统由中国电信于1987年11月18日在广东第六届全运会上开通并正式商用； 蜂窝网络 （cellular network） 模拟手机（大哥大）

2G（第二代移动通信技术）——采用数字无线电技术组成的数字蜂窝移动通信系统，引进了短信技术。2G技术以GSM和CDMA为主。首个商用的2G系统是Radiolinja于1991年7月在芬兰推出的基于GMS标准的蜂窝电信网络。GSM的最大数据通信速度为9.6kbps。1993年9月浙江嘉兴中国电信的GSM网正式向公众开放使用，成为中国第一个2G系统； 2.5G (第二点五代移动通信技术)——是从2G到3G的过度技术，相比2G服务，2.5G无线技术可以提供更高的速率和更多的功能，如增加了接收数据功能（如接收电子邮件或WAP/WML无线网页）。2.5G的关键技术为GPRS包交换数据，可在GSM网络上提供高速分组通信服务，传输速度可达115Kbps；2002年5月17日中国移动率先在全国范围内正式推出GPRS业务； 3G（第三代移动通信技术）——与2G和2.5G最大的不同是提高了数据传输速度（≥200kbps）并增加了Web网页浏览和流媒体数据传输和处理等新服务。2000年5月ITU正式确定第三代移动通信标准为欧洲的W-CDMA（上下行速率5.75Mbps/14.4Mbps）、美国的CDMA2000（上下行速率153Kbps/ 2.4Mbps 1.8Mbps/3.1Mbps）和中国的TD-SCDMA（上下行速率128/ 384Kbps & 2.8Mbps），2007年10月又增加了WiMAX。首个商用3G系统是由日本的NTT DoCoMo公司于2001年10月1日推出的WCDMA网络。2009年1月7日工信部发放了3张3G牌照：中国移动的TD-SCDMA、中国电信的CDMA2000、中国联通的WCDMA；

4G（第四代移动通信技术）——与3G最大的不同是传输速率的提高，达到100Mbps级（似以太网卡），需要有线骨干（光纤）网支撑。2012年1月18日ITU确定3GPP的LTE-Advanced和北美的WirelessMAN-Advanced技术规范为 4G国际标准，中国主导制定的TD-LTE（上下行速率50Mbps/ 100Mbps）和欧洲的FDD-LTE（上下行速率40Mbps/150Mbps）为LTE-Advance的两种具体制式。最早出现的（准）4G系统是2007年韩国的Mobile WiMAX和2009年挪威首都奥斯陆与瑞典首都斯德哥尔摩的LTE。2010年是海外主流运营商规模建设4G的元年。2013年12月4日工信部向中国移动、中国电信、中国联通正式发放4G的TD-LTE牌照，2015年2月27日工信部又向中国电信和中国联通发放了4G的FDD-LTE牌照； 5G（第五代移动通信技术）——正在研发的下一代移动通信技术，主要目的是提高传输速率到1Gbps以上。韩国三星电子正在研制1Gbps的5G 、日本电信营运商 NTT DoCoMo正在研制10Gbps的5G、中国的华为计划研制20Gbps的5G、2015年3月英国已研制出128GB/s（1Tbps）的5G技术。2015年9月7日美国移动运营商Verizon无线公司宣布，将从2016年开始试用5G网络，2017年在美国部分城市全面商用。

USB标准——USB（通用串行总线）是一个外部总线标准，用于规范计算机与外部设备的连接和通讯，支持设备的即插即用和热插拔功能，理论上一个USB接口可连接多达127个外设； USB 1.0——1996年1月推出，传输速率为1.5Mbps(192KB/s)~12Mbps (1.5MB/s)； USB 1.1——1998年8月推出，最大传输速率为12Mbps(1.5MB/s)； USB 2.0——2000年4月推出，最大传输速率为480Mbps(60MB/s)； USB 3.0——2008年11月推出，最大传输速率为5Gbps(640MB/s)； USB 3.1——2013年7月推出，最大传输速率为10Gbps(1.25GB/s)。 USB Type-C——2014年8月推出，性能似USB 3.1，但是连接器更小，且两面都可插入。

1.3.3 多媒体技术的内容 多媒体技术的内容广泛，涉及多个学科和领域。多媒体技术的教材的内容选取和编排也各不相同，主要分为两类： 应用型——简单介绍媒体的基本属性，重点讲解各种用户级的多媒体素材和著作工具软件的使用，如Photoshop、Corel Draw、 Flash、3DS Max、MediaStudio、Premiere、Dreamwave、Fireworks等； 原理型——也介绍各类媒体的基本属性和多媒体的主要应用，但重点放在压缩算法、编码标准和设备系统； 本课程属于原理型，但增加了编程开发和网页设计部分。 主要内容 表示：媒体（文、声、图、动画、视频）、编码 / 压缩 / 标准、超文本 / 超媒体、存储（媒体文件、光存储） 应用：编程 / 开发、标记语言 / 网页设计、著作工具、应用

目录 第1章 引论 第一篇 媒体 第2章 文字 第3章 音频 第4章 图形与图像 第5章 动画 第6章 视频与编码标准 第二篇 压缩与编码 第2章 文字 第3章 音频 第4章 图形与图像 第5章 动画 第6章 视频与编码标准 第二篇 压缩与编码 第7章 压缩与熵编码 第8章 JPEG编码 第9章 MPEG编码 第10章 H.264/AVC与H.265/HEVC编码 第11章 AVS视频编码 第三篇 多媒体开发与编程 第12章 多媒体开发与音视频播放开发与 第13章 MCI和MMAPI编程 第14章 DirectX编程简介 第四篇 标记语言 第15章 超文本与标记语言 第16章 HTML 第17章 JavaScript 第18章 XML入门 第19章 HTML5 第五篇 其他 第20章 光存储 第21章 网络与多媒体 第22章 多媒体应用

复习思考题 ITU定义了哪五类媒体？多媒体中所说的媒体是其中的什么媒体？计算机所处理的又是什么媒体？ 目前多媒体所能处理的有哪些具体媒体对象？它们被分为哪两类？ 多媒体技术的特点有哪些？为什么传统电视不是多媒体？举出几种常见的多媒体系统和设备。 多媒体的核心技术是什么？