音频、视频、图像信息的加工 一、基本概念 与 实例欣赏 Multimedia 多媒体技术

（一）数字音频的采集和加工书P85~88 模拟音频与数字音频 自然界中存在的各种声音，都是由于物体振动产生的。物体振动使得空气产生振动波，再由人体内耳接收，形成听觉。这种声音的波形变化是连续的，称为模拟音频。 计算机中所存贮的任何信息，包括声音信息，都是用二进制数值来表示的，我们把这类音频称为数字音频。

音频的基本的知识： 什么是数字化音频技术？ 模拟信号 数字信号 把模拟音频转成数字音频，在电脑音乐里就称作采样，其过程所用到的主要硬件设备便是模拟/数字转换器（Analog to Digital Converter，即ADC）。采样的过程实际上是将通常的模拟音频信号的电信号转换成许多称作“比特（Bit）”的二进制码0和1，这些0和1便构成了数字音频文件。

采样的频率、采样的位数、 比特率(位速率) 采样的频率(采样率、采率 )是指录音设备在一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实越自然。在当今的主流采集卡上，采样频率一般共分为22.05KHz、44.1KHz、48KHz三个等级。 采样位数：可以理解为采集卡处理声音的解析度。这个数值越大，解析度就越高，录制和回放的声音就越真实。 比特率(码率等)：表示经过编码(压缩)后的音频数据每秒钟需要用多少个比特来表示，换句话说是指在一个数据流中每秒钟能通过的信息量。比特率越高音质越好，但编码后的文件越大；如果比特率越少则情况刚好相反。

如下图，图中的正弦曲线代表原始音频曲线；填了颜色的方格代表采样后得到的结果，二者越吻合说明采样结果越好。 上图中的横坐标便是采样频率；纵坐标便是采样分辨率。 X轴：采样频率 Y轴:采样分辨率

采样的频率越大则音质越有保证；同理，当纵坐标的采样的分辨率越小则越有利于音质的提高，即采样的位数越大越好。 采样频率一般共分为22.05khz、44.1khz、48khz三个等级。 22.05只能达到fm广播的声音品质， 44.1khz是cd音质， 48khz则是dvd audio或专业领域才会采用。 X轴：采样频率 Y轴:采样分辨率 8位（8Bit）不是说把纵坐标分成8份，而是分成2^8＝256份；同理16位是把纵坐标分成2^16＝65536份； 而24位则分成2^24=16777216份。

现在我们来进行一个计算，看看一个数字音频文件的数据量到底有多大。 假设我们是用44.1kHz、16bit来进行立体声（即两个声道）采样，即采样成标准的CD音质（也称作红皮书音频）。一秒钟的数字音频数据量相当于多少个汉字？ 分析： 一秒钟内采样44.1千次，每次的数据量是16×2＝32bit， 一秒钟内的数据量便是44.1k×32bit 一个字节（Byte）含有8个位（Bit），一个汉字在电脑里占用两个字节， 那么44.1k×32bit的空间可以存储 （44.1k×32bit） /（2×8）=88200个汉字，也就是说一秒钟的数字音频数据量与近九万个汉字（一部中篇小说）的数据量相当。

常见音频文件类型 APE格式：是一种无损压缩音频格式 CD Audio　　目前CD唱片所采用的格式，又叫“红皮书”格式，记录的多是波形流。但缺点是无法编辑，文件长度太大。 WAV　　微软的标准声音格式。Windows本身存放数字声音的标准格式，目前也成为通用性的数字声音文件格式。 WAVE文件是以声音的波形来表示声音的，这种音频格式基本上不经过什么压缩，所以体积较大。 Ra/Rm/RMX　RealNetworks公司开发的主要适用于网络实时数字音频流技术的文件格式，它将音频文件大大压缩，所以在高保真方面远不如MP3，不过体积小，适合实时收听是最大的优势。 WMA　是微软公司针对Real公司（冤家路窄）开发的新一代网上流式数字音频压缩技术。这种压缩技术的特点是以减少数据流量但保持音质的方法来达到更高的压缩率目的，同时兼顾了保真度和网络传输需求，所以具有一定的先进性，其压缩率一般可以达到1:18。甚至慢慢开始侵蚀MP3的地盘了（相同音质，Wma文件是Mp3文件大小的一半）此外，WMA还可以通过DRM(Digital Rights Management)方案加入防止拷贝，或者加入限制播放时间和播放次数，甚至是限制播放的机器，可有力地防止盗版。

常见音频文件类型 MIDI是Musical Instrument Digital Interface的缩写，又称作乐器数字接口，是数字音乐/电子合成乐器的统一国际标准。 它定义了计算机音乐程序、数字合成器及其它电子设备交换音乐信号的方式，规定了不同厂家的电子乐器与计算机连接的电缆和硬件及设备间数据传输的协议，可以模拟多种乐器的声音。MIDI文件就是MIDI格式的文件，在MIDI文件中存储的是一些指令。把这些指令发送给声卡，由声卡按照指令将声音合成出来。 DVD Audio 是新一代的数字音频格式，与DVD Video尺寸以及容量相同，为音乐格式的DVD光碟，取样频率为“48kHz/96kHz/192kHz”和“44.1kHz/88.2kHz/176.4kHz”可选择，量化位数可以为16、20或24比特，它们之间可自由地进行组合。低采样率的192kHz、176.4kHz虽然是2声道重播专用，但它最多可收录到6声道。而以2声道192kHz/24b或6声道96kHz/24b收录声音，可容纳74分钟以上的录音，动态范围达144dB，整体效果出类拔萃。

常见音频文件类型 MP3　　MP3是MPEG-1 LAYER3的简写，是网上最为流行的音乐存放、下载格式。 MP4采用的是美国电话电报公司(AT&T)所研发的以“知觉编码”为关键技术的a2b音乐压缩技术，由美国网络技术公司(GMO)及RIAA联合公布的一种新的音乐格式。MP4在文件中采用了保护版权的编码技术，只有特定的用户才可以播放，有效地保证了音乐版权的合法性。另外MP4的压缩比达到了1:15，体积较MP3更小，但音质却没有下降。不过因为只有特定的用户才能播放这种文件，因此其流传与MP3相比差距甚远。 VOC文件，在DOS程序和游戏中常会遇到这种文件，它是随声霸卡一起产生的数字声音文件，与WAV文件的结构相似，可以通过一些工具软件方便地互相转换。

音频的播放软件 千千静听 Realplayer Media player 暴风影音 …… 音频播放软件的选择有很多，我个人认为，电脑上不必安上太多的音频播放软件，有1-2个就足够了，选个适合自己使用的，使用内存小的就可以了

数字音频的采集与加工 书P86~88 确定主题，这个主题应该是适合于用声音来表现的。 规划好实际需要录制的内容。 录音前应做好的准备：对自己应该有三问： 确定主题，这个主题应该是适合于用声音来表现的。 规划好实际需要录制的内容。 明确内容 我要录什么？ 明确目的 我为什么要录这些东西？ 使用目的关系到对音质要求的高低，也关系到采集设备的选择。 我要怎么去录？ 明确方法 选用专业的录音设备进行录制，也可以用电脑直接录制（注意话筒和声卡的质量），还可以用录音笔或带有录音功能的MP3播放器进行录制等。

加工：去掉文件中的错误，增加混响,合成音轨, 分离出伴奏音乐等 书P86~87 Cooledit Pro 加工：去掉文件中的错误，增加混响,合成音轨, 分离出伴奏音乐等 用合适的文件格式保存，如WAV格式，mp3格式 常见的音频处理软件还有： Eo video 等。 教师主页，教学软件中提供了这两种软件的下载

数字音频小结： 数字音频给我们的生活带来了前所未有的变化。它以音质优秀、传播无损耗、可进行多种编辑和转换而成为主流，并且应用于各个方面。例如我们常使用到的音响设备、IP电话、卫星电话、数字卫星电视以及专业录音、制作等。展望未来，数字音频将会应用于更多的领域，而且会拥有更清晰、更真实的音质、更小巧的体积和更方便的传输和转换功能。

Ulead Video Studio\Adobe Premiere Pro (二）视频的采集与加工 所谓视频是指——连续画面组成的动态场景。 一般是通过实际拍摄得到的。 视频采集可以有三种方式。书p89 常见的视频加工软件有(书p90）： Ulead Video Studio\Adobe Premiere Pro \EDIUS非线性编辑软件霸等……

视频文件的格式 常用格式有：MPEG1、VCD、SVCD、AVI、MPEG2、DVD、VOB、MPG、MPEG4、DIVX、ASF、WMV、RM、QUI、FLV... 其中AVI是一种最常见的格式．定义如下： Audio/Video Interleave（音频/视频隔行扫描）的缩写。AVI是Windows下的指定视频文件格式，也是PC系统中使用最为广泛的视频文件格式，同QUICKTIME和MPEG并称为电脑的三大主流视频技术。AVI格式在PC视频编辑领域的通用性也最好，几乎所有的视频编辑软件都可以直接操作非压缩的AVI文件。

MPEG数字视频压缩技术 MPEG是活动图象专家组(Moving Picture Expert Group)的缩写。MPEG标准主要有以下五个，MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21等。 　　MPEG标准的视频压缩编码技术主要利用了具有运动补偿的帧间压缩编码技术以减小时间冗余度，利用DCT技术以减小图象的空间冗余度，利用熵编码则在信息表示方面减小了统计冗余度。这几种技术的综合运用，大大增强了压缩性能。

流式传输主要指将整个音频和视频及三维媒体等多媒体文件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用户计算机顺序或实时传送。 流媒体 所谓流媒体是指采用流式传输的方式在Internet/Intranet播放的媒体格式，如音频、视频或多媒体文件。流媒体实现的关键技术就是流式传输。 流式传输主要指将整个音频和视频及三维媒体等多媒体文件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用户计算机顺序或实时传送。 流媒体在播放前并不下载整个文件，只将开始部分内容存入内存，在计算机中对数据包进行缓存并使媒体数据正确地输出。

网络视频的下载与录制 维棠FLV视频下载软件：能帮助你下载国内外大多数FLV视频分享网站（如YouTube、Mofile、土豆网、56.com、六间房、优酷网等）的视频内容；并且具有断点续传功能，集成了FLV视频播放器、FLV视频转码器，能下载也能播放。 其他可以实现录制在线视频的软件：QQ影音，网络电视软件里的UUSEE的实时录制功能也很强大,还能制定计划任务实现定时录制 ；超级捕快，可 直接录制保存为AVI、WMV、MPEG、FLV、SWF等各种视频文件。 还可以在录制时添加日期、文字、图片等 欣赏……进行有趣加工的视频文件。

（三）数字化图像的采集加工 一、图像的表达特点：书P92 采集方式……p95 加工软件 p96 形象，生动，色彩丰富 跨越文字的限制，主题表达明确

矢量类 位图类

二、图像的类型 位图(点阵图像):它由许多点（称为像素）组成的。 优点：色彩丰富； 缺点：文件容量大、缩放和旋转易失真。 相关软件：画图、photoshop、PhotoImpact、Fireworks、Painshop、ACDSee 类别 常用软件 功能特点 适用性 简易型图像软件 画图 Windows自带，对运行环境要求低，具备基本的绘图功能 适宜初学者使用 美图秀秀 丰富的实用工具集，简易的操作界面 适宜普通家庭和办公中的基本图像处理 普及型 图像软件 ACDSee 强大的格式兼容性，方便实用的基本处理功能 以看图为主，处理为辅助的一般用户使用 photoshop 具有强大功能的软件，集图像扫描、编辑修改、图像制作、广告创意，图像输入及输出于一体 深受广大平面设计人员和电脑美术爱好者的喜爱

位图文件的大小计算 BMP与JPG 理论大小计算方法： 首先计算图片的总像素数 然后计算每个像素的大小 每个像素的位数。有1（单色），4（16色），8（256色），16（64K色，高彩色），24（16M色，真彩色），32（4096M色，增强型真彩色）。等 n位2n种颜色的彩色位图近似字节数可以用下面的公式计算： BMP文件大小约等于 54+4*2n+（w*h*n)/8 例如，一个800×600的24位几乎占据1.37MB空间 练习：如果图片大小800*600的位图，8位，则这个位图所占空间约为？ 800*600*8/(8*1024*1024)=0.457M

二、图像的类型 矢量图形（向量图形）：它以数学的向量方式来记录图像内容。 优点：色彩变化少、文件容量小、放大或旋转图像不 会失真。 缺点：不容易制作色彩变化太多的图像 相关软件：Flash、CorelDraw、Adobe Freehand Auto CAD 类别 常用软件 功能特点 适用性 普及型 图像软件 Flash 可用来制作静态图像和可互动的动画，可以任意缩放不失真，文件体积不大。 适宜网络图形和动画的制作，深受各层次用户的喜爱 专业型图像软件 CorelDraw 强大的二维、三维建模能力，丰富的图形处理功能，可以任意缩放不失真。 适宜专业的图形设计人员使用 请同学们 欣赏动画： 七巧板

BMP、PSD、TIFF、GIF、JPEG、PNG 图像与图形的区别   位图图像 矢量图形 特征 能较好表现色彩浓度与层次 可展示清楚线条或文字 用途 照片或复杂图像 文字、商标等相对规则的图形 图影缩放结果 放大或旋转图像易失真 放大或旋转图像不易失真 制作3D影像 不可以 可以，不容易制作色彩变化太多的图像 文件大小 较大 较小 常用的文件格式 BMP、PSD、TIFF、GIF、JPEG、PNG EPS、PS、WMF、SWF、CDR 、AI、ID、FLV、DWG

常见的存储格式描述 CDR 格式 优点 缺点 综述 BMP 在windows下得到广泛使用 只能在windows 下使用 可以以包含每个像素 1位、4位、8位或24 位的图像 GIF 文件小巧，支持动画 不能储存CMYK或 HIS色彩模式的数据 具有顺序的组织形式 PNG 无损压缩、逐层逼近 和支持a通道（可以定 义某一部分色彩透明）  流式网络图形格式,是 一种无损压缩的位图 图像格式 JPG 是一种压缩位图格式，是目前为止用于摄影图像的最好压缩方法   是数字化图像的主要存储格式 PDF PDF文件使用了工业标准的压缩算法，易于传输与存储。 只能使用特定的浏 览器才能浏览。 CDR 有临描功能，cdr可以将 位图轻易的转化为矢量 图，实色填充使得打印 效果与预览一致，印刷 行业的宠儿 览器才能浏览 CorelDraw专用文件存 储格式广泛地应用于商标 设计、标志制作、模型绘 制、插图描画、排版及分 色输出等诸多领域

三、设计图像表达信息 1．图像设计与制作的根本目的：传达信息。再到具体的制作过程，都要围绕特定的主题展开。 2．图像设计与制作过程要注意的方面 ⑴考虑创意、构图、色彩 ⑵选择制作方法和工具 ⑶具体的制作过程 ⑷考虑图像所针对的人群，符合他们的接受能力、审美意识、社会心理、习俗和禁忌。 ⑸遵循相关的法律法规。 写意生活CD封面制作……P97~102

上机作业 抠图、自由变换、渲染、图层模式与图层样式等基本内容，在很多图像处理中都是必不可少的。 Photoshop是一种利用多图层分别处理、综合显效的图像处理软件。 作业简评 技术有穷，创意无限

新技术——图片搜索引擎 www.tineye.com TinEye是一个反向图像搜索引擎，也是互联网上第一个使用图像识别技术的图片搜索引擎。

请同学们自行体验