MTI 多媒体技术 第七讲 XIDIAN 国际视频压缩标准简介.

Presentation on theme: "MTI 多媒体技术 第七讲 XIDIAN 国际视频压缩标准简介."— Presentation transcript:

1 MTI 多媒体技术 第七讲 XIDIAN 国际视频压缩标准简介

2 主要内容 视频压缩标准发展历史 H.26X系列压缩标准简介 MPEG系列压缩标准简介

3 视频压缩标准发展历史 ITU: ISO/IEC: H.261 H.262 H.263 H.263+ H.264 MPEG1 MPEG2
MPEG4 (Part2) MPEG4(Part10) MPEG7 MPEG21

4 视频压缩标准对比 时间 输入 输出 压缩率 压缩算法 应用 H.261 p×64kb/s视频编码标准 1990年12月
176×144(QCIF) 352×288(CIF) 帧速率可变<=30 输出 p×64kb/s(p=1,2,…,32) 压缩率 20~30 小于MPEG1 压缩算法 运动补偿帧间预测与分块DCT相结合的混合编码 应用 可视电话、视频会议等对称应用

5 视频压缩标准对比（续） 时间 输入 输出 压缩率 压缩算法 应用 MPEG1
数据传输速率为1.5Mb/s的数字存储媒体运动图像及其伴音编码标准 时间 1993年8月 输入 视频：352×240×30，352×288×25 音频：32、44.1、48kHz的线性PCM 输出 1.5Mb/s、 Kb/s(音频) 压缩率 20~30 压缩算法 运动补偿帧间预测（单向预测＋双向预测）＋DCT 应用 VCD、MP3、局域网视频传输

6 视频压缩标准对比（续） 时间 输入 输出 压缩率 压缩算法 应用 MPEG2H.262 运动图像及其伴音通用编码标准 1994年11月
352×288～1920×1152 采用频率为16、22.05、24、32、44.1、48kHz的线性PCM、支持5.1声道 输出 1.5－80Mb/s、8-640 Kb/s(音频) 压缩率 30－40 压缩算法 运动补偿帧间预测（单双向预测）＋DCT、可伸缩性、前向兼容 应用 DVD、DVB、HDTV

7 视频压缩标准对比（续） 时间 输入 输出 压缩率 压缩算法 应用 H.263 H.263+ 甚低码率通信的视频编码标准
1996年3月、1998年1月 输入 QCIF、CIF、128×96(SubQCIF)、704×576(4CIF)、1408×1152(16CIF) 输出 30kb/s～ 压缩率 H.263+>H.263>MPEG2 压缩算法 运动补偿帧间预测（单双向预测）＋DCT 局部算法改进 可伸缩性 应用 通用电话交换网、局域网的视频通信

8 视频压缩标准对比（续） 时间 输入 输出 压缩率 压缩算法 应用 MPEG4(Part 2) MPEG4 Visual
甚低码率活动图像及其伴音编码标准 时间 1999年 输入 ≧176×144的多种分辨率格式 输出 4.6Kb/s～64Kb/s 压缩率 ≧ 100 压缩算法 基于对象的新一代编码技术，注重交互性，即可包含自然对象，又可包含人工合成对象 应用 可应用范围很广、目前多用于因特网视频传输、流媒体应用

9 视频压缩标准对比（续） 时间 输入 输出 压缩率 压缩算法 应用 H.264 MPEG4(Part10) MPEG4 AVC 2003年5月
多种分辨率格式 输出 压缩率 压缩率最高的视频压缩标准，比MPEG4 Visual节约50％的码率 压缩算法 基于传统框架的混合编码系统，只是做了局部优化。更注重编码效率和可靠性 应用 视频广播、视频通信和存储媒体（CD DVD）等多种应用

10 MPEG-1视频压缩标准 MPEG-1标准号为ISO/IEC 11172，它由五部分组成：
MPEG-1系统（ MPEG-1 Systems ）：规定视频数据、声音数据及其他相关数据的同步合成技术 MPEG-1视频编码标准（MPEG-1 Video） MPEG-1音频编码标准（MPEG-1 Audio） MPEG-1一致性测试：详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。 MPEG-1软件模拟：一个技术报告，给出了软件执行MPEG1前3个部分的运行结果。

11 MPEG-1视频压缩标准 输入、输出指标： MPEG视频 编码器 352×288×25×8×1.5 30Mb/s 1.15Mb/s
352×240×30×8×1.5 26 : 1

12 MPEG1视频压缩算法 运动补偿帧间预测(temporal) ＋ DCT(spatial)

13 Frame 1

14 Frame 2

15 Residual Frame

16 象素运动轨迹

17 Block-based Motion Estimation and Compensation

18 Block-based Motion Estimation and Compensation

19 16×16 Block Size

20 8×8 Block Size

21 4×4 Block Size

22 Sub－pixel Motion Estimation and Compensation
子像素运动估值与补偿

23 Sub－pixel Motion Estimation and Compensation

24 MPEG1视频编码器框架

25 MPEG1视频编码器框架 分块

26 MPEG1视频压缩算法 分割： 运动图像序列 图片组（GOP） 图片 条（Slice） 块（Block） 宏块 Macro Block I
… 图片 条（Slice） 块（Block） 8 宏块 Macro Block 16 8 16

27 MPEG1视频压缩算法 GOP的组成： I：内帧 P：单向预测帧 B：双向预测帧 一个内帧是一个随机访问点。B图像不能作为其它图像的参考帧。

28 MPEG1视频压缩算法 为了在图像质量和数据速率之间作出调整，MPEG编码器允许（1）选择内帧I的频率和位置，（2）选择I和P之间双向预测帧B的数目。 视频类型 I P B 平均 MPEG-1 CIF 150000b 50000b 20000b 38000b MPEG-2 601 400000b 200000b 80000b 130000b

29 MPEG1视频压缩算法 运动补偿技术在宏块一级工作。宏块分为四类： 帧内宏块，简称I块 前向预测宏块，简称F块 后向预测宏块，简称B块
平均宏块，简称A块 I图像只包含I块，P图像只包含I块和F块，B图像可以包含4种类型的宏块。

30 MPEG1视频压缩算法 I图像帧的压缩算法： 在空间方向上（内帧），MPEG－1压缩采用JPEG压缩算法来去掉冗余信息。

31 MPEG1视频压缩算法 P图像帧的压缩算法： 对于P宏块，MPEG－1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。

32 MPEG1视频压缩算法 运动矢量的概念

33 MPEG1视频压缩算法 基于块的运动矢量估值算法——块匹配法

34 MPEG1视频编码算法 块匹配法（Block Matching Algorithm）需要解决两个关键问题： （1）匹配准则 （2）搜索算法

35 MPEG1视频编码算法 BMA中常用的匹配准则： 绝对值： 均方误差： 平均绝对帧差：

36 MPEG1视频编码算法 BMA常用搜索算法—二维对数搜索法：

37 MPEG1视频编码算法 BMA常用搜索算法—三步搜索法：

38 MPEG1视频编码算法 BMA常用搜索算法—对偶搜索法：

39 MPEG1视频编码算法 B图像帧的压缩算法：

40

41 MPEG-1 音频压缩标准 输入、输出指标： MPEG音频 编码器 32kHz, 44.1kHz, 48kHz 32kb/s~
16位 PCM 层次 压缩率 数据速率kb/s 延迟（ms） 1 4 : 1 384 19/50 2 6:1 ~ 8:1 192 ~ 256 35/100 3 10:1 ~ 12:1 112 ~ 128 59/150

42 MPEG-1 音频压缩算法 听觉系统的感知特性： 听阈－频率曲线

43 MPEG-1 音频压缩算法 听觉系统的感知特性： 一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽

44 MPEG-1 音频压缩算法 听觉系统的感知特性： 在时间上相邻的声音之间也有掩蔽现象，称为时域掩蔽。时域掩蔽又分为超前掩蔽和滞后掩蔽。
一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽

45 MPEG-1 音频压缩算法 感知子带压缩算法 算法以心理声学模型为基础，主要利用了听觉阈值和听觉掩蔽特性

46 MPEG-1 音频压缩算法 感知子带压缩算法 1、将音频信号用滤波器组分成32个子带； 2、用FFT将子带变换到频率域
3、根据心理声学模型估计各个子带的感知阈值 4、根据对感知阈值的估计对各个子带进行比特分配和量化。 MP3采用了与MP1、MP2不同的滤波器和心理声学模型。

47 MPEG-1 音频压缩算法 MPEG-1 Audio层1和层2编码器和解码器的结构

48 MPEG-1 音频压缩算法 MPEG-1 Audio层3编码器和解码器的结构

49 H.261概述 H.261也称P×64，这是ITU-T（前身为CCITT）最早制定的关于视频编码的国际标准。考虑到ISDN的传输码率以64kbps为单位，因此以p×64kbps（p＝1～30）作为为H.261的标准码率。H.261标准主要用于电视电话和电视会议。它支持QCIF（p=1、2）、CIF（p>2）两种图像输入格式。

50 H.261解决的问题 第一是编码算法问题。确立了一种合理的、保证图像质量且为各国图像编码专家所公认的统一的算法。算法必须能够实时操作，解码延时要短。 第二是与PCM标准兼容的问题。编解码器以64～1920kb／s的工作速率去覆盖N-ISDN或PCM一次群的通道。 第三，解决电视制式不同的问题。为了使同一标准既能用于PAL（625）和NTSC（525）两种电视制式系统，源编码基于中间格式CIF格式，所以输入输必须 经转换到CIF或QCIF格式再进行源编码。

51 视频编码图像格式一览表

52 H.261的信源编码框架

53 H.261的信源编码算法 一、将预测误差或输入图像划分成为8*8的象素块。进一步，将4个亮度像块和两个在空间位置上与之重叠的色差像块符合成一个16*16的宏块（MB）。 二、对于帧序列中的第一副图像或景物变换后的第一副图像，采用帧内变换编码：利用8*8的DCT实现。各DCT系数经过线性量化、变长编码后进入缓冲器，根据缓冲器的上溢和下溢，来反馈调节量化器的量化步长，以控制视频编码位流使之与信倒速率相匹配。

54 H.261的信源编码算法 帧间预测采用混合方法：利用运动补偿预测，当预测误差超过某个门限后，对误差做DCT、视觉加权量化及熵编码。运动矢量信息编码后也送到缓冲器中。DCT去除空间冗余度，而使用有运动补偿的帧间预测来去除时间上的冗余。这是一个典型的帧内／帧间自适应预测加DCT变换的混合算法。

55 H.261的图像复用编码 H.261源编码后进行图像复用编码， 实际上是把比特流分成图像(Picture)，像块组 (GOB：Group of blocks)，宏块(MB：Macroblock)和像块(Block)，并附加相应的信息。按照CIF格式，每帧CIF图像包含12个GOB，每个GOB包含33个MB，每个MB包含4个亮度数据块和各1个Cb 、Cr色度块，每个B包含8*8象素。

56 H.261的图像复用编码 H.261 数据流结构

57 H.261视频压缩算法 利用二维DCT减少图像的空间域的冗余度； 利用运动补偿预测减少图像的时间域冗余度；
利用视觉加权量化减少图像"灰度域"的冗余度； 利用熵编码来减少图像的"频率域"的冗余度。

58 H.261与MPEG-1的对比

59 MPEG-2 通用视频压缩标准 MPEG-2的标准号为ISO/IEC 13818，它主要由以下几部分组成：
MPEG-2系统（ MPEG-1 Systems ） MPEG-2视频编码标准（MPEG-2 Video） MPEG-2音频编码标准（MPEG-2 Audio） MPEG-2高级音频编码标准（MPEG-2 AAC） 与MPEG-1一样，MPEG-2只规定了码流结构和解码器算法规则，而把实际编码器模型向设计者开放，以提供更多的选择性和自由度。

60 MPEG-2 Video （1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。
MPEG-2 Video与MPEG-1的基本编码算法相同，只是增加了如下功能： （1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。 （2）处理隔行扫描的视频信号的能力。 （3）多样化的取样模式：4:2:0，4:2:2，4:4:4 （4）可伸缩（Scalable）的视频编码模式： Ⅰ 编码时可以在图像质量和数据速率之间作出调整 Ⅱ 解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质量的重建图像。

61 可伸缩性编码模式 （1）信噪比伸缩性（Signal-to-Noise Scalability）
（2）空间分辨率伸缩性（Spatial Scalability） （3）时间分辨率伸缩性（Temporal Scalability）

62 MPEG-2 Video 为了适应不同应用的需要，MPEG-2引入了配置（profiles）和等级（levels）的概念，每种配置定义一套新的算法，而每一个等级指定一套参数范围(如图像大小、帧速率和位速率)。

63 MPEG-2 Video MPEG-2的配置 配置（profile） 特征 简单(Simple) 基本(Main) 信噪比可变
4:2:0取样，仅用I、P帧，支持随机存取，不支持可伸缩性 基本(Main) 以上参数，加上支持B帧 信噪比可变 以上参数，加上信噪比可变性 空间分辨率可变 以上参数，加上空间分辨率可变性 高档(High) 以上参数，4:2:2采样方式

64 MPEG-2 Video MPEG-2的等级 等级（level） 特征 低级（Low） 基本级（Main） 高级（High）1440
352×288，30帧/s，1.2Mb/s 基本级（Main） 720×576，30帧/s，4~15Mb/s 高级（High）1440 1440×1152，60帧/s，60Mb/s 高级（High） 1920×1152，60帧/s，80Mb/s

65 MPEG-2 Video MPEG-2的配置与等级的组合 配置 Profile 等级 低 中 高1440 高1920 简单 ● 基本 信噪比
空间 高

66 MPEG-2 Audio MPEG-2标准委员会定义了两种声音数据压缩格式：
（1）MPEG-2 Audio，或者称为MPEG-2多通道(Multichannel)声音，它与MPEG-1 Audio是兼容的，所以又称为MPEG-2 BC (Backward Compatible)。 （2）另一种称为MPEG-2 AAC (Advanced Audio Coding)，因为它与MPEG-1声音格式不兼容，因此通常称为非后向兼容MPEG-2 NBC(Non-Backward-Compatible)标准。

67 MPEG-2 BC Audio MPEG-2 BC Audio和MPEG-1 Audio标准都使用相同种类的编译码器，层-1, -2和-3的结构也相同。MPEG-2声音标准与MPEG-1标准相比，MPEG-2做了如下扩充： (1)增加了16 kHz, kHz和24 kHz采样频率 (2)扩展了编码器的输出速率范围，由32～384 kb/s扩展到8～640 kb/s (3)增加了声道数，支持5.1声道和7.1声道的环绕声。 (4)MPEG-2还支持Linear PCM(线性PCM)和Dolby AC-3(Audio Code Number 3)编码

68 MPEG-2 AAC AAC支持的采用频率可从8 kHz到96 kHz，AAC编码器的音源可以是单声道的、立体声的和多声道的声音。AAC标准可支持48个主声道、16个低频音效加强通道LFE (low frequency effects)、16个配音声道(overdub channel)或者叫做多语言声道(multilingual channel)和16个数据流。MPEG-2 AAC在压缩比为11:1，即每个声道的数据率为(44.1×16 )/11=64 kb/s，而5个声道的总数据率为320 kb/s的情况下，很难区分还原后的声音与原始声音之间的差别。与MPEG的层2相比，MPEG-2 AAC的压缩率可提高1倍，而且质量更高，与MPEG的层3相比，在质量相同的条件下数据率是它的70％。

69 H.262 标准 ITU-T 于1990年成立了“ATM视频编码专家组”，负责制定适用于B-ISDN信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建议草案（MPEG-2），用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。该标准向下兼容，能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩。

70 H.263/H.263+/H.264 这些标准的编解码框架与H.261和MPEG-1类似，也是基于混合编码的方案，只是做了如下改进以大幅度降低码率： 1、先进的帧内编码技术 2、灵活的运动补偿技术： （1）匹配块尺寸可变（16×16、 16×8、 8×16、 8×8、 8×4、 4×8、 4×4 ） （2）运动矢量可精确到1/2或者1/4象素 （3）多参考帧预测 （4）无约束运动矢量 3、先进的去块滤波技术 4、整数DCT变换 。。。。。。。

71 MPEG-4 视频压缩标准 MPEG-4从1994年开始工作，目标是为视听(audio-visual)数据的编码和交互播放开发算法和工具，它是一个数据速率很低的多媒体通信标准。MPEG-4 算法的核心是支持基于内容的(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。

72 MPEG-4 视频压缩标准

73 MPEG-4 视频压缩标准

74 MTI XIDIAN 结束