第5章 数字视频 (3).

Presentation on theme: "第5章 数字视频 (3)."— Presentation transcript:

1 第5章 数字视频 (3)

2 1. MPEG概述 2. MPEG-1视频的编码 3. MPEG-1视频的解码
内 容 1. MPEG概述 2. MPEG-1视频的编码 3. MPEG-1视频的解码 2018/11/17 南京大学多媒体技术研究所

3 1. MPEG概述

4 视频压缩编码的标准 ITU-T标准 ISO/IEC 国际标准 企业(公司)标准: AVI, QuickTime, RealVideo
用于ISDN视频会议的 H.261(Px64)标准 用于PSTN可视电话的 H.263标准 用于ATM/B-ISDN视频会议的 H.262标准 ISO/IEC 国际标准 用于VCD的ISO 11172(MPEG-1 video)标准 用于数字电视和DVD的ISO/IEC 13818(MPEG-2 video) 标准 用于交互式多媒体应用的视听编码标准 MPEG-4 企业(公司)标准: AVI, QuickTime, RealVideo 2018/11/17 南京大学多媒体技术研究所

5 视频压缩编码的国际标准 ITU-T MPEG H.261 H.26L MPEG-1 MPEG-4
Joint ITU-T/MPEG MPEG H.261 H.263 H H.263++ H.262/MPEG-2 H.26L MPEG-1 MPEG-4 MPEG-7 2018/11/17 南京大学多媒体技术研究所

6 MPEG -1标准 MPEG-1标准(ISO/IEC11172). 1992年发布。
用于1.5Mbps数据传输率的运动图像及其伴音的编码。主要应用于 VCD，MP3音乐等. MPEG-1在JPEG和H.261等优秀标准的基础上, 对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准. MPEG-1促进了大规模集成电路专用芯片的发展, 为多媒体技术和产品的繁荣立下了功劳。 2018/11/17 南京大学多媒体技术研究所

7 MPEG-1: 一系列 “第一” 第一个集成的视频/音频标准 : ISO/IEC (Systems), -2 (Video), -3 (Audio) 第一个定义“接收者”而不是“传送者”的视音频标准 第一个与视频格式无关的编码标准 (NTSC/PAL/SECAM) 第一个由几乎所有相关视/音频企业联合制定的标准 第一个纯软件标准 第一个包含软件实施的标准 2018/11/17 南京大学多媒体技术研究所

8 MPEG-1 的评价(应用) Video CD ( several tens million players sold in PR of China) “The” format of audio and video for PC Windows 95/NT/98 contain an MPEG-1 software decoder MPEG-1 Audio (recently, layer 3) is widely used for Web music Digital Audio Broadcasting (DAB) utilises MPEG-1 Audio (adopted in Europe and Canada) Lightweight MPEG-1 video cameras are on sale 2018/11/17 南京大学多媒体技术研究所

9 MPEG-1 Requirements 1 random access 2 fast forward/backward search
(在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储 介质;可在N-ISDN、LAN等通信网络上传输) 1 random access fast forward/backward search 3 reverse playback A/V synchronization 5 robustness to errors 6 small encoding/decoding delay 7 editability format flexibility 9 cost tradeoff 2018/11/17 南京大学多媒体技术研究所

10 MPEG-1的内容 ISO/IEC : system－－ audio,video,data等如何组织成一个复合的比特流;如何同步等. ISO/IEC : video －－ video 信号的压缩编码 ISO/IEC : audio －－ audio 信号的压缩编码 ISO/IEC : Conformance testing －－ MPEG-1的一致性测试 ISO/IEC : Software simulation －－ MPEG-1软件模拟 2018/11/17 南京大学多媒体技术研究所

11 MPEG -2标准 MPEG-2标准(ISO/IEC13818). 1994年发布。
主要针对数字电视特别是高清晰度电视(HDTV) 的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼容，适用于1.5Mbps～60Mbps甚至更高速率的编码范围。 2018/11/17 南京大学多媒体技术研究所

12 MPEG -2标准（续） 以MPEG-2作为视音频压缩标准的数字卫星电视已在欧美形成了很大市场；
美国高级电视联盟(ATV Grand Alliance)和欧洲数字视频广播计划(Digital Video Broadcast Project)先后决定将MPEG -2用于高清晰度电视(HDTV)广播中; 新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美 、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。 2018/11/17 南京大学多媒体技术研究所

13 MPEG-2的评价(应用) Several tens of million set top boxes for satellite and cable have been sold Digital television VHF/UHF broadcasting More than xxx million DVD players sold The MPEG-2 4:2:2 profile is being adopted in the television production industry MPEG-2 has created the entirely new digital television industry worth ~30 billion USD 2018/11/17 南京大学多媒体技术研究所

14 MPEG -4标准 MPEG-4 标准(ISO/IEC l4496) . “Coding of audio-visual objects”
1999年5月形成国际标准(版本1), 形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问) 主要目标 compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video! 2018/11/17 南京大学多媒体技术研究所

15 MPEG -7标准 MPEG-7标准(ISO/IEC l5938).
2001年9月形成。它是“多媒体内容描述接口” (Multimedia Content Description Interface)的标准, 该标准将确定各种类型的多媒体信息的标准描述方法, 可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。 2018/11/17 南京大学多媒体技术研究所

16 MPEG -21标准 MPEG-21标准. (Multimedia Framework)
多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用，可通过大范围的网络和设备允许对多媒体资源的透明和增强使用 2018/11/17 南京大学多媒体技术研究所

17 2 MPEG-1视频的编码

18 视频压缩编码概述

19 视频流码率的计算 长×宽×量化位数×fps = bits/sec 压缩率
宽: pixels(160, 320, 640, 720, 1280, 1920, …) 长: pixels(120, 240, 480, 485, 720, 1080, …) 量化位数: bits (1, 4, 8, 15, 16, 24, …) fps: frames per second (5, 15, 20, 24, 30, …) 压缩率: (1, 6, 24, …) 2018/11/17 南京大学多媒体技术研究所

20 视频数据量 （3 bytes/pixel, 30 frames/sec） (压缩前，in gigabytes)
(压缩后，每小时的数据量，in megabytes) 2018/11/17 南京大学多媒体技术研究所

21 视频应用与码率、分辨率的关系 MPEG-2 分辨率 MPEG-1 H.261 码率(Mb/s) 0 1 2 … 6 … 20 … HDTV
CCIR601 CIF/SIF QCIF … … … MPEG-2 MPEG-1 H.261 2018/11/17 南京大学多媒体技术研究所

22 视频数据压缩编码的依据 每一帧画面内部的信息有很强的相关性; 相邻画面之间有高度的相容性;
运动可以估测（Motion Estimation）; 人眼的视觉特性有利于数据的压缩. 2018/11/17 南京大学多媒体技术研究所

23 视频压缩编码技术的评价准则 码率(bitrate) 重建图像的质量 编码/解码延时 错误修复能力 算法复杂程度 2018/11/17
南京大学多媒体技术研究所

24 MPEG-1视频压缩的基本方法 ① 在空间域:
采用JPEG(Joint Photographic Experts Group)压缩算法来去掉画面内部的冗余信息。 ② 在时间域: 采用运动补偿(motion compensation)算法来去掉画面之间的冗余信息。 2018/11/17 南京大学多媒体技术研究所

25 MPEG-1视频编/解码总框图 数字视频CCIR 601 预处理 压缩编码 存储 传输 解码 后处理 显示 和/或 2018/11/17
南京大学多媒体技术研究所

26 预处理与画面分类

27 CCIR 601(PAL)的预处理 720x576 Y 720x288 (SIF) U,V (SIF) 亚采样滤波器 -29 88 138
88 138 Y //256 i i i i i i i+3 1 3 U,V //8 2018/11/17 南京大学多媒体技术研究所

28 MPEG-1画面预处理中的亚采样 2 采用亚采样降低分辨率 1 使用滤波器对亮度（色度）象素进行平滑处理： -29 88 138 Y
88 138 Y //256 i i i i i i i+3 1 3 U,V //8 2 采用亚采样降低分辨率 亚采样前： 平滑处理： 5923//256=23 亚采样后: 2018/11/17 南京大学多媒体技术研究所

29 画面的分类 Intra-picture ( I画面 ) Predicted-picture ( P画面 )
不需要参考其它画面而独立进行压缩编码的画面; Predicted-picture ( P画面 ) 参考前面已编码的 I 或 P画面进行预测编码的画面; Bidirectional-picture ( B画面 ) 既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面 DC coefficient-picture ( D画面 ) 仅使用画面中每个块的 DC系数进行编码, 用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。 2018/11/17 南京大学多媒体技术研究所

30 MPEG 的画面组(GOP) 视频画面序列被分成一个一个画面组(Grupe Of Pictures, GOP)
每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面 2018/11/17 南京大学多媒体技术研究所

31 GOP(Group of Pictures)
画面的重新排序 B P I 例 GOP(Group of Pictures) 画面的显示顺序是: I B B P B B P B B P 画面的编码顺序是: I P B B P B B P B B 因此, 每一个GOP中的画面在编码前和解码后都必须重排序 2018/11/17 南京大学多媒体技术研究所

32 编码器结构及I画面的处理

33 MPEG-1编码器框图 调节器 DCT Q VLC M U X Q-1 IDCT + Buffer SIF格式的视频画面 q 差分画面
I画面独立编码,类似于JPEG 调节器 SIF格式的视频画面 画面缓冲 与重排 运动 估计 DCT Q VLC Buffer M U X Q-1 IDCT + 画面存储 及预测 预测画面 运动矢量 差分画面 视频比特流 q 解码的 P画面和B画面应进行运动估计,求出1~2个运动矢量 P画面和B画面采用帧间预测编码,被编码的是差分图象

34 MPEG-l 编码器的组成 运动估计与宏块类型( MTYPE)的选择, MQUANT(q)值的设置, 运动补偿预测,
量化和逆量化( dequantizer), DCT和 IDCT, 变长编码(VLC), 多路复用器 (MUX), 缓冲器及调节器. 2018/11/17 南京大学多媒体技术研究所

35 I 画面压缩编码的流程 2018/11/17 南京大学多媒体技术研究所

36 宏块及运动矢量

37 运动矢量 由于画面内容有连贯 性,因此当前画面的内 容可以看作是前面画 面部分内容的位移(运 动)。 运动矢量 2018/11/17
南京大学多媒体技术研究所

38 宏块的划分 画面各处的运动矢量(幅度、方向)各不相同，因此，画面应 细分成块(宏块)，以宏块为单位，找出两帧画面中相应宏块
之间的位移关系——运动矢量 2018/11/17 南京大学多媒体技术研究所

39 宏块的大小与组成 宏块(macro block)的组成: 宏块有2种情况： 1 2 3 4 5 Y(16x16) U(8x8) V(8x8)
1 2 3 4 5 Y(16x16) U(8x8) V(8x8) 宏块有2种情况： 可预测宏块:与参考画面中的某个宏块有位移关系 不可预测宏块:与参考画面中的任何宏块都找不到位移关系 2018/11/17 南京大学多媒体技术研究所

40 可预测宏块 ( I or P picture) (P picture) (B picture) 被编码宏块 参考画面
Forward prediction: 前向预测宏块 ( I or P picture) (P picture) Bidirectional prediction: 双向预测宏块 (B picture) 参考画面 Motion vector 2018/11/17 南京大学多媒体技术研究所

41 I1(X)= [I0(X+MV0,1) +I2(X+MV2,1)]/2
可预测宏块的预测公式 设I(X)为位置X处的象素值；I1(X) 是画面1中的编码宏块象素的原始值, I1(X) 是它们的预测值； I0(X) 和I2(X)是参考画面0和画面1中宏块象素的值；MV0,1 和MV2,1分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。 宏块类型 预测公式 预测误差 内部宏块 I1(X)=128 I1(X) - I1(X) 前向预测宏块 I1(X)= I0(X+MV0,1) I1(X) - I1(X) 后向预测宏块 I1(X)= I2(X+MV2,1) I1(X) - I1(X) 双向预测宏块 I1(X)= [I0(X+MV0,1) +I2(X+MV2,1)]/2 I1(X) - I1(X) 2018/11/17 南京大学多媒体技术研究所

42 运动矢量的估计 预测编码画面 最佳匹配宏块 参考画面 搜索范围 编码宏块 运动矢量 2018/11/17 南京大学多媒体技术研究所

43 运动矢量估计算法 最佳匹配准则(“方差和”最小/“绝对误差和”最小): 基本原理: 结束 y 假设一个初始矢量 计算匹配度 是否最佳匹配
在搜索范围内调整运动矢量 n 最佳匹配准则(“方差和”最小/“绝对误差和”最小): 2018/11/17 南京大学多媒体技术研究所

44 MPEG-1的运动矢量估计 搜索范围 31 宏块 宏块 宏块 宏块 宏块 宏块 宏块 全面搜索(31x31) 方向搜索法
搜索范围(7种可选) 31,63,127,...,2047? 搜索精度(2种可选) 0.5 pel, 1 pel 搜索策略(自定) 全面搜索(31x31) 搜索次数=( )2=256 方向搜索法 对数搜索法(31x31) 搜索次数=9x5=45 对偶搜索法 31 搜索范围 宏块 宏块 宏块 宏块 宏块 宏块 宏块 2018/11/17 南京大学多媒体技术研究所

45 方向搜索法 沿着最小失真方向 搜索，每一次检查 3-5个搜索点，搜索 步长固定。 4 5 3 2 1 2018/11/17
南京大学多媒体技术研究所

46 对数搜索法（3步搜索法） 2 3 1 搜索范围 每一步测试8个 搜索点, 并逐步 缩小搜索步长 4 2018/11/17
南京大学多媒体技术研究所

47 实验结果 变焦的镜头及其运动场 平移的镜头及其运动场 2018/11/17 南京大学多媒体技术研究所

48 P画面和B画面的编码

49 P画面宏块的类型及处理 pred-mcq pred-mc pred-m intra-q intra-d pred-cq pred-c
码块图表示宏块中有哪些子块的DCT系数为全0 修改量化标尺 不改量化标尺 pred-mcq pred-mc 使用码块图 不用码块图 pred-m 预测编码 帧内编码 运动矢量<>0 运动矢量=0 修改量化标尺 不改量化标尺 intra-q intra-d 预测编码 帧内编码 使用码块图 不用码块图 修改量化标尺 不改量化标尺 intra-q pred-cq pred-c skipped intra-d 计算运动矢量 (码块图 CBP = 32xP0+16xP1+8xP2+4xP3+2xP4+1xP5)

50 可预测编码宏块的处理过程 2018/11/17 南京大学多媒体技术研究所

51 B画面的编码 前向预测宏块 后向预测宏块 双向预测宏块 B画面编码:与P画面类似，但更复杂。例如: 宏块类型更多，可预测宏块可分成:
参加编码的运动矢量可能是1个或2个 D画面编码: 只取每一块的DC系数进行编码，全部是帧内编码，用于快速检索 2018/11/17 南京大学多媒体技术研究所

52 双向预测宏块的编码过程 运动矢量 2018/11/17 南京大学多媒体技术研究所

53 小结1: 编码器的主要操作 1．为 GOP中的 I画面、P画面和 B画面重新排序 2．为 P画面和 B画面中的每个 MB（宏块）估算运动矢量
3．确定每个 MB的宏块类型（ MTYPE） 4．如果选择自适应量化的话，设置量化因子 MQUANT。 2018/11/17 南京大学多媒体技术研究所

54 小结2: I, P, B 三种画面的比较 压缩后，3种画面比特数目的比较： I＞P＞B 例如：I画面： 300 kb
P画面： kb B画面：18-7 kb 关于B画面 优点：预测效果好，压缩效率高， 缺点：复杂，需要较大的缓冲器，增加了编码延迟。 2018/11/17 南京大学多媒体技术研究所

55 小结3:视频比特流的层次结构 随机存取单元 context 运动补偿单位 随机存取单元 video编辑单位 主编码单位 DCT单位
重新同步单位 2018/11/17 南京大学多媒体技术研究所

56 小结4: MPEG-1的视频数据流格式 bitrate, bufsize
Seq … Sequence Layer GOP ... Seq SC Video Param Bitstream QT, misc GOP Layer bitrate, bufsize width, height, aspect ratio, picture rate Pict ... GOP SC GOP Param Time Code Picture Layer hours,minutes, seconds Slice ... PSC Type Buffer Param Encode Slice Layer I, P, B MB ... SSC QScale Vert Pos Macro-block Layer which line does this slice start on ? CBP b5 ... Addr Type Motion Vector QScale b0 Block Layer 2018/11/17 南京大学多媒体技术研究所

57 3. MPEG-1视频的解码

58 保存I画面及P画面，生成预测画面（P,B）
解码器框图与解码过程 IDCT输出的是I画面及P画面和B画面的预测画面 画面重排序，然后输出送显示器（帧速固定） 输入速率固定，但画面的数据量差别很大，必须要设缓冲 缓冲器 分 路 器 VLC 解码器 Q-1 IDCT 画面 重排 + 画面存储 与预测 视频比特流 宏块类型、画面类型 运动矢量 量化步长 重建的视频图象 预则画面+差分画面=重建的画面 分路器负责语法、语义检查，对宏块进行解码，解出运动矢量、宏块类型等 保存I画面及P画面，生成预测画面（P,B） 2018/11/17 南京大学多媒体技术研究所

59 缓冲器的设计 Buffer 假设 解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据;
必要性：平滑数据量/画面的波动，确保以固定帧频显示。 副作用：增加了解码延迟时间，增大了成本。 画面数据量与缓冲大小的关系。 Buffer 输入速率R 每隔1/P秒取1帧画面 B Bn 假设 解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据; 输入数据的速率为R,所以每1/P秒会向Buffer中输入R/P数据; 缓冲器容量为B,第n帧画面取走后其中留下的数据为Bn; 第n帧画面的数据量设为dn 2018/11/17 南京大学多媒体技术研究所

60 缓冲器的设计 Buffer 为了取第n+1帧画面时，不发生下溢，必须保证: Bn+R/P>=dn+1
(Bn+R/P)-dn+1 +R/P<=B, 即 dn+1 >=Bn+2R/P-B 所以，第n+1帧画面的数据量必须满足： Bn+2R/P-B<= dn+1<= Bn+R/P 2018/11/17 南京大学多媒体技术研究所

61 解码后的后处理 720x576 720x288 Y CCIR 601 U,V CCIR 601 resampling -12 140 256
140 256 1 3 Y U,V //256 //8 i i i i i i i+3 2018/11/17 南京大学多媒体技术研究所

62 MPEG-1视频编码小结

63 MPEG-1 小结 特点： 是一种通用标准，它规定了编码视频流的表示语法和解码方法。该语法支持的操作有运动补偿预测、离散余弦变换(DCT)、量化和变长编码， 编码器设计具有灵活性（它没有定义产生合法数据流所需的详细算法；例如，对运动估计算法和压缩模式选择未作规定） 用于定义编码位流和解码器的一系列参数都包含在位流本身中。这就允许算法适用于不同大小和宽高比的画面，也可以用在工作速率范围很大的信道和设备上。 2018/11/17 南京大学多媒体技术研究所

64 MPEG-1 小结 缺点与不足: 16 x 16的宏块作为预测单位尺寸稍大 可能产生亚象素级的位移 物体的3D运动(如旋转)不易预测
摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化，预测有困难 B画面、P画面使编辑操作复杂化 仅适合 逐行扫描的视频信号的处理 2018/11/17 南京大学多媒体技术研究所