第5章 数字视频 (3).

Slides:



Advertisements
Similar presentations
对本书、视频等任何 MATLAB 问题,作者做到有问必答! 你买的不仅仅是书,更是一种 “ 有问必答 ” 的服务!
Advertisements

第二章 函数微分学 §2.3 函数的微分 本节内容 一.微分的定义 二.微分的几何意义 三.微分公式与运算法则.
「我是剪輯&簡報達人」 --電影教學法在語文領域之應用
第六章 多媒体辅助教学系统 一、多媒体基本概念
北京大学数字视频编解码技术国家工程实验室 AVS标准工作组,AVS产业技术创新战略联盟
计算机组成原理 (第二版) 华中科技大学出版社.
MPEG Family.
第十章:流媒体 《多媒体通信》.
国家数字版权研究基地揭牌仪式暨“数字版权保护的困境与对策”论 坛
第二章 多媒体数据压缩编码技术.
图形和图形软件 学习目标: 定义位图和矢量这两个概念 列出位图和矢量图像的所有标准文件格式 辨别四种将图形文件载入计算机的方法
第 9 章 多媒體.
6.1 概述 6.2 信源编码与压缩技术 6.3 信道编码与调制技术
本投影片檔案僅供本書上課教師使用,非經作者同意請勿拷貝或轉載,謝謝。
第一次作业知识讲解 我和我的小伙伴们 薛坚、黄进 杨军裕、刘旭宁、李启宏.
第一章 多媒体概述 计算机系 李 妍 2017/3/13.
TS-251A / TS-451A Turbo NAS 2016 Global Seminar 按一下以編輯母片標題樣式 絕佳靈活性!
第4章 限失真信源编码 4.1 连续信源的熵和互信息 4.2 信息率失真理论 4.3 标量量化编码 4.4 矢量量化编码
多媒体通信技术 主讲教师:黄玉兰                学时:16.
第13章 电视新技术 13.1 高清晰度电视 13.2 数字电视 13.3 电视新技术的应用 13.4 投影电视机 世纪的电视.
網頁介面設計的基礎理論 講師:鄭靜怡 本教材內容出自於網頁界面設計藝術教程,人民郵電出版社.
常见的视频格式和播放软件.
第 9章 多媒体技术基础.
《多媒体应用基础》 第五章 数字视频处理技术 第5章 数字视频处理技术.
第七章 多媒体应用基础.
影视制作必备知识.
第1章 多媒体技术概述 多媒体技术及应用基础 计算机教学实验中心 2007.
第八章 多媒体技术基础.
主讲教师:陈丽婷 影视包装—Premiere 主讲教师:陈丽婷
數位影音剪輯教學 PowerDirector (威力導演)
目标 理解多媒体的基本概念、多媒体信息及技术的特点、多媒体技术的应用。掌握多媒体计算机系统的基本组成及简单原理。
张奇 复旦大学计算机科学技术学院 2011年5月 多媒体技术基础(第3版) 第14章 光盘存储器 张奇 复旦大学计算机科学技术学院 2011年5月.
第五章 視訊媒體.
数字媒体技术基础 (第6章 数字视频技术) 周苏 教授 浙江大学城市学院 QQ:
第十一章 影像與視訊壓縮.
第5章、視訊媒體.
Principle and Application of Digital Television
数字音频技术 曾兰芳 教育技术学院
數位家庭我的家 大導演開麥拉 社區大學電腦講師 黃仲銘
第7讲 多媒体网络 本讲概述: 本讲目标: 多媒体的网络应用 了解多媒体网络的应用要求 存储式音频/视频流 交互式的实时应用
視訊串流\Streaming Video Part-2-3 Compression Digital image/video
數位典藏之數位影像處理技術探討 雲端上的寶藏~ 國立新港藝術高中 蘇淵源.
Principle and Application of Digital Television
教學影片製作 一般電視製作方式 錄影節目製作考量 棚內vs. 棚外作業 現場直播 vs. 錄影 單機 vs. 多機作業 剪輯與後製作
電腦數位音樂介紹 11組 電機三 陳俊傑 吳岳庭.
多媒體元素.
Mpeg Family 簡介 第六組 B 呂孟庭 B 廖彥鈞.
視訊串流\Streaming Video Part-1 Multimedia on Computer Digital
第1讲 三维动画概述与关键帧动画 主讲:徐丽敏.
5.1 不同的視像屬性 5.2 常見的視像檔案格式 5.3 在視像檔案容量與質素之間取得平衡 5.4 按需要選擇視像檔案格式
習作2-1 題目+解答 紐約港 紐約中央公園 格陵蘭島.
第十三章 音频水印 13.1音频水印特点 13.2音频水印算法评价标准 13.3音频水印分类及比较
計算機概論 請老師填入姓名主講 課本:數位傳真2012 博碩文化出版發行.
常見的聲音格式 MP3 聲音格式:有鑑於WAV 聲音檔實在太大, 因此就產生了MP3 聲音格式。其利用MPEG 壓縮法將音樂進行失真性壓縮, 一段50 MB 左右的WAV 檔轉成MP3格式之後, 往往只剩下 4、5 MB。 雖然MP3 是採用失真性壓縮的演算法, 但還能維持不錯的音質, 一般人並無法聽出轉換前後的細微差別。同時也因為儲存空間大幅減少而廣受歡迎。
视频、动画信息的简单加工 陈 东 旭.
多媒體素材概要 圖片聲音和視迅.
數位影像壓縮 技術簡介 第四組 陳孝賢.
聲轉電信號.
网 站 设 计 与 建 设 Website design and developments
混合式浮水印技術應用於H.264/AVC 錯誤偵測及隱匿
第二章 多媒体的硬件和 软件环境的建立 返回.
第8章 DCT与JPEG编码 JPEG(Joint Photographic Experts Group联合图象专家组)是(ITU的前身)国际电话与电报咨询委员会CCITT与ISO于1986年联合成立的一个小组,负责制定静态图像的编码标准 1992年9月JPEG推出了ISO/IEC 10918标准(CCITT.
3 模拟信号的数字化传输 本章要点 抽样定理 脉冲编码调制(PCM) 调增量调制(ΔM) Δ-M、DPCM和数字音节压扩系统
VIDEO COMPRESSION & MPEG
谢谢你: 我只对编码部分整体的看了一边,理解很浅显,希望你看完之后能够帮我指正一下。
第四章 三维动画字幕软件COOL 3D 2.COOL 3D2.5 界面 1.三维动画:在xyz三维空间里建立的画面.
图像压缩标准JPEG.
第3章 数字编码 3.1 信源编码 3.2 信道容量 3.3 差错控制编码 3.4 几种差错控制编码简介 3.5 数字压缩编码
第9章 多媒体技术.
H.264畫框層級之快速模式決策方法 研究生:李明峰 指導教授:蔣依吾 博士 中山大學資訊工程學系
Presentation transcript:

第5章 数字视频 (3)

1. MPEG概述 2. MPEG-1视频的编码 3. MPEG-1视频的解码 内 容 1. MPEG概述 2. MPEG-1视频的编码 3. MPEG-1视频的解码 2018/11/17 南京大学多媒体技术研究所

1. MPEG概述

视频压缩编码的标准 ITU-T标准 ISO/IEC 国际标准 企业(公司)标准: AVI, QuickTime, RealVideo 用于ISDN视频会议的 H.261(Px64)标准 用于PSTN可视电话的 H.263标准 用于ATM/B-ISDN视频会议的 H.262标准 ISO/IEC 国际标准 用于VCD的ISO 11172(MPEG-1 video)标准 用于数字电视和DVD的ISO/IEC 13818(MPEG-2 video) 标准 用于交互式多媒体应用的视听编码标准 MPEG-4 企业(公司)标准: AVI, QuickTime, RealVideo 2018/11/17 南京大学多媒体技术研究所

视频压缩编码的国际标准 ITU-T MPEG H.261 H.26L MPEG-1 MPEG-4 Joint ITU-T/MPEG MPEG H.261 H.263 H.263+ H.263++ H.262/MPEG-2 H.26L MPEG-1 MPEG-4 84 86 88 90 92 94 96 98 00 02 04 MPEG-7 2018/11/17 南京大学多媒体技术研究所

MPEG -1标准 MPEG-1标准(ISO/IEC11172). 1992年发布。 用于1.5Mbps数据传输率的运动图像及其伴音的编码。主要应用于 VCD,MP3音乐等. MPEG-1在JPEG和H.261等优秀标准的基础上, 对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准. MPEG-1促进了大规模集成电路专用芯片的发展, 为多媒体技术和产品的繁荣立下了功劳。 2018/11/17 南京大学多媒体技术研究所

MPEG-1: 一系列 “第一” 第一个集成的视频/音频标准 : ISO/IEC 11172-1 (Systems), -2 (Video), -3 (Audio) 第一个定义“接收者”而不是“传送者”的视音频标准 第一个与视频格式无关的编码标准 (NTSC/PAL/SECAM) 第一个由几乎所有相关视/音频企业联合制定的标准 第一个纯软件标准 第一个包含软件实施的标准 2018/11/17 南京大学多媒体技术研究所

MPEG-1 的评价(应用) Video CD ( several tens million players sold in PR of China) “The” format of audio and video for PC Windows 95/NT/98 contain an MPEG-1 software decoder MPEG-1 Audio (recently, layer 3) is widely used for Web music Digital Audio Broadcasting (DAB) utilises MPEG-1 Audio (adopted in Europe and Canada) Lightweight MPEG-1 video cameras are on sale 2018/11/17 南京大学多媒体技术研究所

MPEG-1 Requirements 1 random access 2 fast forward/backward search (在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储 介质;可在N-ISDN、LAN等通信网络上传输) 1 random access 2 fast forward/backward search 3 reverse playback 4 A/V synchronization 5 robustness to errors 6 small encoding/decoding delay 7 editability 8 format flexibility 9 cost tradeoff 2018/11/17 南京大学多媒体技术研究所

MPEG-1的内容 ISO/IEC11172-1 : system-- audio,video,data等如何组织成一个复合的比特流;如何同步等. ISO/IEC11172-2 : video -- video 信号的压缩编码 ISO/IEC11172-3 : audio -- audio 信号的压缩编码 ISO/IEC11172-4 : Conformance testing -- MPEG-1的一致性测试 ISO/IEC11172-5 : Software simulation -- MPEG-1软件模拟 2018/11/17 南京大学多媒体技术研究所

MPEG -2标准 MPEG-2标准(ISO/IEC13818). 1994年发布。 主要针对数字电视特别是高清晰度电视(HDTV) 的视频及伴音信号,典型传输速率为10Mbps,与MPEG-1兼容,适用于1.5Mbps~60Mbps甚至更高速率的编码范围。 2018/11/17 南京大学多媒体技术研究所

MPEG -2标准(续) 以MPEG-2作为视音频压缩标准的数字卫星电视已在欧美形成了很大市场; 美国高级电视联盟(ATV Grand Alliance)和欧洲数字视频广播计划(Digital Video Broadcast Project)先后决定将MPEG -2用于高清晰度电视(HDTV)广播中; 新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美 、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。 2018/11/17 南京大学多媒体技术研究所

MPEG-2的评价(应用) Several tens of million set top boxes for satellite and cable have been sold Digital television VHF/UHF broadcasting More than xxx million DVD players sold The MPEG-2 4:2:2 profile is being adopted in the television production industry MPEG-2 has created the entirely new digital television industry worth ~30 billion USD 2018/11/17 南京大学多媒体技术研究所

MPEG -4标准 MPEG-4 标准(ISO/IEC l4496) . “Coding of audio-visual objects” 1999年5月形成国际标准(版本1), 2001-2002形成版本2,是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问) 主要目标 compression and manipulation of audio and visual objects, the web page paradigm applied to audio and video! 2018/11/17 南京大学多媒体技术研究所

MPEG -7标准 MPEG-7标准(ISO/IEC l5938). 2001年9月形成。它是“多媒体内容描述接口” (Multimedia Content Description Interface)的标准, 该标准将确定各种类型的多媒体信息的标准描述方法, 可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择,以及多媒体编辑等领域。 2018/11/17 南京大学多媒体技术研究所

MPEG -21标准 MPEG-21标准. (Multimedia Framework) 多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用,可通过大范围的网络和设备允许对多媒体资源的透明和增强使用 2018/11/17 南京大学多媒体技术研究所

2 MPEG-1视频的编码

视频压缩编码概述

视频流码率的计算 长×宽×量化位数×fps = bits/sec 压缩率 宽: pixels(160, 320, 640, 720, 1280, 1920, …) 长: pixels(120, 240, 480, 485, 720, 1080, …) 量化位数: bits (1, 4, 8, 15, 16, 24, …) fps: frames per second (5, 15, 20, 24, 30, …) 压缩率: (1, 6, 24, …) 2018/11/17 南京大学多媒体技术研究所

视频数据量 (3 bytes/pixel, 30 frames/sec) (压缩前,in gigabytes) (压缩后,每小时的数据量,in megabytes) 2018/11/17 南京大学多媒体技术研究所

视频应用与码率、分辨率的关系 MPEG-2 分辨率 MPEG-1 H.261 码率(Mb/s) 0 1 2 … 6 … 20 … HDTV CCIR601 CIF/SIF QCIF 0 1 2 … 6 … 20 … MPEG-2 MPEG-1 H.261 2018/11/17 南京大学多媒体技术研究所

视频数据压缩编码的依据 每一帧画面内部的信息有很强的相关性; 相邻画面之间有高度的相容性; 运动可以估测(Motion Estimation); 人眼的视觉特性有利于数据的压缩. 2018/11/17 南京大学多媒体技术研究所

视频压缩编码技术的评价准则 码率(bitrate) 重建图像的质量 编码/解码延时 错误修复能力 算法复杂程度 2018/11/17 南京大学多媒体技术研究所

MPEG-1视频压缩的基本方法 ① 在空间域: 采用JPEG(Joint Photographic Experts Group)压缩算法来去掉画面内部的冗余信息。 ② 在时间域: 采用运动补偿(motion compensation)算法来去掉画面之间的冗余信息。 2018/11/17 南京大学多媒体技术研究所

MPEG-1视频编/解码总框图 数字视频CCIR 601 预处理 压缩编码 存储 传输 解码 后处理 显示 和/或 2018/11/17 南京大学多媒体技术研究所

预处理与画面分类

CCIR 601(PAL)的预处理 720x576 Y 720x288 (SIF) U,V (SIF) 亚采样滤波器 -29 88 138 88 138 Y //256 i-3 i-2 i-1 i i+1 i+2 i+3 1 3 U,V //8 2018/11/17 南京大学多媒体技术研究所

MPEG-1画面预处理中的亚采样 2 采用亚采样降低分辨率 1 使用滤波器对亮度(色度)象素进行平滑处理: -29 88 138 Y 88 138 Y //256 i-3 i-2 i-1 i i+1 i+2 i+3 1 3 U,V //8 2 采用亚采样降低分辨率 亚采样前:10 12 20 30 35 15 19 11 11 19 26 45 80 90 92 90 平滑处理: 5923//256=23 亚采样后: 12 32 23 9 12 49 95 92 2018/11/17 南京大学多媒体技术研究所

画面的分类 Intra-picture ( I画面 ) Predicted-picture ( P画面 ) 不需要参考其它画面而独立进行压缩编码的画面; Predicted-picture ( P画面 ) 参考前面已编码的 I 或 P画面进行预测编码的画面; Bidirectional-picture ( B画面 ) 既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面 DC coefficient-picture ( D画面 ) 仅使用画面中每个块的 DC系数进行编码, 用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。 2018/11/17 南京大学多媒体技术研究所

MPEG 的画面组(GOP) 视频画面序列被分成一个一个画面组(Grupe Of Pictures, GOP) 每个GOP中至少包含一个I画面,可没有B画面,甚至没有P画面 2018/11/17 南京大学多媒体技术研究所

GOP(Group of Pictures) 画面的重新排序 B P I 1 2 3 4 5 6 7 8 9 10 例 GOP(Group of Pictures) 画面的显示顺序是: I B B P B B P B B P 1 2 3 4 5 6 7 8 9 10 画面的编码顺序是: I P B B P B B P B B 1 4 2 3 7 5 6 10 8 9 因此, 每一个GOP中的画面在编码前和解码后都必须重排序 2018/11/17 南京大学多媒体技术研究所

编码器结构及I画面的处理

MPEG-1编码器框图 调节器 DCT Q VLC M U X Q-1 IDCT + Buffer SIF格式的视频画面 q 差分画面 I画面独立编码,类似于JPEG 调节器 SIF格式的视频画面 画面缓冲 与重排 运动 估计 DCT Q VLC Buffer M U X Q-1 IDCT + 画面存储 及预测 预测画面 运动矢量 差分画面 视频比特流 q 解码的 P画面和B画面应进行运动估计,求出1~2个运动矢量 P画面和B画面采用帧间预测编码,被编码的是差分图象

MPEG-l 编码器的组成 运动估计与宏块类型( MTYPE)的选择, MQUANT(q)值的设置, 运动补偿预测, 量化和逆量化( dequantizer), DCT和 IDCT, 变长编码(VLC), 多路复用器 (MUX), 缓冲器及调节器. 2018/11/17 南京大学多媒体技术研究所

I 画面压缩编码的流程 2018/11/17 南京大学多媒体技术研究所

宏块及运动矢量

运动矢量 由于画面内容有连贯 性,因此当前画面的内 容可以看作是前面画 面部分内容的位移(运 动)。 运动矢量 2018/11/17 南京大学多媒体技术研究所

宏块的划分 画面各处的运动矢量(幅度、方向)各不相同,因此,画面应 细分成块(宏块),以宏块为单位,找出两帧画面中相应宏块 之间的位移关系——运动矢量 2018/11/17 南京大学多媒体技术研究所

宏块的大小与组成 宏块(macro block)的组成: 宏块有2种情况: 1 2 3 4 5 Y(16x16) U(8x8) V(8x8) 1 2 3 4 5 Y(16x16) U(8x8) V(8x8) 宏块有2种情况: 可预测宏块:与参考画面中的某个宏块有位移关系 不可预测宏块:与参考画面中的任何宏块都找不到位移关系 2018/11/17 南京大学多媒体技术研究所

可预测宏块 ( I or P picture) (P picture) (B picture) 被编码宏块 参考画面 Forward prediction: 前向预测宏块 ( I or P picture) (P picture) Bidirectional prediction: 双向预测宏块 (B picture) 参考画面 Motion vector 2018/11/17 南京大学多媒体技术研究所

I1(X)= [I0(X+MV0,1) +I2(X+MV2,1)]/2 可预测宏块的预测公式 设I(X)为位置X处的象素值;I1(X) 是画面1中的编码宏块象素的原始值, I1(X) 是它们的预测值; I0(X) 和I2(X)是参考画面0和画面1中宏块象素的值;MV0,1 和MV2,1分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。 宏块类型 预测公式 预测误差 内部宏块 I1(X)=128 I1(X) - I1(X) 前向预测宏块 I1(X)= I0(X+MV0,1) I1(X) - I1(X) 后向预测宏块 I1(X)= I2(X+MV2,1) I1(X) - I1(X) 双向预测宏块 I1(X)= [I0(X+MV0,1) +I2(X+MV2,1)]/2 I1(X) - I1(X) 2018/11/17 南京大学多媒体技术研究所

运动矢量的估计 预测编码画面 最佳匹配宏块 参考画面 搜索范围 编码宏块 运动矢量 2018/11/17 南京大学多媒体技术研究所

运动矢量估计算法 最佳匹配准则(“方差和”最小/“绝对误差和”最小): 基本原理: 结束 y 假设一个初始矢量 计算匹配度 是否最佳匹配 在搜索范围内调整运动矢量 n 最佳匹配准则(“方差和”最小/“绝对误差和”最小): 2018/11/17 南京大学多媒体技术研究所

MPEG-1的运动矢量估计 搜索范围 31 宏块 宏块 宏块 宏块 宏块 宏块 宏块 全面搜索(31x31) 方向搜索法 搜索范围(7种可选) 31,63,127,...,2047? 搜索精度(2种可选) 0.5 pel, 1 pel 搜索策略(自定) 全面搜索(31x31) 搜索次数=(31-16+1)2=256 方向搜索法 对数搜索法(31x31) 搜索次数=9x5=45 对偶搜索法 31 搜索范围 宏块 宏块 宏块 宏块 宏块 宏块 宏块 2018/11/17 南京大学多媒体技术研究所

方向搜索法 沿着最小失真方向 搜索,每一次检查 3-5个搜索点,搜索 步长固定。 4 5 3 2 1 2018/11/17 南京大学多媒体技术研究所

对数搜索法(3步搜索法) 2 3 1 搜索范围 每一步测试8个 搜索点, 并逐步 缩小搜索步长 4 2018/11/17 南京大学多媒体技术研究所

实验结果 变焦的镜头及其运动场 平移的镜头及其运动场 2018/11/17 南京大学多媒体技术研究所

P画面和B画面的编码

P画面宏块的类型及处理 pred-mcq pred-mc pred-m intra-q intra-d pred-cq pred-c 码块图表示宏块中有哪些子块的DCT系数为全0 修改量化标尺 不改量化标尺 pred-mcq pred-mc 使用码块图 不用码块图 pred-m 预测编码 帧内编码 运动矢量<>0 运动矢量=0 修改量化标尺 不改量化标尺 intra-q intra-d 预测编码 帧内编码 使用码块图 不用码块图 修改量化标尺 不改量化标尺 intra-q pred-cq pred-c skipped intra-d 计算运动矢量 (码块图 CBP = 32xP0+16xP1+8xP2+4xP3+2xP4+1xP5)

可预测编码宏块的处理过程 2018/11/17 南京大学多媒体技术研究所

B画面的编码 前向预测宏块 后向预测宏块 双向预测宏块 B画面编码:与P画面类似,但更复杂。例如: 宏块类型更多,可预测宏块可分成: 参加编码的运动矢量可能是1个或2个 D画面编码: 只取每一块的DC系数进行编码,全部是帧内编码,用于快速检索 2018/11/17 南京大学多媒体技术研究所

双向预测宏块的编码过程 运动矢量 2018/11/17 南京大学多媒体技术研究所

小结1: 编码器的主要操作 1.为 GOP中的 I画面、P画面和 B画面重新排序 2.为 P画面和 B画面中的每个 MB(宏块)估算运动矢量 3.确定每个 MB的宏块类型( MTYPE) 4.如果选择自适应量化的话,设置量化因子 MQUANT。 2018/11/17 南京大学多媒体技术研究所

小结2: I, P, B 三种画面的比较 压缩后,3种画面比特数目的比较: I>P>B 例如:I画面: 300 kb P画面:100-65 kb B画面:18-7 kb 关于B画面 优点:预测效果好,压缩效率高, 缺点:复杂,需要较大的缓冲器,增加了编码延迟。 2018/11/17 南京大学多媒体技术研究所

小结3:视频比特流的层次结构 随机存取单元 context 运动补偿单位 随机存取单元 video编辑单位 主编码单位 DCT单位 重新同步单位 2018/11/17 南京大学多媒体技术研究所

小结4: MPEG-1的视频数据流格式 bitrate, bufsize Seq … Sequence Layer GOP ... Seq SC Video Param Bitstream QT, misc GOP Layer bitrate, bufsize width, height, aspect ratio, picture rate Pict ... GOP SC GOP Param Time Code Picture Layer hours,minutes, seconds Slice ... PSC Type Buffer Param Encode Slice Layer I, P, B MB ... SSC QScale Vert Pos Macro-block Layer which line does this slice start on ? CBP b5 ... Addr Type Motion Vector QScale b0 Block Layer 2018/11/17 南京大学多媒体技术研究所

3. MPEG-1视频的解码

保存I画面及P画面,生成预测画面(P,B) 解码器框图与解码过程 IDCT输出的是I画面及P画面和B画面的预测画面 画面重排序,然后输出送显示器(帧速固定) 输入速率固定,但画面的数据量差别很大,必须要设缓冲 缓冲器 分 路 器 VLC 解码器 Q-1 IDCT 画面 重排 + 画面存储 与预测 视频比特流 宏块类型、画面类型 运动矢量 量化步长 重建的视频图象 预则画面+差分画面=重建的画面 分路器负责语法、语义检查,对宏块进行解码,解出运动矢量、宏块类型等 保存I画面及P画面,生成预测画面(P,B) 2018/11/17 南京大学多媒体技术研究所

缓冲器的设计 Buffer 假设 解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据; 必要性:平滑数据量/画面的波动,确保以固定帧频显示。 副作用:增加了解码延迟时间,增大了成本。 画面数据量与缓冲大小的关系。 Buffer 输入速率R 每隔1/P秒取1帧画面 B Bn 假设 解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据; 输入数据的速率为R,所以每1/P秒会向Buffer中输入R/P数据; 缓冲器容量为B,第n帧画面取走后其中留下的数据为Bn; 第n帧画面的数据量设为dn 2018/11/17 南京大学多媒体技术研究所

缓冲器的设计 Buffer 为了取第n+1帧画面时,不发生下溢,必须保证: Bn+R/P>=dn+1 (Bn+R/P)-dn+1 +R/P<=B, 即 dn+1 >=Bn+2R/P-B 所以,第n+1帧画面的数据量必须满足: Bn+2R/P-B<= dn+1<= Bn+R/P 2018/11/17 南京大学多媒体技术研究所

解码后的后处理 720x576 720x288 Y CCIR 601 U,V CCIR 601 resampling -12 140 256 140 256 1 3 Y U,V //256 //8 i-3 i-2 i-1 i i+1 i+2 i+3 2018/11/17 南京大学多媒体技术研究所

MPEG-1视频编码小结

MPEG-1 小结 特点: 是一种通用标准,它规定了编码视频流的表示语法和解码方法。该语法支持的操作有运动补偿预测、离散余弦变换(DCT)、量化和变长编码, 编码器设计具有灵活性(它没有定义产生合法数据流所需的详细算法;例如,对运动估计算法和压缩模式选择未作规定) 用于定义编码位流和解码器的一系列参数都包含在位流本身中。这就允许算法适用于不同大小和宽高比的画面,也可以用在工作速率范围很大的信道和设备上。 2018/11/17 南京大学多媒体技术研究所

MPEG-1 小结 缺点与不足: 16 x 16的宏块作为预测单位尺寸稍大 可能产生亚象素级的位移 物体的3D运动(如旋转)不易预测 摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化,预测有困难 B画面、P画面使编辑操作复杂化 仅适合 逐行扫描的视频信号的处理 2018/11/17 南京大学多媒体技术研究所