第十章 运动图像压缩标准MPEG 10.1 从MPEG1到MPEG7:MPEG标准简述 10.2 MPEG的编码与实现过程

Slides:



Advertisements
Similar presentations
AVS视频编码标准 常丽娜 2004/12/06.
Advertisements

计算机网络课程总结 一、计算机网络基础 计算机网络定义和功能、基本组成 OSI/RM参考模型(各层的功能,相关概念, 模型中数据传输 等)
龙星课程—肿瘤生物信息学上机课程 曹莎
第二章 多媒体数据压缩编码技术.
数字视频技术 第七章 视频编码国际标准 2010年11月.
6.1 概述 6.2 信源编码与压缩技术 6.3 信道编码与调制技术
第2章 压缩编码技术.
MTI 多媒体技术 第七讲 XIDIAN 国际视频压缩标准简介.
多媒体通信技术 主讲教师:黄玉兰                学时:16.
第三章 数据类型和数据操作 对海量数据进行有效的处理、存储和管理 3.1 数据类型 数据源 数据量 数据结构
第10章 运动图像压缩标准MPEG 10.1 从MPEG1到MPEG7:MPEG标准简述 10.2 MPEG的编码与实现过程
第四次大作业 登陆学校图书馆网站的电子数据库
第十二章 基于DCT变换的 视频压缩编码原理
C++中的声音处理 在传统Turbo C环境中,如果想用C语言控制电脑发声,可以用Sound函数。在VC6.6环境中如果想控制电脑发声则采用Beep函数。原型为: Beep(频率,持续时间) , 单位毫秒 暂停程序执行使用Sleep函数 Sleep(持续时间), 单位毫秒 引用这两个函数时,必须包含头文件
第5章、視訊媒體.
Hadoop I/O By ShiChaojie.
第5章 数字视频 (3).
H.264/AVC视频编解码技术概念与实现.
面向对象建模技术 软件工程系 林 琳.
物体识别 3D建图 semantic mapping
张奇 复旦大学 计算机科学技术学院 2011年5月 多媒体技术基础(第3版) 第12章 MPEG视像 张奇 复旦大学 计算机科学技术学院 2011年5月.
存储系统.
管理信息结构SMI.
网络常用常用命令 课件制作人:谢希仁.
基于全方位视觉的多人体运动检测跟踪 利用全方位摄像机获取360˚ 的环境信息,在室内对多个人体目标进行实时运动检测。
第17章 网站发布.
彩色数字电视系统的颜色空间.
AM5728 视频输入端口VIP软件框架 广州创龙电子科技有限公司
数据挖掘工具性能比较.
CPU结构和功能.
整合思维导图的初中英语教学设计 主讲人:卢璐.
中国科学技术大学计算机系 陈香兰(0551- ) Spring 2009
多媒体技术 中南大学信息科学与工程学院 黄东军.
第3章 信息与信息系统 陈恭和.
工业机器人技术基础及应用 主讲人:顾老师
VIDEO COMPRESSION & MPEG
图片与视频数字化. 图片与视频数字化 图片分类 根据图片的构成元素来分 位图: 由像素组成,计算机按顺序存储每个像素点 的颜色信息的保存方式获得的图片。 位图放大后会模糊失真,存储空间相对较大。 矢量图: 由图元组成,通过数学公式计算获得的图片。 放大后不会失真,占用空间小。
C++语言程序设计 C++语言程序设计 第七章 类与对象 第十一组 C++语言程序设计.
现代教育技术应用 第六章 素材的加工与处理 第19讲 动画的类型和采集 单 位: 北京师范大学 作 者: 毛荷&王翠霞.
VisComposer 2019/4/17.
项目二:HTML语言基础.
实体描述呈现方法的研究 实验评估 2019/5/1.
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
电影海报设计 ——巧用“分层云彩”滤镜.
多媒体技术 中南大学信息科学与工程学院 黄东军.
§6.7 子空间的直和 一、直和的定义 二、直和的判定 三、多个子空间的直和.
音频处理及数字化.
_13简单的GDI绘图操作 本节课讲师——void* 视频提供:昆山爱达人信息技术有限公司 官网地址:
数据报分片.
Visual Basic程序设计 第13章 访问数据库
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
GIS基本功能 数据存储 与管理 数据采集 数据处理 与编辑 空间查询 空间查询 GIS能做什么? 与分析 叠加分析 缓冲区分析 网络分析
Photoshop处理数码照片的基本方法
图片与视频数字化. 图片与视频数字化 图片分类 根据图片的构成元素来分 位图: 由像素组成,计算机按顺序存储每个像素点 的颜色信息的保存方式获得的图片。 位图放大后会模糊失真,存储空间相对较大。 矢量图: 由图元组成,通过数学公式计算获得的图片。 放大后不会失真,占用空间小。
基于列存储的RDF数据管理 朱敏
视频的数字化.
3.8 局域网应用实例 某省劳动和社会保障网络中心组网实例 会议中心的无线组网实例.
高中信息技术基础_第五章音频视频图像信息加工
第8章 创建与使用图块 将一个或多个单一的实体对象整合为一个对象,这个对象就是图块。图块中的各实体可以具有各自的图层、线性、颜色等特征。在应用时,图块作为一个独立的、完整的对象进行操作,可以根据需要按一定比例和角度将图块插入到需要的位置。 2019/6/30.
数字图像处理 北京大学计算机研究所 陈晓鸥.
第十七讲 密码执行(1).
第十二讲 密码执行(上).
插入排序的正确性证明 以及各种改进方法.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
编程达人-- 从零开始学UI系列教程 第九节、布尔运算 先行者 YC.
香港城市大学 导师: 布礼文教授( Dr. L M Po ) 学生: 徐叙远 ( Xu Xuyuan )
§2 自由代数 定义19.7:设X是集合,G是一个T-代数,为X到G的函数,若对每个T-代数A和X到A的函数,都存在唯一的G到A的同态映射,使得=,则称G(更严格的说是(G,))是生成集X上的自由T-代数。X中的元素称为生成元。 A变, 变 变, 也变 对给定的 和A,是唯一的.
四路视频编码器 快速安装手册 1、接口说明 2、安装连接 3、软件下载 4、注意事项 编码器软件下载地址
第三章 图形的平移与旋转.
学习目标 1、什么是列类型 2、列类型之数值类型.
Presentation transcript:

第十章 运动图像压缩标准MPEG 10.1 从MPEG1到MPEG7:MPEG标准简述 10.2 MPEG的编码与实现过程 10.5 H.261与H.263

10.1从MPEG1到MPEG7:MPEG标准简述 10.1.1 视频压缩技术历史概述 10.1.1 视频压缩技术历史概述 视频能够压缩的根本原因在于视频数据具有较高的冗余度。压缩就是指冗余的消除,主要基于两种技术:统计学和心理 视觉。消除统计冗余的基本依据是视频数字化过程在时间和 空间上采用了规则的采样过程。视频画面数字化为规则的像 素阵列,其密集程度适于表征每点最高的空间频率,而绝大 多数画面帧包含非常少甚至不含这种最高频率的细节。

10.1.2 MPEG-1 MPEG-1标准 1992年公布,其任务是在一种可接受的质量下,把视频和伴音信号压缩到速率大约为1.5Mb/s或更高的单一的MPEG数据流。它可对SIF(标准交换格式)分辨率(NTSC制式为352×240;PAL制式为352×288)的图像进行压缩,每秒播放30帧,具有CD音质,图像质量基本与VHS家用录像机相当。 10.1.3 MPEG-2 它是一个直接与数字电视广播有关的高质量图像和声音编码标准。MPEG2所能提供的传输率在3~10Mbit/s之间,在NTSC制式下的分辨率可达720×486,可提供广播级的图像质量和CD级的音质。MPEG-2主要针对高清晰度电视(HDTV)所需要的视频及伴音信号,与MPEG-1兼容。

10.1.4 MPEG-4 MPEG-4旨在为视音频数据的通信、存取与管理提供一个灵活的框架与一套开放的编码工具。这些工具将支持大量的应用功能(新的和传统的)。 10.1.5 MPEG-7 MPEG-7既不同于基于波形压缩的表示方式如MPEG-1和MPEG-2,又不同于基于对象的表示方式如MPEG-4,而是将对各种不同类型的多媒体信息进行标准化描述,并将该描述与所描述的内容相联系,以实现快速有效的搜索。MPEG-7的功能与其他MPEG标准互为补充。

10.2 MPEG的编码与实现过程 MPEG的数据分为MPEG视频、MPEG音频和同步信号三个部分,视频流包含画面信息,音频流包含伴音信息,所有播放MPEG图像和伴音数据所需的时钟信息都包含在同步信号流中。 图10-1 MPEG的组成

10.2.1 MPEG编码的基本思想 MPEG数字视频编码技术实质上是一种统计方法。在时间和空间方向上,视频序列通常包含统计冗余度。MPEG压缩技术所依赖的基本统计特性为帧内与帧间的相关性,这里包含这样 一个设想:即在各连续帧之间存在简单的相关性平移运动。 图10-2 连续视频画面之间通常存在着较大的相关性

10.2.2 MPEG的流结构 MPEG为更好地表示编码数据,规定了一个分层的结构,自上到下分别是 : MPEG流(MPEG stream) 图像组(GOP,Group of Pictures) 图像(Image) 宏块(Macro block) 块(Block)

图10-3 MPEG流的分层结构

MPEG流(MPEG stream)包含音频流和视频流。视频流是由图像组(GOP)构成的图像序列,有表示开始的图像序列头和表示结束的图像终止码。 图像组(GOP)是为方便随机存取而加的,其结构和长度均可变。图像组是随机存取视频单位。一个GOP由一串IBP帧组成,起始为I帧。GOP的长度是一个I帧到下一个I 帧的间隔。 图像(Image)是独立的显示单位,也是基本编码单位。 宏块(Macro block)是进行运动补偿的基本单位。由一个1616像素的亮度信息和两个88像素的色度信息组成的块称为宏块。 块(Block)是由88像素组成的基本单位,是进行DCT运算的单位,块可分为亮度块或色度块(图10-4)。

图10-4 块可分为亮度块或色度块 图10-5 宏块是进行运动补偿的基本单位

10.2.3 信号的采样 在进行视频编码前, R、G、B信号需变换为亮度信号Y和色差信号Cb、Cr的形式(图10-6)。色差定义了颜色的两个方面—色调与饱和度,分别用Cr和Cb来表示。 图10-6 在编码前,RGB信号分解成Y,Cr和Cb信号分量

10.2.4 MPEG图像的类型 MPEG由三种类型的图像组成(如下图): I图(帧内图Intra Picture)是对整幅图像采用JPEG编码的图像,它是一个独立的帧,其信息由自身画面决定,不需要参照其他画面而产生,它是P图和B图的参考图。 P图(前向预测帧Predicted Picture),它参照前一幅I或P图像做运动补偿编码。 B图像(双向预测 Bidirectional Prediction),它参照前一幅和后一幅I或P图像做双向运动补偿编码。

10.2.5 MPEG的帧序列 一个典型的MPEG帧序列 图10-8 一个典型的MPEG帧序列

一个MPEG在解码播放时的实际帧序列 图10-9 MPEG在解码播放时的实际帧序列

10.2.6 运动预测与补偿 运动补偿算法是当前视频图像压缩技术中使用最普遍的方法之一。运动补偿工作于宏块一级,主要是消除预测图与插补图在时间上的冗余,以提高压缩比。运动补偿是一种预测,它不是对每个像素预测,而是以1616的图像宏块为单位的预测。 图10-10 运动补偿的例子

10.2.7 运动补偿编码器的结构 运动补偿预测编码器的结构如下图所示。图中应用了延迟时间可变的预测存储器。该存储器有一个帧的容量,一帧前的图像被存储起来。可以通过以宏块为单位,检测出画面中的运动部分。 图10-11 运动补偿预测编码器的结构示例

10.3 基于对象编码技术的MPEG-4 10.3.1 传统MPEG编码技术的局限 在传统的视频压缩中,以一连串的影像(image)为压缩对象,也就是对于一整张画面(帧frame)做数据压缩。如此会将整张画面不重要的部分(如单调的背景)也一起压缩进去而占有一定程度的数据量。另外,将图像固定地分成相同大小的块,在高压缩比的情况下会出现严重的块效应,即马赛克效应。 未能考虑信息获取者的主观意义与人类视觉系统(HVS,Human Visual System)主观特性,未能考虑事件本身的特性如具体含义、重要性以及后果等等,不能对图像内容进行访问、编辑和回放等工作; 缺乏一套有系统与有效率的标准。

10.3.2 何谓对象编码 基于对象编码,是指依赖于对视频场景中任意形状对象检测的编码机制。MPEG-4是目前基于对象编码机制,是对运动图像和伴音编码的算法。 图10-12 基于对象编码技术的场景示例

10.3.3 MPEG-4核心编码技术-AV对象 MPEG-4对AV对象的操作主要有: 2.允许组合已有的AV对象来生成复合的AV对象,并由此生成AV场景。 3.允许对AV对象的数据灵活地多路合成与同步,以便选择合适的网络来传输这些AV对象数据。 4.允许接收端的用户在AV场景中对AV对象进行交互操作。 5.MPEG-4支持AV对象知识产权与保护。

10.3.4 基于场景的对象分割与编码技术 MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来,然后针对不同对象采用相应编码方法,以实现高效压缩。 MPEG-4的编码理念是:在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象,分别编码后,再经过复用传输到接收端,然后再对不同的对象分别解码,从而组合成所需要的视频和音频,其过程如图所示。

10.3.5视频对象平面-VOP 我们根据人眼感兴趣的一些特性如形 状、运动、纹理等,将图像序列中每一帧中的场景,看成是由不同视频对象平面VOP (Video Object Plane)所组成,而同一对象连续的VOP称为视频对象VO。 VOP是视频场景的语法对象,除轮廓信息外,主要由亮度和,色度分量(Y,U,V)组成。VOP可以是任意形状,可由半自动分割来检测。 图10-14 为实现基于内容交互,人物由简单到复杂的轮廓物征提取

视频对象平面(VOP,Video Object Plane)是视频对象(VO)在某一时刻的采样,VOP是MPEG-4视频编码的核心概念。

10.3.6 运动估计与运动补偿技术 MPEG-4采用运动预测和运动补偿技术来去除图像信息中的时间冗余成分,而这些运动信息的编码技术可视为现有标准向任意形状的VOP的延伸。VOP的编码有3种模式,即帧内(Intra-frame) 编码模式(I-VOP),帧间(Inter-frame)预测编码模式(P-VOP),帧间双向 (Bidirectionally)预测编码模式(B-VOP) 。 图10-16 MPEG-4的运动预测和运动补偿技术

10.4基于内容的信息存取与MPEG-7 10.4.1 MPEG-7概述 10.4.2 MPEG-7:基于信息内容的搜索引擎

10.4.3 MPEG-7中的主要概念 数据(Data) 是用MPEG-7描述的视听资料,不考虑它们的存储、编码、显示、传输、媒介或技术。 特征(Feature) 指数据的特性。特征本身不能比较,而要用有意义的特征表示(描述子)和它的实例(描述值)。 描述子(Descriptor,D) 是特征的表示。它定义特征表示的句法和语义,可以赋予描述值。 描述值(Descriptor Value) 是描述子的实例。 描述模式(Description Scheme,DS) 说明其成员之间的关系结构和语义。

描述(Description) 一个描述由一个描述模式(结构)和一组描述值组成。 编码的描述(Coded Description) 是对已完成编码的描述,满足诸如压缩效率、差错恢复和随机存取的相关要求。 描述定义语言(Description Definition Language,DDL) 是一种允许产生新的描述模式和描述子的语言,允许扩展和修改现有的描述机制。

图10-18 MPEG-7应用的表示

10.4.4 MPEG-7的范围 MPEG-7是针对存储形式(在线、脱机)或流形式(如 Internet上的广播、推拉模型)的应用而制定的,并且可以在实时和非实时环境中操作。一个实时环境意味着当采集资料时,信息是与内容相关的。 下 图是MPEG-7处理过程的一种高度抽象示意图,用于解释MPEG-7的范围。它包括特征抽取(分析)、描述本身和搜索引擎(应用)。

10.5 H.261与H.263 H.261视频编码标准是CCITT(国际电报电话咨询委员会)的建议,这个建议支持实时动态图像的压缩编解码,应用目标是可视电话和电视会议。 H.263是ITU-T的关于低于64kb/s比特率的窄带通道视频编码建议,其目的是能在现有的电话网上传输活动图像。 H.263是在H.261建议的基础上发展起来的,其信源编码算法仍然是帧间预测/DCT混合编码,但H.263与H.261不同的是,它采用半象素的分辨率进行运动补偿,而且,H.263还提供了4种可协商选择的编码方法:无限制范围的运动矢量、基于语法的算法编码方法、先进预测和PB帧。