H264/AVC视频编解码技术概念与实现

整体规划 视频压缩编码标准H.264基本概念 参考代码JM的研究 从0开始，以一个H.264码流分析器的形式，解析H.264的压缩算法 高层语法解析 NAL解析 各层语法元素解析 由语法元素重建图像 参考代码JM的研究 整体规划

第一集：视频信息与压缩编码

一、人与世界的交互 从远古时代起，人类就在不断为适应环境、改造环境而艰苦斗争。其中 最为基础的前提就是利用感官对外界信息的获取 嗅觉：识别各种气味，辨别环境变化和食物、饮水的质量等 听觉：识别同类的联络信息和天敌等危险信号等 味觉：挑选最适宜的食物 触觉：制作与使用工具时非常重要 视觉：承担了超过70%的信息摄取的任务，对环境的变化做出最直接的 反映，是所有的感官中最重要的一种。 一、人与世界的交互

视觉信息的记录 后来人们不满足仅仅靠着口述来记录所看到的影像，而希望用更直观的 形式将其记录下来 壁画 近代绘画 照片 视频 原始图画 楔形文字、甲骨文等 象形文字 近代文字 现代文字 视觉信息的记录

最高效的信息记录方式——视频信息 经过多年的发展，视频已经成为记录和重现信息最为高效的方式，可以 在相对很短的时间内传递大量的信息。 视频通过其中每一帧的图像表达信息。 视频包含的音频可提供大量信息。 视频通过图像的运动、场景的变换提供信息。 综上，视频信息是最接近人的直观体验的信息表示方式。 最高效的信息记录方式——视频信息

二、视频信号的表示方法 组成视频的基本结构是一帧帧连续而关联的图像； 组成每一帧图像的基本结构是成平面紧密排列的像素； 每一个像素由颜色的三基色分别取不同的分量构成： R：Red - 红色分量 G：Green - 绿色分量 B：Blue - 蓝色分量 二、视频信号的表示方法

图像的颜色空间 RGB颜色空间 YUV颜色空间 RGB颜色空间常用于显示器系统 实际的编解码等视频处理中，YUV格式 比RGB格式更为常用 常见的图像格式如位图（bmp）格式以 RGB形式保存 实际的编解码等视频处理中，YUV格式 比RGB格式更为常用 YUV格式中，一个像素分别用亮度和色 度分量表示，每一个像素由一个亮度分 量Y和两个色度U/V组成 YUV格式中的亮度与色度分量可以与表 示的像素一一对应，也可以对色度分量 的数据进行采样，即色度分量少于亮度 分量 图像的颜色空间

YUV图像格式 YUV格式是实际视频处理阶段最为常用的格式之一 人的感官对亮度信息的敏感度远高于对色度信息

Y U V YUV 4：4：4格式

Y U V YUV 4：2：2格式

YUV 4：2：0格式

三、视频压缩编码 编码：将信息按照一定规则使用某种形式的码流表示与传输 常需要编码的信息：文字、语音、视频、控制信息等 视频编码的主要目的：数据压缩 动态图像的RGB/YUV表示，数据量极为巨大 存储空间和传输带宽完全无法满足像素格式视频保存传输的要求 三、视频压缩编码

图像的每个像素的三个颜色分量： R/G/B，每个颜色分量以8 bit（10 bit） 保存，每像素至少需要3 Bytes。 分辨率1280×720的一帧图像：2.76MB. 25frame/sec的视频，所需码率： 553Mb/sec。 1080p？ 4K？8K？ 视频信息巨大的数据量

视频信息为什么可以被压缩 数据量庞大的视频信号中，存在多种冗余 时间冗余：视频相邻的两帧之间内容相似，存在运动关系 空间冗余：视频的某一帧内部的相邻像素存在相似性 编码冗余：视频中不同数据出现的概率不同 视觉冗余：观众的视觉系统对视频中不同的部分敏感度不同 视频信息为什么可以被压缩

ITU-T ISO International Telecommunications Union - Telecommunication Standardization Sector（国际电信联 盟电信标准分局） VECG(Video Coding Experts Group):ITU-T下属的视频编码专家组 H.261/H263/H263+/H263++等 International Standards Organization（国际标准化组织） MPEG(Motion Picture Experts Group)：ISO下属的移动图像专家组 MPEG-1/MPEG-4等 视频编码标准化组织

H.264 / MPEG-4 AVC H.265/HEVC 20133 主流视频编码标准的发展

视频压缩编码的分类 基于波形的编码 基于内容的编码 特点：编码的数据针对每一帧图像包含的像素值，即采样像素的波形 方法：利用像素之间在时间与空间上的相关性，采用预测编码和变换编码结 合的的基于块的混合编码方法 代表：MPEG-1, MPEG-2, H.264, H.265等 基于内容的编码 特点：视频帧分成对应不同物体的区域，分别对其编码 方法：针对不同物体的形状、运动和纹理进行编码 代表：MPEG-4 视频压缩编码的分类

四、视频压缩编码的基本技术 预测编码：传输预测像素值与实际像素值之差，利用时间或空间相邻像 素之间较强的相关性 帧内预测：预测值与实际值位于同一帧内，用于消除图像的空间冗余 帧间预测：实际值位于当前帧，预测值位于参考帧，用于消除图像的时间冗 余 变换编码：将像素由空间域变换之频域，针对变换系数进行编码 可用于视频编码的正交变换：DCT变换、K-L变换等 熵编码：利用信源的统计特性进行压缩编码 常用方法：变长编码、算数编码 四、视频压缩编码的基本技术

下集预告：视频编码标准的技术发展