北京大学数字视频编解码技术国家工程实验室 AVS标准工作组，AVS产业技术创新战略联盟

Presentation on theme: "北京大学数字视频编解码技术国家工程实验室 AVS标准工作组，AVS产业技术创新战略联盟"— Presentation transcript:

1 北京大学数字视频编解码技术国家工程实验室 AVS标准工作组，AVS产业技术创新战略联盟
黄铁军 北京大学信息科学技术学院数字媒体研究所 北京大学数字视频编解码技术国家工程实验室 AVS标准工作组，AVS产业技术创新战略联盟 2014年5月28日，厦门

2 提 纲 视频编码标准回顾 AVS+及产业化 AVS2标准制定完成 云时代的编码AVS3

3 提 纲 视频编码标准回顾 AVS+及产业化 AVS2标准制定完成 云时代的编码AVS3

4 视频编码技术研究60年 ** 这个图有问题！ ** 把编码发展的图放在这里，替代编码框图
思路：编码的极限、可能的原因人类视觉机理初步在静态图像的验证 国家需求 图中的直线是否可以改成曲线

5 视频编码标准30年：三代标准 ISO/IEC 的 ITU-T H.26X视频压缩标准 H.261, 2, 3, 3+,3++,4,5 中国
视频压缩：MPEG-1,2,4,AVC, HEVC 图像压缩：JBIG1/2, JPEG, JPEG2000 ITU-T H.26X视频压缩标准 H.261, 2, 3, 3+,3++,4,5 第一代标准 第二代标准 第三代标准 H.264 / MPEG-4 AVC HEVC H.265 2010~2013 中国 被动采用国际标准 MPEG-China AVS1 AVS2

6 ISO/IEC JTC1 MPEG MPEG ( Moving Picture Experts Group )运动图像专家组，即ISO/IEC JTC1/SC29/WG11 国际标准化组织和国际电工委员会第一联合技术组（ISO/IEC JTC1）第29分委会第11工作组 1988成立，每年四次会议，至今已开108次 现任中国代表团团长 黄铁军

7 ITU-T SG16 Study Group 16: 多媒体编码、系统与应用 WP 1/SG16 网络信号处理和话音终端
SG16负责制定各种多媒体标准，包括终端、架构、协议、安全、移动、互联和服务质量。面向会议系统，目录服务，语音、音频和视频编码，PSTN调制器和接口，传真终端，ICT可访问性等。 WP 1/SG16 网络信号处理和话音终端 WP 2/SG16   应用和系统 WP 3/SG16 媒体编码 Q 6/16 视觉编码 (又称VCEG) Q 7/16 System and coordination aspects of media coding Q 8/16 Generic sound activity detection Q 9/16 Embedded variable bit rate coding of speech signals Q 10/16 Speech and audio coding and related software tools

8 JVT 与 JCT-VC JVT JCT-VC H.265 HEVC

9 AVS标准 2002年06月21日，信息产业部科技司主持成立“数字视音频编解码技术标准化工作组”，12月发文批准
国内外会员单位上百家 至今已经举行48次会议 2004年9月20日，“AVS专利池管理委员会”成立，负责AVS专利池管理的非盈利组织作为执行机构 2005年5月25日，音视频产业联盟（AVS产业联盟）在人民大会堂成立，目前30多家企业会员，负责产业化 2012年3月，AVS工作组的专家在IEEE发起成立了IEEE AVS标准工作组（代号1857） 至今举行了11次会议 发布了三项标准

10 提 纲 视频编码标准回顾 AVS+及产业化 AVS2标准制定完成 云时代的编码AVS3

11 AVS路线图 AVS2 国际:IEEE P1857 国内：AVS新版国标 AVS+ 行标 GY/T 257-2012 面向移动通信的
广电总局科技司-工信部电子信息司 AVS技术应用联合推进组 面向移动通信的 AVS移动档 面向视频监控的 AVS伸展档 面向高清应用的AVS加强档 AVS国标 GB/T

12 2013年6月4日 AVS/AVS+颁布为IEEE 1857标准 2012年7月10日 AVS+ 广电行业标准 12

13 IEEE 1857a-2014 (Amendment 1 of video part)
IEEE (Video part) Published on Jun IEEE (Audio part) Published on Nov IEEE (System part) Published on Jan IEEE 1857a (Amendment 1 of video part) Published on Apr IEEE (Next Generation Video coding) PAR approved on Dec Developed. Under text reviewing IEEE (Mobile speech and audio coding ) IEEE (Content description) PAR approved on Dec Developing

14 AVS+增加的工具 - 图像级自适应加权量化AWQ 基于上下文的算术编码CBAC 场编码增强 编码控制 控制数据 变换/量化 量化后的
变换系数 基于上下文的算术编码CBAC - 解码器 反量化 反变换 熵编码 帧内 预测 环滤波 运动补偿 预测 帧内/帧间 运动 数据 运动估计 场编码增强

15 AVS+增加的工具 核心工具 次要工具 变换 – 16位整数 8x8变换 运动向量预测 量化与缩放 - 编码器处缩放 跳跃与编码块模式
量化与缩放 - 编码器处缩放 帧内预测 – 5种模式 运动补偿 – 16x16/16x8/8x16/8x8 ¼像素插值 – 4拍插值滤波器 去块效应 熵编码：由基于上下文的自适应变长码CAVLC替换为基于上下文的算术编码CBAC 次要工具 运动向量预测 跳跃与编码块模式 自适应扫描 加权量化（AWQ） 增强场编码（B-Direct、P-Skip） 技术名称 说明 1 高级熵编码CBAC(Context-based Arithmetic Coding) 算数编码，用于熵编码 2 图像级自适应加权量化AWQ(Adaptive Weighting Quantization) 自适应量化矩阵，用于DCT变换后系数的量化 3 同极性场跳过模式编码(P Field Skip) 隔行视频中，P帧Skip宏块的运动矢量推导 4 增强场编码技术(B field Enhanced) 隔行视频中，B帧Skip与Direct宏块的运动矢量推导

16 *与AVC/H.264 High Profile比较，AVS+稍占上风
AVS+客观性能评估：PSNR *与AVC/H.264 High Profile比较，AVS+稍占上风 高清序列 AVS+ vs.AVC HP AVS+ vs.AVS-P2 12M码率点 PSNR Y 花坛 0.37 0.45 快速转盘 0.39 0.20 篮球 -0.27 0.35 排球 0.26 0.50 秋叶 -0.37 0.43 旋转鸟笼 -0.03 0.40 平均 0.06

17 与AVC/H.264 High Profile比较，AVS+ 码率节省约5%，编码 时间为其70%
高清序列 AVS+ vs. H.264/AVC BD-rate Y BD-rate U BD-rate V 编码时间(%) 花坛 -15.21 -5.50 3.17 0.63 快速转盘 -19.69 -38.23 -31.52 0.67 篮球 4.25 19.15 28.18 0.78 排球 -7.20 -14.41 -14.48 0.64 秋叶 3.09 -7.54 -4.86 0.66 旋转鸟笼 -2.45 -3.78 -7.74 0.77 平均 -6.20 -8.38 -4.54 0.69 AVS+ vs. AVS-P2 BD-rate Y BD-rate U BD-rate V 花坛 -16.2 -12.1 -10.1 快速转盘 -12.6 -10.2 -9.9 篮球 -11.6 -11.2 -11.4 排球 -11.7 -11.0 -10.9 秋叶 -11.9 -12.7 -12.9 旋转鸟笼 -12.4 -12.0 -12.2 平均 -11.5 与AVC/H.264 High Profile比较，AVS+ 码率节省约5%，编码 时间为其70%

18 编解码图像质量相对于源图像的质量下降（百分数）
AVS+主观评价：评价结果 下表是劣化评分（百分数），可以看出，AVS+劣化程度比 H.264 HP高0.8%（平均），六个测试序列中各有三个超过对 方，总体平分秋色。 编码标准 参考软件 平均码率 编解码图像质量相对于源图像的质量下降（百分数） 花坛 快速转盘 男篮 女排 秋叶 旋转鸟笼 平均值 AVS-P2 Jizhun profile GDM2.1 (Jizhun) 11.603Mbps 13.0% 9.1% 9.6% 8.0% 28.7% 12.0% 13.4% AVS-P16 Guangbo profile (Guangbo) 11.561Mbps 11.9% 8.7% 6.8% 7.5% 26.9% 12.2% 12.3% H.264 High profile JM18.2 11.674Mbps 16.1% 8.4% 6.9% 18.4% 10.2% 11.5%

19 AVS+互联互通测试 为推动AVS/AVS+标准的产业化，建立完整的产业链，通过公开、公平、全面的测试，检验不同厂家产品的一致性、符合性、互联互通性、可扩展性 主办方：AVS标准工作组和AVS产业联盟 承办方：AVS工程检测中心 测试时间： 测试对象：国内外所有AVS相关的上下游及配套的软硬件产品和系统。

20 参加测试的编码器 上海国茂 数码视讯 博雅华录 柯维新 普天

21 参加测试的解码器及终端 REALTEK MSTAR 海思 数码视讯 广州高清视信 高斯贝尔 上海龙晶 松叶 金亚

22 编码芯片-AVS+编码芯片BH1200 AVS+编码芯片BH1200是国内第一颗AVS+专业编码芯片
高清或4路标清视频实时编码处理 支持帧编码模式和场编码模式 支持外接音频编码DSP 支持CBR, VBR码率控制方式 支持所有可变分块尺寸和1/4像素运动估计 支持场景变换检测 支持灵活可配的GOP格式 基于BH1200的AVS+嵌入式编码器

23 AVS+硬件编码器 2014年6月推出支持AVS+的硬编码器

24 目前支持AVS+的解码芯片 □ Realtek □华为海思 □ Mstar □ MTK □ Broadcom □联咏novatek
□海尔集成电路 正在研发 □高通 □ ST

25 目前AVS+正在应用 □央视的6套高清节目 □湖南电视台的卫视上星节目 □湖南全省的地面数字电视高清、标清播出 □上海高清上星节目
□北京高清上星节目

26 正在北美推动AVS+落地 □产业联盟的理事长单位朝歌公司在美国成立全资子公司 □ 扎根北美市场，以北美的华人服务为切入点
□ 以STB智能终端为主打产品，以自主开发的平台为基础，互联网服务特质的视频内容分发服务。 □已经和CNTV下属的未来电视公司签约合作，推动采用已经上星的所有AVS+节目通过互联网落地北美 □目前朝歌的智能终端采用海思和Realtek的芯片已经支持AVS+

27 提 纲 视频编码标准回顾 AVS+及产业化 AVS2标准制定完成 云时代的编码AVS3

28 视频压缩效率“倍增定律” 压缩比 600 300 150 50 1991 1994 2003 2013 2018 2023 第四代标准
MPEG NG ITU H.266 第三代标准 HEVC/H.265 AVS2 HD: 5Mbps SD:1Mbps 第二代标准 AVS1,VC-1 AVC/H.264 300 HD: 10Mbps SD: 2.5Mbps 第一代标准 HD: 20 Mbps SD:5Mbps 150 MPEG-1 MPEG-2 50 1991 1994 2003 2013

29 AVC/H.264 编码控制 变换/量化 - 逆量化& 反变换 熵编码 环路滤波 帧内预测 运动补偿 运动估计 输入视频信号 控制数据
量化变换因子 运动数据 帧内/帧间 编码控制 运动估计 变换/量化 - 输入视频信号 帧内预测 输出视频信号 划分成16x16的宏块 环路滤波

30 HEVC/H.265为例

31 HEVC/H.265的编码过程 变换编码 熵编码 预测编码 环路滤波 自适应 样点补偿

32 HEVC/H.265 High Efficiency Configuration Low complexity Configuration
Coding Unit tree structure (8×8 up to 64×64 luma samples) Prediction Units Transform unit tree structure (3 level max.) Transform unit tree structure (2 level max.) Transform block size of 4x4 to 32x32 samples (always square) Angular Intra Prediction (34 directions max.) DCT-based interpolation filter for luma samples (1/4-sample, 12-tap) Directional interpolation filter for luma samples (1/4-sample, 6-tap) Bi-linear interpolation filter for chroma samples (1/8-sample) Advanced motion vector prediction Context adaptive binary arithmetic entropy coding Low complexity entropy coding phase 2 Internal bit-depth increase (4 bits) X Transform precision extension (4 bits) Deblocking filter Adaptive loop filter

33 AVS2标准制定进展 目标 “在主流技术可实现的前提下，当重建视频主观质量相同时，至少在高清或更高分辨率下编码效率比AVS1的最好性能提高一倍以上。在主流配置下，编码效率优于最新的国际标准。”(AVS-N1924) AVS2 AhG小组成立 Working Draft Committee Draft (征求意见稿) 2014 IEEE 国家标准

34 AVS2比AVS+编码效率再翻一番 新一代高效视频编码框架 5-10% ~3-20% 6-10% ~10% ~3% 3-5% 1-3%
不同技术对性能增益的贡献 类型 编码工具 编码增益 帧结构 参考帧选择及管理 5-10% 块结构 递归编码单元划分 ~3-20% 帧内 预测 多方向帧内预测、短距离帧内预测等 6-10% 帧间 非对称预测、双向帧间预测、 DCT-IF插值滤波等 ~10% 变换 大块变换、非正方形变换、两级变换等 ~3% 熵编码 两级系数组编码、率失真优化量化 3-5% 环路 滤波 像素自适应补偿滤波 1-3% 新一代高效视频编码框架

35 AVS2—块划分结构

36 AVS2—块划分结构 Coding Tree Unit (CTU) 四叉树递归划分
分别将编码模式信息、预测信息、变换信息用 编码单元CU,预测单元PU 和变换单元TU表示

37 AVS2—块划分结构 CU 2Nx2N CU进一步包含： PU TU Prediction Unit (PU)
Intra: 2Nx2N, NxN Inter: 2Nx2N, NxN, symmetric, asymmetric Transform Unit (TU) 64x64 ~ 16x16 e.g. N=32 PU CU 2Nx2N TU

38 AVS2—块划分结构 灵活的划分方式更适合表示变化的图像内容

39 4-tap filter for 1/32 pixels
AVS2—帧内预测 33种预测模式 DC Planar Bilinear 30种预测方向 1/32精度子像素插值 4-tap filter for 1/32 pixels h(-1) h(0) h(1) h(2) [32-K]/128 [64-K]/128 [32+K]/128 K/128 Integer pixel 1/32 pixel K

40 AVS2—帧内预测 DC预测 Planar预测 较适于平坦区域的预测 根据周围像素生成一个平滑的曲面，边界区域也能有较好的预测效果 DC

41 AVS2帧内预测 帧内预测与变换(AVS2)

42 AVS2—帧间预测 帧间预测模式 对称预测 非对称预测 直接模式 跳过模式

43 Directional mode and distance for DMH
AVS2—帧间预测 双向预测B帧 前向、后向、对称、双向预测模式 一般化双向预测(F帧) 两个帧间预测块来自同一时域方向 预测精度进一步提高 方向性多假设预测 Directional mode and distance for DMH

44 AVS2—帧间预测 运动矢量预测 中值预测 渐进精度运动矢量预测：限制1/4像素MV预测范围

45 8-tap filter for 1/2 luma pixels 8-tap filter for 1/4 luma pixels
AVS2—帧间预测 插值滤波器 DCT-IF插值滤波器 8-tap filter for ½ luma pixels 8-tap filter for ¼ luma pixels 8-tap filter for 1/2 luma pixels h(-3) h (-2) h(-1) h(0) h (1) h (2) h (3) h (4) -1 4 -11 40 8-tap filter for 1/4 luma pixels h(-3) h(-2) h(-1) h(0) h(1) h(2) h(3) h(4) -1 4 -10 57 19 -7 3 Integer pixel 1/4 pixel 1/2 pixel 3/4 pixel

46 AVS2—变换 变换大小 变换核 2Nx2N, NxN, NSQT(Non Square Quad Tree) 整数DCT
LOT(Lapped Orthogonal Transform) 64 wavelet + 32DCT for 64x64 transform

47 AVS2—熵编码 系数扫描 分层扫描：变换块系数组(Coefficient Group ,CG)系数 算术编码引擎采用对数域概率模型
不需要乘法，可以只用移位和加法来实现 original domain logarithm domain

48 AVS2—环路滤波 去块效应滤波 像素自适应偏移(Sample Adaptive Offset) 在PU、TU边界进行滤波 基于边缘的SAO
…… sample value …… Band 0 Band 1 Band 2 Band 3 Band 30 Band 31

49 AVS2—初步性能测试 AVS2 vs. HEVC AVS2 vs. AVS1 (RM 5.0 vs. GDM 4.0 ) Y U V
Random Access −54.9% −50.6% −49.3% Random access Y U V UHD -9.0% -17.7% -19.6% 1080p -5.7% -13.4% -11.8% WVGA -8.5% -25.0% -25.3% WQVGA -7.9% -26.3% -28.7% 720p -9.8% -7.0% -9.4% Overall -8.0% -17.9% -19.0% All intra Y U V UHD -2.4% -5.1% -4.9% 1080p -3.1% -3.6% WVGA -7.1% -7.0% WQVGA -4.2% -7.4% -8.1% 720p -3.2% 0.5% -0.4% Overall -3.3% -4.5% -4.6%

50 AVS2-性能对比 AVS2S vs. HEVC 针对监控视频序列，编码效率再提升50% Crossroad Overbridge
SD, RA Y U V Crossroad -46.9% -64.2% -61.8% Office -30.3% -42.9% -42.5% Overbridge -69.6% -77.6% -75.4% Overbridge

51 AVS2场景视频编码效率比HEVC高一倍

52 提 纲 视频编码标准回顾 AVS+及产业化 AVS2标准制定完成 云时代的编码AVS3

53 AVS3：云编码标准

54 压缩比 600 300 150 50 1991 1994 2003 2013 2018 2023 AVS 云编码 第四代标准 MPEG NG
ITU H.266 第三代标准 HEVC/H.265 AVS2 HD: 5Mbps SD:1Mbps 第二代标准 AVS1,VC-1 AVC/H.264 300 HD: 10Mbps SD: 2.5Mbps 第一代标准 HD: 20 Mbps SD:5Mbps 150 MPEG-1 MPEG-2 50 1991 1994 2003 2013

55 > 压缩性能来源估计(倍数) × × × ~2 ~3 ~3 ~6 ~10 ~3 50倍 100倍 200倍 颜色空间变换
去除时间冗余 去除感知冗余 去除空间冗余 去除空间冗余 颜色空间变换 变换和比特分配 预测与运动估计 去除统计冗余 熵编码 ~2 ~3 ~3 ~6 ~10 ~3 50倍 100倍 200倍 1994 MPEG-2 2003 AVC/H.264, AVS1 2013 HEVC/H.265,AVS2 > × × ×

56 预测编码的作用 > 2000 Intra DCT变换 + 可变块尺寸 帧内预测 小波变换 替代 JPEG的DCT变换

57 预测（Prediction）的力量 JPEG 450:1=40KB HEVC 3600:1=5KB

58 群体相关性：预测的新维度

59 从群体图像中提取视觉单词 视觉单词 (未名湖碑石) 视觉 词典

60 视觉 词典 特征单词

61 利用视觉词典编码图像视频

62

63 视觉 词典 对象单词 (未名湖碑石)

64 视觉 词典 对象单词 (博雅塔)

65 纹理单词 (砂石路) 视觉 词典

66 利用视觉词典编码图像视频 视觉 词典 纹理单词 (树丛） 视觉单词 (天空） 视觉单词 (博雅塔) 纹理单词 (水面)
视觉单词 (未名湖碑石) 纹理单词 (水面) 视觉单词 (天空） 纹理单词 (树丛） 纹理单词 (砂石路) 视觉 词典

67 残差：稀疏编码+传统方法

68 AVS云媒体编码标准 视觉 词典 云计算时代大规模群体图像和视频 101101110110… 视觉单词 熵编码 预测编码 稀疏编码传统编码
待编码图像/视频 压缩码流 … 视觉单词 预测编码 熵编码 单词索引及投影参数 变换系数 运动向量… 稀疏编码传统编码 残差

69 AVS3云标准的解码过程 AVS3的革命： 1、有损解码（目前） 2、近保真解码 3、质量提升解码 视觉 词典 101101110110…

70 标清节目源，高清超高清解码 标清节目 解码器根据显示能力和网络能力 自动提升清晰度

71 AVS3:云媒体编码 基本功能：新一代有损编码标准 全新功能：减少编码损失的近保真解码 超清晰功能：
通过视觉词典提高预测效率，实现压缩效率翻倍乃至更高 全新功能：减少编码损失的近保真解码 允许解码器开放地从云中获得更多信息源，在不改变图像既有结构的情况下补充更多细节 超清晰功能： 根据显示能力，允许解码器利用云媒体资源最大限度地提高视觉质量 编码端和解码端都尽力而为，一劳永逸

72 总结 更高质量的、更大数量的视频需求与有限的带宽之间的矛盾长期存在。过去三十年，视频编码标准效率十年翻一番
AVS+作为面向高清电视的标准，已经有IEEE颁布为国际标准。软硬件产品和系统已经比较成熟 AVS2是刚刚完成的新一代标准，编码效率比AVS1提升一倍以上。在场景视频编码方法比同期的H.265/HEVC高一倍 面向云媒体时代，正在研究更高效率的图像和视频编码标准AVS3，思路领先国际

73 Q&A 谢谢！