HDR制作、播出流程 索尼中国专业系统集团 创新业务开发本部 技术总监 王亚明 2018年5月19日,海口
4K HDR非实时录播制作流程 前期拍摄 后期制作/调色/合成 显 示 4K HDR 监视器 摄像机 分辨率:4K或更高 动态范围:大于13档光圈 伽玛:HDR伽玛(PQ、HLG、S-Log3等) 色域:BT.2020(或更大) 记录素材 分辨率:4K或更大 16比特RAW(HDR图像质量最好,数据量大) 10-12比特Log(对数)4:4:4或4:2:2文件 非线性制作系统 素材采集:支持RAW、对数文件,BT.2020或更大色域 制作空间:支持BT.2020或更大色域(如ACES) 输出(显示)空间:支持4K、HDR伽玛(PQ、HLG、S-Log3)、BT.2020色域 监视器 亮度:600尼特以上,最好1000尼特或更高 动态范围(对比度):至少10000:1,最好大于100000:1 伽玛:HDR伽玛(PQ、HLG、S-Log3等) 色域:BT.2020 波形监视器 支持4K、HDR/BT.2020色域显示 素材采集 SDI 前期拍摄 后期制作/调色/合成 显 示
曝光控制 PXW-Z580:设置SDR与HDR增益差,使SDR与HDR均获得正确曝光 HDR摄像机 建议增益差:-6dB(1档光圈) 以HD SDR为基准, 不改变摄像师工作习惯 HDR摄像机 建议比SDR正常曝光大1档光圈 3840x2160 XAVC-I 1920x1080 MPEG HD + Workflow Gamma / Color Space QFHD (3840×2160) HD (1920×1080) SR Live (HLG) HLG/2020 709/709 + SDR Gain SR Live (S-Log3) S-Log3/2020 Instant HDR SDR 709/709 4K HDR HD SDR Rec HDVF-EL20/EL30 QFHD signal SDR Gain Down Convert Master Gain value SDR gain:0 = Master Gain Value -1 -2 -3 SDR gain -15 Master ……. 15 steps X
制作系统的空间 如果把拍摄素材看成米,可以把制作空间看成锅,输出空间就是大小不同的碗 调色制作时制作空间这口锅必须足够大,即分辨率、量化比特和色域都要比米多比碗大,才能确保不损失有效信息 可以用小碗(高清SDR/709色域)、中碗(4K SDR/709或P3色域)或大碗(4K HDR/2020色域)从制作空间这口大锅里取得不同信息量的节目,满足不同需求 10/12比特对数 转16/32比特线性 16比特线性 转32比特线性 内部处理 16/32比特线性 16/32比特线性 转10/12比特对数 PQ/HLG/S-Log3 输入空间 制作空间 输出空间 10/12比特 对数伽玛文件 4K HDR 监视器 16比特线性伽玛 RAW文件 HD SDR 4K SDR 4K HDR S-Gamut/BT.2020 ACES/BT.2020 BT.709/P3/BT.2020 拍摄素材 RAW/4:4:4/4:2:2 8:8:8/4:4:4 4:2:2/4:2:0 成品 非线性制作系统
素材是米,制作空间是锅,输出(显示)空间是碗 空间比较(色域) 输入空间(素材) 制作空间(时间线) 输出空间(成品) G B W R 可见光范围 1.0 ACES G B W S-Gamut R ITU-BT.2020 DCI-P3 G ITU-R709 W R B 素材是米,制作空间是锅,输出(显示)空间是碗
HDR制作 – PQ(ST2084) 监视器选择与设置 制作系统设置 与SDR制作一样,判断PQ HDR图像质量的重要依据是监视器显示的画面 PQ HDR制作监视器的亮度越高越好。受技术条件限制目前4K HDR监视器只有1000和2000尼特的产品,4000尼特 HDR监视器分辨率为2K,建议使用1000尼特以上亮度的监视器 伽玛设置:PQ HDR,色域设置:BT.2020 亮度、伽玛和色域构成了监视器的显示空间,选择和设置的原则是监视器的显示空间与制作节目的空间一致, 制作PQ HDR节目时监视器必须设置为PQ/BT.2020空间 用1000尼特监视器制作的PQ HDR图像称为PQ1000,2000尼特监视器制作的称为PQ2000……其余以此类推 制作系统设置 根据拍摄素材类型选择输入空间(伽玛/色域) 原则:输入空间与拍摄素材空间相同,例如拍摄素材是线性伽玛RAW/S-Gamut色域时采集输入空间必须设置为线性伽 玛RAW/S-Gamut色域,拍摄素材是对数伽玛S-Log3/BT.2020色域时采集输入空间必须设置为S-Log3/BT.2020色域 根据拍摄素材、需求、制作习惯选择工作(时间线)空间 原则:制作系统的工作空间应大或等于拍摄和输出空间(如ACES或BT.2020色域),工作空间小于拍摄和输出空间时 会丢失信息 设置制作系统的输出空间使之与HDR监视器相同 设置输出空间的亮度、伽玛和色域与制作监视器相同。例如,使用1000尼特监视器时输出空间亮度应设置为1000尼特, 伽玛PQ,色域BT.2020 有些制作系统的显示空间可以独立设置,这时应设置显示空间与输出空间相同
HDR制作 – PQ(ST2084) 调色 元数据 电视机 在PQ HDR的亮度/彩色空间内 调色的目的是使监视器画面中需要表现的人物或主体灰度、彩色正确,符合制作者的创作意图,观看舒适 PQ HDR再现的人物或主体亮度与SDR相同,仍然是几十尼特 与SDR相比,PQ HDR改变的是100尼特以上的峰值亮度,大部分高亮度区域的灰度层次和彩色都能再现 元数据 PQ伽玛制作的节目用HDR10或Dolby Vision播出/发布时需要单一场景静态元数据,包括: ST2086:监视器硬件性能,包括RGB基色坐标(色域),白色坐标,最大显示亮度,最小显示亮度 MaxFALL(maximum frame-average light level,最大帧平均亮度电平,简称FALL或平均亮度) MaxCLL(maximum content light level,最大内容亮度电平,简称CLL或最大亮度) 平均亮度是100尼特以下的人物或主体亮度,最大亮度是高光点的峰值亮度 FALL和CLL是描述节目内容亮度的信息,根据节目内容可选择FALL=100尼特、CLL=1000尼特或其它亮度组合 静态元数据不能由制作系统自动生成并传递,需要由节目制作者根据设备性能和节目内容手动设置后插入播出码流或 打包在成品节目文件里 Dolby Vision需要代表不同场景平均与最大亮度的动态元数据 Dolby Vision的动态元数据需要专用设备(如杜比的非实时CMU或实时HPU)检测节目电平自动生成,并与静态元数 据一起插入播出码流或打包在成品节目文件里 电视机 PQ只是EOTF,实际应用时必须配合元数据形成方案,例如HDR10(包括4K蓝光盘)或Dolby Vision 播出/传输用PQ制作的节目(HDR10或Dolby Vision)时要同时传输元数据 支持HDR10或Dolby Vision的HDR电视机接收到元数据后自动进入PQ HDR的“绝对亮度”显示模式
HDR制作 – HLG 监视器选择与设置 制作系统设置 调色 电视机 判断HLG HDR图像质量的重要依据是监视器显示的画面 伽玛设置:HLG HDR,色域设置:BT.2020 监视器系统伽玛值设置:根据BT.2020标准,监视器亮度为1000尼特时系统伽玛值为1.2,600尼特1.11,2000尼特1.33。 计算公式: γ = 1.2 + 0.42 Log10 (LW /1000) 式中, LW 为显示屏最高亮度 用1000尼特监视器制作的HLG HDR图像称为HLG1000,2000尼特监视器制作的称为HLG2000…其余以此类推 制作系统设置 根据拍摄素材类型选择输入空间(伽玛/色域) 根据拍摄素材、需求、制作习惯选择工作(时间线)空间 设置制作系统的输出空间使之与HDR监视器相同:伽玛HLG,色域BT.2020 调色 在HLG HDR的亮度/彩色空间内 调色的目的是使监视器画面中需要表现的人物或主体灰度、彩色正确,符合制作者的创作意图,观看舒适 HLG HDR再现的人物或主体亮度与SDR相同,仍然是几十尼特 与SDR相比, HLG HDR改变的是100尼特以上的峰值亮度,大部分高亮度区域的灰度层次和彩色都能再现 电视机 播出/传输HLG HDR节目时要同时传输HLG识别符 支持HLG HDR的电视机接收到HLG识别符后自动进入HLG HDR模式 依据上述系统伽玛计算公式,电视机厂商为不同亮度HLG电视机设置不同的系统伽玛值,自动调整了平均亮度 与传统的SDR电视一样,在HLG体系中,最高亮度电平对应不同亮度电视机的最高亮度
HDR中间母版格式S-Log3 除了用播出的PQ和HLG格式制作HDR节目, 还可以用电影行业常用的对数伽玛作为中间母 版格式制作HDR节目,例如索尼的S-Log3 索尼建议的HDR中间母版格式S-Log3是索尼 摄影机使用的OETF,支持4000%动态范围 可利用成像器件的全部动态范围 基于Cineon数字负片性能设计,与电影行业 的Cineon对数伽玛几乎完全相同 已经获得大多数后期制作设备支持,调色师也 非常熟悉 既适合制作中间母版,也适合10比特接口传输 S-Log3是一个把HDR制作化繁为简的工具, 制作者只需考虑图像质量,无需考虑播出格式 10-bit Code Value 光圈级数关系 18% 灰
HDR制作:S-Log3 监视器选择与设置 制作系统设置 调色 HDR格式转换 判断S-Log3 HDR图像质量的重要依据是监视器显示的画面 伽玛设置: S-Log3 ,色域设置:BT.2020 用1000尼特监视器制作的S-Log3 HDR图像称为S-Log3 1000,2000尼特监视器制作的称为S-Log3 2000…其余 以此类推 制作系统设置 根据拍摄素材类型选择输入空间(伽玛/色域) 根据拍摄素材、需求、制作习惯选择工作(时间线)空间 设置制作系统的输出空间使之与HDR监视器相同:伽玛S-Log3 ,色域BT.2020 调色 在S-Log3 HDR的亮度/彩色空间内 调色的目的是使监视器画面中需要表现的人物或主体灰度、彩色正确,符合制作者的创作意图,观看舒适 S-Log3 HDR再现的人物或主体亮度与SDR相同,仍然是几十尼特 与SDR相比, S-Log3 HDR改变的是100尼特以上的峰值亮度,大部分高亮度区域的灰度层次和彩色都能再现 HDR格式转换 S-Log3是用于制作的HDR中间母版格式,不用于播出 播出时用转换器把S-Log3转换成PQ或HLG,转换后亮度不变 S-Log3 1000转换成PQ后成为PQ1000,S-Log3 2000转换成PQ后成为PQ2000,其余以此类推…… S-Log3 1000转换成HLG后成为HLG1000,S-Log3 2000转换成HLG后成为HLG2000,其余以此类推……
SR-Live:4K HDR与SDR同播/双播制作系统 BPU-4000/4500 HDR HDR Processor SDR处理器增益比HDR处理器降低6dB (HDR电平的1/2),HDR与SDR曝光都合适 SDR Processor HDC-4300 SDR
直播:4K HDR与SDR同播/双播制作系统 双路输出 4K/HD HDR S-Log3/HLG/BT.2020 取景器 4K/HD HDR HDC-4300 HDC-4800 HDC-P43 BVM-X300 (4K HDR) SR-Live:一个视频工程师在SDR环境下能够进行调光与调色 HD SDR BT.709/709 gamma HD SDR VE BVM-E250 (HD SDR)
SR-Live:4K HDR与SDR同播/双播制作系统 索尼4K摄像机的基带处理器单元(BPU)支持多路数字信号处理引擎 可同时输出4K和高清信号,可将不同的OETF曲线分配到独立的输出格式上 使用一个摄像机系统同步制作的优势 图像的色调和观看效果能够在各种输出信号之间进行同步控制 对HDR和SDR输出信号的亮度电平进行优化调整 调整摄像机的光圈使SDR信号的白色基准电平相当于100%时HDR图像看起来对比度不足,如果将HDR信号的白电平扩展到200%左右SDR图像会过曝光 为解决这个问题索尼为摄像机系统研发了“SDR增益”调整功能,能够对HDR和SDR信号路径之间的差异进行设置,为每一路4K和高清信号完美地配置必须的亮度范围 在一般条件下,高亮度的拍摄场景应当使用相对较大的增益差值,昏暗的拍摄条件则最好选择较低的值 实际数值必须根据具体情况而确定,最常用的差值选择范围在-6dB 到-10dB之间 在多摄像机制作环境中设定SDR增益时,在所有的摄像机中应设置统一的SDR增益值,在实际拍摄过程中请勿更改SDR增益值 “SDR增益”性能的优势 视频工程师(VE)只要在拍摄前设定SDR和HDR信号路径之间适当的增益差,就能在普通SDR信号基础上进行实时图像调光操作 视频工程师可以根据自己之前进行高清节目制作时取得的经验和技巧使用高清波形监视器、SDR显示设备系统架构,确定制作图像的效果,节省设备投资
HDR制作、播出的几个问题
节目亮度和曝光(调光/调色)控制 HDR图像应该是什么样的 HDR调光/调色 与SDR相比, HDR改变的是100尼特以上的峰值亮度,大部分高亮度区域的灰度层次和彩色都能再现 HDR再现的人物或主体亮度与SDR相同,仍然是几十尼特,100尼特以下的图像与现有的高清SDR相近 大幅度提高平均亮度、亮瞎眼的图像是对HDR的误解 HDR调光/调色 HDR调光/调色的目的是使监视器画面中需要表现的人物或主体灰度、彩色正确,符合制作者的创作意图,观看舒适,赏心悦目 HDR调光/调色的难度比SDR大得多 高清SDR时代,制作出高质量高清SDR节目后下变换就可以得到高质量的标清节目 4K HDR时代,制作4K HDR节目后下变换得到的高清不一定是曝光准确的高质量节目 HDR的曝光容差比SDR大得多,只监看HDR不能保证下变换的SDR曝光正确 在SR Live直播流程中正确设置HDR与SDR增益差并精确控制SDR曝光量能同时得到高质量的HDR与SDR
SDR与HDR的比较 不同亮度HDR电视机显示图像的差别主要体现在100尼特以上的高亮度部分,100尼特以下的平均亮度差别不大 HDR电视100尼特以下的图像与现有的高清SDR相近 4000尼特 2000尼特 1000尼特 600尼特 HDR电视显示100尼特以上的高亮度部分 100尼特 亮度 100尼特电视机 600尼特电视机 1000尼特电视机 2000尼特电视机 4000尼特电视机
元数据管理 理想的HDR制作流程元数据管理 现状 元数据用途 元数据生成 元数据传输 摄像机 HDR元数据标识图像的色域、色温(白色坐标)、伽玛(OETF/EOTF),以便下级设备自动识别图像格式 下级设备(如监视器)依据元数据自动设置色域、色温、伽玛,避免设置错误 实时的SDI/IP接口和非实时的图像文件都需要处理元数据 元数据生成 摄像机:根据摄像机设置自动生成色域、色温、伽玛等元数据 制作:根据需求人工设置输出图像的色域、色温、伽玛、亮度等元数据 元数据传输 实时传输的SDI/IP接口依据统一的标准透传元数据 非实时文件依据统一的标准嵌入/解嵌元数据 现状 摄像机 演播室摄像机:目前还不能在SDI/IP信号接口中嵌入HDR元数据 部分摄录一体像机可在图像文件或元数据文件中记录色域、色温、伽玛(OETF) 实时传输:SMPTE正在修订VPID( Video Payload ID )标准,在SDI里加入伽玛、色域等元数据 文件传输:XAVC的MXF文件可设置伽玛、色域等元数据 目前还未实现从拍摄、制作、播出到显示的HDR元数据自动检测/设置
4K HDR制作流程中的元数据 实时直播 非实时录播 拍摄 制作 传输/分发 显示 SDI SDI 地面、卫星 有线电视、IPTV、OTT Video Payload ID SDI Video Payload ID SDI SDI 地面、卫星 HDR Flag Metadata XAVC MXF Metadata 有线电视、IPTV、OTT XAVC MXF Metadata 移动存储媒体 非实时录播 拍摄 制作 传输/分发 显示
4K HDR播出流程 播出/传输用PQ制作的HDR10或Dolby Vision节目时必须同时传输元数据 支持HDR10或Dolby Vision的HDR电视机/显示设备接收到元数据后自动进入PQ HDR的“绝对亮度”模式 播出/传输用HLG制作的HDR节目时必须同时传输HLG识别符 支持HLG的HDR电视机接收到HLG识别符后自动进入HLG HDR模式 依据HLG系统伽玛计算公式,电视机厂商为不同亮度的HLG电视机设置不同的系统伽玛值,可变伽玛自动调整 了电视机100尼特以下的平均亮度,使不同亮度电视机显示的平均亮度基本相同 4K HDR 监视器 SDI HEVC 编码 HEVC 解码 4K HDR 制作系统 播出 编码器 接收解码器 (机顶盒) HDR电视机 SDI HDMI 元数据/识别符 插入
SDR/HDR混合播出 HDR节目源不足 SDR/HDR混合播出的两种模式 开始HDR制作后需要时间积累经验、储备节目 因HDR节目源不足既要播出HDR节目也要播出SDR节目,SDR/HDR混合播出不可避免 SDR/HDR混合播出的两种模式 只播出HDR格式,SDR节目转换成HDR后播出 播出前非实时转换:在非线性制作设备上用软件把SDR转换成HDR格式 转换格式需要设备、人力和时间 即使把SDR节目转换成了HDR格式,实际画质仍然是SDR 播出时实时转换:用硬件把服务器播放的SDR节目实时转换成HDR格式播出 SDR/HDR节目储存在同一个播出服务器内,经过HDR转换器后播出 播出系统根据节目源自动控制HDR格式转换器,播出HDR格式时转换器为直通模式不做任何处理,播出SDR节目时转换为 HDR格式 问题:播出的部分“HDR”节目与SDR画质一样,可能会误导观众,认为HDR与SDR没什么差别 频道既播出SDR也播出HDR格式 SDR/HDR节目储存在同一个播出服务器内,不做格式转换,直接播出 播出SDR节目时不插入元数据/识别符,HDR电视机自动识别为SDR格式,显示SDR图像 播出HDR节目时插入HDR元数据/识别符,HDR电视机自动识别为HDR格式,显示HDR图像 播出系统应根据节目源自动控制播出码流中是否插入HDR元数据/识别符 如有必要可以像电视的立体声/环绕声一样,播出HDR节目时在画面边角处叠加“HDR”提示标志
小 结 高质量4K HDR制作的关键是选择符合技术标准的监视器 HDR需要提高显示亮度,但只提高显示亮度并不是HDR HDR监视器的亮度 电视机亮度是个容器,相当于车厢,车厢越大能够运输的货物越多 亮度灰阶信息相当于被运送的货物,车厢不够大运载不了足够多的货物 只提高显示亮度不增加亮度信息量相当于只增大车厢不增加货物,降低了观看舒适度,容易出现视觉疲劳 HDR监视器的亮度 根据目前HDR监视器、电视机的技术和产品水平以及ITU等国际组织的推荐,建议采用1000尼特HDR监视器制作节目 记录元数据 无论制作哪种HDR格式,必须记录监视器峰值亮度等性能数据 目前实时直播和非实时录播节目制作过程中传递元数据的技术标准尚未完成,需要制作者记录相关数据,用于HDR格式转换或播出 相信自己的眼睛 在符合标准的监视器上高质量4K HDR节目看起来一定是舒适的,看着不舒服的图像一定有问题 4K、HDR是基础显示技术,不只用于电视行业 应用于所有显示设备,小如手机、大如LED显示屏等
谢 谢!