第 5 章 数字视频 (1)

内容 1. 视频基本知识 2. 数字视频 3. 数字视频的输入和输出 2018/12/26 南京大学多媒体研究所

一、视频的基本知识

1 什么是视频 内容随时间而变化, 伴随有与画面动作同步的声音(伴音), 1 什么是视频 视频(video)：随时间变化其内容的一组图象(24,25, 30帧/秒)，又叫运动图象或活动图象(motion picture)。 常见视频信号：电视，电影，动画等. 视频信号的特点： 内容随时间而变化, 伴随有与画面动作同步的声音(伴音), 人类接受的信息70%来自视觉, 其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。 视频信息的处理是多媒体技术的核心。 2018/12/26 南京大学多媒体研究所

电 视 电视是当代最有影响力的信息传播工具! 3种彩色电视制式: NTSC制(正交平衡调幅制), 美国、加拿大，台湾、日本、韩国、菲律宾等采用 PAL制(逐行倒相正交平衡调幅制), 德国、英国，中国、朝鲜等采用 SECAM制(顺序传送彩色与存储制), 法国、苏联及东欧国家采用. 2018/12/26 南京大学多媒体研究所

电视图象摄取,传输和重现的过程 拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。 在彩电信号传输中，用Y,C1, C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。 摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量 电视接收机把Y,C1, C2信号重新转换为R,G,B进行显示. 2018/12/26 南京大学多媒体研究所

光栅扫描(raster scan) 逐行扫描(progressive,计算机显示图象时采用) 隔行扫描(interlaced,电视图象采用) 奇数场 偶数场 1帧图像 2018/12/26 南京大学多媒体研究所

2 视频信号的空间特性 aspect ratio ( 4:3 or 16:9 ) vertical resolution 485 525 垂直回扫 水平回扫 (NTSC) 575 625 垂直回扫 水平回扫 (PAL) aspect ratio ( 4:3 or 16:9 ) vertical resolution 2018/12/26 南京大学多媒体研究所

视频信号的时间特性（1） 动作连贯性感觉的要求：帧频>=15f/s； 无闪烁感觉的要求：画面刷新速率必须>=每秒50次。 PAL制式： 帧频为25 帧/s, 场频50场/s； NTSC制式：帧频是30 帧/s, 场频是60场/s 电视扫描信号的行频： PAL：625 x 25 = 15.625 kHz ，周期为64μs ; NTSC：525 x 30 = 15.75 kHz，周期为63.5μs 2018/12/26 南京大学多媒体研究所

视频信号的时间特性（2） 模拟信号传输电视节目时的带宽： (4/3)*575 575 625 全屏光点总数: 575*(4/3)*575=440 kb (P) 484*(4/3)*484=310 kb (N) 视频信号最高频率: 440 k * 25/2 = 5.5MHz(P) 310 k * 30/2 = 4.65MHz(N) 模拟信号传输电视节目时的带宽： PAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz）， NTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。 2018/12/26 南京大学多媒体研究所

3 电视信号的彩色空间（1） 电视制式 C1的含义 C2的含义 NTSC I Q PAL U V CCIR601数字电视 Cr Cb 在彩色电视中，用Y、C1, C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。 C1，C2的含义与具体的电视制式有关: 电视制式 C1的含义 C2的含义 NTSC I Q PAL U V CCIR601数字电视 Cr Cb 2018/12/26 南京大学多媒体研究所

电视信号的彩色空间（2） YUV空间 (PAL) YIQ空间 (NTSC) 亮度分量 Y=0.3*R+0.59*G+0.11*B 色度分量 U=(B-Y)*0.493 色度分量 V=(R-Y)*0.877 YIQ空间 (NTSC) 色度分量 I=0.6*R-0.28*G-0.32*B 色度分量 Q=0.21*R-0.52*G+0.31*B (优点：与黑白电视兼容；有利于压缩信号带宽) 2018/12/26 南京大学多媒体研究所

电视信号的彩色空间（3） Y = (77/256)*R+(150/256)*G+(29/256)*B YCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。 Y值的额定范围在16-235之间， Cr和Cb在16-240之间，具体的转换公式如下： Y = (77/256)*R+(150/256)*G+(29/256)*B Cr=(131/256)*R-(110/256)*G-21/256)*B+128 Cb=-(44/256)*R-(87/256)*G+(131/256)*B+128 2018/12/26 南京大学多媒体研究所

电视信号的彩色空间（4） 使用Y、C1，C2彩色空间的优点： ①Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理； ②可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。 2018/12/26 南京大学多媒体研究所

4 彩色电视信号的若干形式 模拟形式： 数字形式： 模拟复合信号 模拟分量信号 模拟S-video信号 数字复合信号 数字分量信号 2018/12/26 南京大学多媒体研究所

（1）复合电视信号 复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号. 复合电视信号 适合于进行远距传输，其质量称为VHS（家用级)。 彩色空间转换 RGB => YUV 图象信号编码 信号复合 RGB YUV CVBS V Sync H Sync 复合电视信号 （模拟电视信号的编码） 2018/12/26 南京大学多媒体研究所

复合电视信号 为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。 CVBS = Y+a*U*Sin(Wsc*t) + b*V*Cos(Wsc*t) (Wsc 为副载波频率) 伴音信号与视频信号也复合在一起传输。 亮度 色度 6 MHz (NTSC) -1.0 0.0 1.0 2.0 3.0 4.0 5.0 图象载波 声音载波 色度副载波 音频 2018/12/26 南京大学多媒体研究所

（2）分量电视信号 为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输, 分量信号是指每个基色分量( R,G,B 或 Y,U,V )作为独立的电视信号传输。 (Betacam，广播级或专业级). 视频节目制作时使用的是分量视频信号 计算机输出的视频信号，是分量形式的视频信号。 2018/12/26 南京大学多媒体研究所

（3）S-Video信号 S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。 ① 减少亮度信号和色度信号之间的交叉干扰； ② 不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。 S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。 S-Video使用4针连接器 信号电平 = 1V 阻抗 = 75 ohms 信号电平 = 0.3V 2018/12/26 南京大学多媒体研究所

二、数字视频

1 为什么使用数字视频？ 易于编辑、修改等操作处理 用户接收的图像质量更好(可达演播室水平) 有利于存储，信息复制不会失真 有利于传输(抗干扰能力强) 节省频率资源(占用频道较窄) 可以通过公共电信网和计算机网传输 可以与其它媒体组合使用 可以生成描述信息（bits about bits）,便于信息的检索和使用 2018/12/26 南京大学多媒体研究所

2 视频信号的数字化 视频信号数字化过程: 滤波 取样 量化 (8-10 bits) PCM编码 数字视频信息 模拟视频信号 V U YUV 亮度信号 的取样频率: 13.5MHz U,V色度信号 的取样方式有 多种不同格式 2018/12/26 南京大学多媒体研究所

亮度信号的取样（CCIR601） ITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。 每一行的像素数目: PAL: 13.5MHz = 625×25×N = 15625×N, N=864 NTSC: 13.5 MHz = 525×30×N = 15734×N, N=858 有效（可显示）像素 均统一为：720 720 pel (有效取样样本) 12/16 pel 132/122 pel 水平扫描线(64us) 蓝色为 NTSC 2018/12/26 南京大学多媒体研究所

色度信号的取样（CCIR601） 人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。 色度信号的取样频率有4种: 格式 取样频率 平均每个像素的样本数 4:4:4 同亮度信号取样频率 3样本/像素 4:2:2 亮度信号取样频率的一半 2样本/像素 4:1:1 亮度信号取样频率的1/4 1.5样本/像素 4:2:0 亮度信号取样频率的一半, 1.5样本/像素 但隔行处理 2018/12/26 南京大学多媒体研究所

色度信号的4种取样格式 4:2:2 4:4:4 4:1:1 4:2:0 亮度信号 色度信号 2018/12/26 南京大学多媒体研究所

常用数字视频信号的规格 名称 亮度(Y) 色度(Cb, Cr) (行数/帧) (像素/行) (行数/帧) (像素/行) 取样格式 (行数/帧) (像素/行) (行数/帧) (像素/行) 取样格式 CCIR601 576 720 576 360 4:2:2 CIF 288 360 144 180 4:2:0 QCIF 144 180 72 90 4:2:0 SQCIF 96 128 48 64 4:2:0 (CCIR601 ＝ITU-R 601) 亮度的取值范围: 16(黑) - 235(白) 色度的取值范围: 16 - 240 2018/12/26 南京大学多媒体研究所

3 视频信号的数字化 视频信号数字化有2种情况: 2 模拟分量视频信号的数字化. 1 模拟复合视频信号的数字化 视频信号 数字化芯片 1 模拟复合视频信号的数字化 视频信号 数字化芯片 复合视频信号 Y／C信号(S-video) CCIR601数字视频 24位RGB数字视频 2 模拟分量视频信号的数字化. 视频信号 数字化芯片 RGB分量 模拟视频信号 CCIR601数字视频 2018/12/26 南京大学多媒体研究所

模拟复合视频信号的数字化 模数转换 Y/C分离 色度信号解调 信号调节 颜色空间转换 数字视频信号 复合视频信号 S-Video信号 把亮度(Y)和2个色度(C)信号分开。分离后Y的数值范围为4-200，仍包含同步和消隐信息；色度信号是经调制的色度信号，取值范围为0±82(NTSC)或0±87(PAL)。 把复合视频信号或Y／C信号进行模数转换。例如使用8位A／D转换器，得到8位数字化的值 接收调制的数字色度信息，经过解调，输出基带 I,Q(NTSC)或 U,V(PAL)色度信号，即恢复出NTSC或PAL制的色度信号 完成从YIQ或YUV颜色空间到RGB和YCrCb颜色空间的转换 按需要对对比度、亮度和饱和度进行调节 2018/12/26 南京大学多媒体研究所

分量视频信号的数字化(方案1) 模拟分量电视信号 进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出) 5.75MHz 低通滤波器 查找表 A/D 13.5MHz时钟 2.75MHz低通和筛选滤波器 RGB 到YcrCb 转 换 矩 阵 MUX 视频时序插入控制 R G B Cb Cr Y 辅助数据 数字RGB输入 4:2:2 数字视频信号 GAMMA校正 模拟分量电视信号 进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出) 进行低通滤波,防止走样现象的发生 使用ROM(RAM)组成的查色表实现必要的γ校正 把采样频率从13.5MHz降到6.75MHz，产生4:2:2 YCrCb数据输出 2018/12/26 南京大学多媒体研究所

分量视频信号的数字化(方案2) 模拟分量视频信号 输出范围为16-235(Y)和16-240 (Cr和Cb) 进行低通滤波 彩色空间转换 5.75MHz 低通滤波器 2.75MHz 查找表 A/D 13.5MHz时钟 6.75MHz时钟 模拟 RGB到YUV 转 换 矩 阵 MUX 视频时序插入控制 R G B Cb Cr Y 辅助数据 4:2:2 数字视频信号 GAMMA校正 U V 模拟分量视频信号 输出范围为16-235(Y)和16-240 (Cr和Cb) 进行低通滤波 彩色空间转换 2018/12/26 南京大学多媒体研究所

4 常见数字视频格式 AVI RM，RMVB ASF和WMV文件 MOV文件 MPEG文件 DAT文件 2018/12/26 南京大学多媒体研究所

3 计算机中视频信息的I/O

1 PC机视频应用举例 视频帮助窗口（Video help windows）； 电子文档中的视频标注(Video notes within a document)； 远程视频会议（Video teleconferencing）； CD-ROM及网络服务器上的视频播放（CD-ROM and network servers）； 视频编辑和教学等（Video editing）； 收看电视（Video viewing）； 视频辅导/交互式教学(Video tutorials/interactive teaching) 2018/12/26 南京大学多媒体研究所

视频信号I/O的复杂性 (1) 计算机图形显示技术发展迅速, 使模拟视频信号的图像分辨率 和画面刷新速率与计算机图形显示器有很大差别。 (2) 计算机显示器是逐行扫描方式，显示质量很高。这就需要在视 频输入时进行扫描方式由隔行到逐行的转换(又称逐行化)，而 在视频输出时再进行逐行到隔行的转换。 (3) 视频信息应纳入到图形用户界面(GUI), 与图像/图形进行统 一的操作; 反之，计算机屏幕上任意位置任意窗口的显示内容 也应该能转换成为视频信号输出。 2018/12/26 南京大学多媒体研究所

PC中音/视频信息I/O的概念结构 视频解码 模拟音频R 模拟和数字音频输出 隔行化/ 缩放/ 帧速率转换 模拟NTSC/ RAMDAC 隔行化/ 缩放/ 帧速率转换 模拟NTSC/ PAL/SECAM编码器 数字分量视频编码器 数字复合视频编码器 图形控制器 & 帧存储器 模拟和数字音频输入 数字分量视频解码器 数字复合视频解码器 PAL/SECAM解码器 音频编码 视频编码 音频解码 视频解码 模拟音频L 数字音频 数字分 量视频 数字复合视频 模拟视频信号 CRT显示器 (模拟RGB） 逐行化/ 波表合成器 FM合成器 网络接口 2018/12/26 南京大学多媒体研究所

2 视频获取设备

视频卡 视频卡的产品类型: 1 视频采集(捕获)卡。将模拟视频信号转换为数字视频并存入硬盘,采集的视频数据可以压缩或不经压缩存储 2 视频输出卡。将计算机输出的视频信息转换成标准的模拟电视信号,供录像带记录或用电视机收看，具有这种编码功能的接口卡叫视频输出(编码)卡(TV Coder) 3 电视接收卡。视频采集卡缺少高频电视信号的接收、调谐电路，电视接收卡即用来完成这一任务 4 视频压缩卡。目的是压缩数字视频的数据量，需遵循国际标准,分成实时处理和非实时处理两种。 2018/12/26 南京大学多媒体研究所

视频捕获(采集)卡的功能 从多种视频源中选择一种作为视频输入; 支持不同的电视制式; 能同时处理图像信号的伴音; 可在显示器上监看输入的视频信号, 其位置及大小可调; 能将计算机生成的图像/图形/文本与视频图像迭加处理; 可随时冻结(定格)一幅画面,并按指定格式保存; 可 实时压缩与存储视频及其伴音信息; 可 实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等) 2018/12/26 南京大学多媒体研究所

视频采集(捕获)卡的结构 video grabber buffer TV coder VGA graphics VRAM MM CPU overlay conversion TV coder VGA graphics VRAM MM CPU DSP Codec PCI bus RGB monitor TV set disc 2018/12/26 南京大学多媒体研究所

数字摄像头 最高分辨率为640×480，一般都是352×288， 速度一般在30fps（每秒30帧）以下， 镜头的视角可达到45-60度, 支持USB接口 或FireWire（火线）接口。 2018/12/26 南京大学多媒体研究所

数码摄像机 提供480线以上的分辨率，清晰度高， 自动对焦(Auto focus)，自动曝光(Auto Expose)， 使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上， 提供录音功能， 数据量很大，采用USB接口或IEEE1394（FireWire）接口，后者传输速率可以达到200-800MB/s。 2018/12/26 南京大学多媒体研究所

3 视频信息在图形显示器上的显示 图形控制卡也称显示卡、视频卡等，作用是： 存储正在屏幕上显示的图像数据； 将RGB三基色的数字信号转换为模拟信号， 协助CPU完成图像的生成和修改(更新) 图形卡及CRT显示器的分辨率、帧频、扫描方式、彩色空间等与视频信号差异较大， 为了在图形/图像显示设备上监看输入的视频信息, 图形控制卡的结构必须进行修改和扩展; 2018/12/26 南京大学多媒体研究所

(1) 图形/视频简单叠加方案 要求视频的时序必须与计算机图形数据的时序相同。如果输入视频信号是50Hz或60Hz隔行扫描方式，那么图形控制器必须也能以50Hz或60Hz隔行扫描方式操作。 控制视频和图 形数据之间的 切换 处理像素数据, 完成γ校正, 生成模拟 RGB 视频信号 RAMDAC MU X 图形帧存储器 视 频 解码器 CRT显示器 (模拟RGB） 图形控制器时序发生器 色键检测 模拟或数字视频信号 同步和时钟信号 把输入视频的时 序信号(HSYNC, VSYNC和像素时 钟)来控制图形控 制器的时序 2018/12/26 南京大学多媒体研究所

(2) 分离的图形帧存储器 与视频帧存储器结构 切换或按优先权叠加 RAMDAC MU X 视频解码器 CRT显示器 (模拟RGB） 图形控制器时序发生器 色键检测 模拟或数字视频信号1 模拟或数字视频信号2 模拟或数字视频信号3 视频帧存储器 逐行化处理 缩放处理 图形帧存储器 视频帧存储器 与图形帧存储 器的大小一样 定义视频窗口 以双缓冲存储 器方式工作,实 现帧速率转换 2018/12/26 南京大学多媒体研究所

分离的图形帧存储器 与视频帧存储器结构 功能: 缺点: 输入的视频信号可以与图形/图像同时进行显示; 视频显示窗口可任意大小,任意位置; 视频信号的帧频容易与图形显示器的帧频同步; 缺点: 使用额外的存储器来实现视频帧的存储, 代价高; 多于一个视频源时，视频帧缓冲存储器的带宽将会增加。 2018/12/26 南京大学多媒体研究所

(3) 统一的帧存储器结构 临时保存视频 数据，直到可 访问帧存储器 时为止 CRT显示器 RAMDAC (模拟RGB） 时序控制器 模拟或数字视频信号1 模拟或数字视频信号2 缩放处理 视频解码器 逐行化处理 图形帧存储器 图形处理器 FFIFO 统一使用一个帧存储器，把视频数据当成是 另一种可写到图形帧存储器中的数据类型; 显示分辨率可变，在多个帧存和多个监视器 时不影响视频功能; 帧存储器的容量与视频源数目无关. 每个视频源必须 能调整γ值、亮 度、对比度、色 度和色饱和度等 2018/12/26 南京大学多媒体研究所

4 模拟视频信号的生成与输出 需求: 将计算机输出的视频信号转换成NTSC、 PAL或SECAM制式的模拟电视信号, 用于把电视信号记录到录像带上，供电视播出使用. 将计算机输出的视频信号转换成数字分量视频或数字复合视频信号, 用于把数字视频信号记录到数字磁带记录机上。 2018/12/26 南京大学多媒体研究所

模拟复合彩色电视信号的输出1 CRT显示器 (模拟RGB） 将分辨率调整 成为电视信号 的分辨率 将帧频转换为 标准电视信号 的帧频 RAMDAC MU X 视频解码器 CRT显示器 (模拟RGB） 图形控制器时序发生器 色键检测 模拟或数字视频信号 视频帧存储器 逐行化处理 缩放处理 图形帧存储器 缩放处理 将分辨率调整 成为电视信号 的分辨率 帧速率转换 将帧频转换为 标准电视信号 的帧频 模拟复合视频信号 视频编码器 隔行化处理 将逐行扫描转 换为隔行扫描 2018/12/26 南京大学多媒体研究所

模拟复合彩色电视信号的输出2 CRT显示器 RAMDAC (模拟RGB） 先进行颜色空间转换，将数字RGB颜色信号 时序控制器 模拟或数字视频信号1 模拟或数字视频信号2 缩放处理 视频解码器 逐行化处理 图形帧存储器 图形处理器 FFIFO 模拟复合视频信号 视频编码器 帧速率转换 缩放处理 隔行化处理 先进行颜色空间转换，将数字RGB颜色信号 转换为YIQ(NTSC)和YUV(PAL)，生成数字 亮度(Y)数据与数字色度(C)数据；然后把它 们相加在一起形成数字彩色视频信号,最后经 8位DAC生成0-1.3V的模拟复合视频信号 2018/12/26 南京大学多媒体研究所