6.1 视频的基本概念 6.2 视频信号的输入与输出 6.3 视频卡概述 第6章 视频信号处理 6.1 视频的基本概念 6.2 视频信号的输入与输出 6.3 视频卡概述 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.1 视频的基本概念 6.1.1 视频信号的分类 活动图像序列根据每一帧图像的产生形式可分为影像视频和动画两类。 1. 影像视频 6.1 视频的基本概念 6.1.1 视频信号的分类 活动图像序列根据每一帧图像的产生形式可分为影像视频和动画两类。 1. 影像视频 影像视频的特点是信息容量大且信息冗余度高。因此要求采样和传输速度较高,但也可以采用压缩技术来减少存储视频的数据。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
视频的帧速为每秒内包含的图像帧数。根据视频制式帧速有30帧/秒(NTSC)和25帧/秒(PAL,SECAN)两种。 1) 帧速 视频的帧速为每秒内包含的图像帧数。根据视频制式帧速有30帧/秒(NTSC)和25帧/秒(PAL,SECAN)两种。 2) 数据容量 分辨率为640×480,256色的一帧图像,其数据容量约为0.3 MB,对于NTSC视频制式来说,若要达到30帧每秒(f/s)的活动图像,所需的存储量为9 MB/s,这样,一张650 MB的光盘只能存放大约播放70 s的图像数据,而且光盘数据传输率也必须达到9 MB/s才能满足要求。 3) 视频的质量 活动图像的视频的质量取决于采样原始图像的质量和视频压缩数据的倍数。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
计算机制作动画时,只要做好主动作画面,其余中间画面都可以由计算机内插完成。 2. 动画 用计算机实现的动画有造型动画和帧动画两种。帧动画是由一幅幅连续的画面组成的图像或图形序列。造型动画则是对每一个活动的对象分别进行设计,赋予每个对象一些特征(形状、大小、颜色等),然后用这些对象组成完整的画面。 计算机制作动画时,只要做好主动作画面,其余中间画面都可以由计算机内插完成。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.1.2 视频处理 视频处理是指使用相关的硬件和软件在计算机上对视频信号进行接收、采集、编码、压缩、存储、编辑、显示和回放等多种处理操作。视频处理的结果使一台多媒体计算机可以作为一台电视机来观看电视节目,亦可以使计算机中的VGA显示信号编码为电视信号,在电视机上显示计算机处理数据的结果,另外,也可以通过接收、采集、压缩、编辑等处理将视频信号存储为视频文件,供多媒体计算机系统使用。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
1. 视频采集 视频信号的采集是在一定的时间以一定的速度对单帧视频信号或动态连续地对多帧视频信号进行接收,采样后形成数字化数据的处理过程。 单幅画面采集时,将输入的视频信息定格,并可将定格后的单幅画面采集到的数据以多种图形文件格式进行存储。对于多幅连续采集,可以对输入的视频信号实时、动态地接收和编码压缩,并以文件形式加以存储。我们在捕获一般连续视频画面时,可以根据视频源的制式采用25~30 f/s的采样速度对视频信号进行采样。对于电视、电影等影像视频来说,在对视频信号采集的同时必须采集同步播放的音频数据,并且将视频和音频有机地结合在一起,形成一个统一体,并以动态视频文件AVI格式进行存放。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
2. 编码和压缩 数字化视频信号的数据量极大,这对于多媒体系统来说要求海量存储容量和实时传输技术。目前,虽然计算机外存储容量已经达到几个GB数量级,但也只能存放支持几分钟的视频播放量,对于能支持23 MB/s~27 MB/s数据传输速度(相当于PAL、NTSC制式视频信号传输速率)的计算机也不多,如果不能达到这样的数据传输速度,就会导致大量数据的丢失,从而会影响视频采样和播放的质量。例如,对于PAL制视频信号,会由于在采样过程中不能保持25 f/s画面的采样速度而丢帧,那么当存储的视频信息重新播放时,就会导致显示画面的不连贯性,从而出现抖动现象。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
对视频信号进行编码压缩处理是减少数字化视频数据量的有效措施。在视频采集和数字化进程中,对图画进行实时压缩,而在被存储的视频数据进行回放的过程中,对图画进行解压缩处理,以适应计算机内视频数据的存储和传输的要求。 3. 编辑与回放 1) 编辑 在对视频信号进行数字化采样后,用户可以对它进行编辑、加工以达到用户的应用要求。例如,用户可以对视频信号进行删除、复制、改变采样频率或改变视频或音频格式等操作,将其改变成用户所需要的显示形式,压缩后存入硬盘。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
2) 回放 所谓回放,是指将存储的数字化视频数据通过实时解压缩恢复成原来的视频影像在计算机屏幕上显示重现。由于数字视频数据量庞大,因此视频的回放与屏幕显示的速度和质量密切相关,即与显示卡的质量有关。目前,在多媒体系统中通常用图形加速器代替普通显示卡来播放真彩色图像和数字视频。图像加速器上使用专用电路和芯片来提高显示速度。目前广泛使用的是32位的图形加速器,但64位及128位图形加速器将是未来的发展方向。图形加速器上的视频存储器数量决定显示分辨率和色彩深度,显示每个像素所需的字节数乘以屏幕的分辨率即是所需的视频存储器的大小。例如,256色图像每个像素需要1个字节,64 K色图像每个像素需要2个字节,而真彩色图像的每个像素需要3个字节。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
显示分辨率、颜色深度与视频存储器容量之间的对应关系如表6-1所示。 表6-1 视频存储器容量与分辨率和颜色深度之间的关系 制作人:闫相位 班级及学号:03级计算机2班、20037104076
从表6-1可以看出,对于真彩色的图像或影像视频的显示,一般需要1~4 MB的视频存储容量,因此目前图形加速器上配置1 M、2 M或4 M的视频缓存器,用户可以根据自己的应用需要来进行选择。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.2 视频信号的输入与输出 6.2.1 视频信息源 视频信息源的种类繁多,按照其提供的视频信息形式,分为数字视频信息源和模拟视频信息源两类。 1. 数字视频信息源 这类信息源可直接提供数字化视频信号,而且,许多信息源提供的数字化信息是已按某种标准压缩的视频信号。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
1) 光盘存储设备 这是一类存储(或记录)视频(也记录音频)信号的媒体,包括只读光盘、一次写多次读光盘及可读/写光盘等,其详细内容已在第3章中介绍过,此处不再赘述。 2) 数字磁带机 磁带机用于记录数字信号已使用多年,但由于在容量、速度、可靠性等方面的限制,影响磁带机的发展。其中还由于它是不能随机存取的,因此要在很长的磁带上寻找某个文件要花不少时间。 近年来,由于技术的发展,磁带机在性能上有了很大的发展。作为一种存储数字信息的手段,在某些应用中,尤其是作为后备数据存储器,它将会得到广泛的应用。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
到1995年底,磁带机每盒磁带的容量可达60 GB,足以存放100部电影。如同火柴盒大小的一盒磁带,其容量在4~8 GB之间,而且,读/写传送速度、平均故障间隔时间(MTBF)、错误率等指标均令人满意。可见,用它作为海量存储器来备份数字信号是很理想的。 3) 磁盘存储器 目前,10 GB硬盘是很常见的,而且,其平均寻道时间在10 ms以下,数据传输速率可达到几十MB/s。其他性能,如MTBF在几十万到上百万小时;误码率、体积、重量、功耗等指标也都很好。因此,随着硬盘技术的发展,用硬盘来存取数字视频信号也是一种可选择的方法。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
现在,已研制出像软磁盘那样的便携式可卸硬盘,但是其容量只有几十到几百MB/s,或GB数量级。随着技术的发展,将来也许可用来存取视频信号。 4) 扫描仪 扫描仪能直接将图像、照片、胶片以及各类图纸、图形、文稿资料等输入到计算机中。 扫描仪的主要工作原理是:扫描仪的光源照射到被扫描的图像上,代表图像特征的反射光或透射光经光学系统采集聚焦在电荷耦合器件(CCD)上,而后,CCD器件将这些光信号转换成相应的电信号,此电信号经放大、滤波并经A/D变换,变换成数字信号并输入到计算机。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
技术的发展已经改变了人们对照相机的传统认识,全数字化无底片照相机已经广泛使用。 5) 数字照相机 技术的发展已经改变了人们对照相机的传统认识,全数字化无底片照相机已经广泛使用。 全数字化照相机利用彩色液晶显示出取景,可存储几十至一百多张影像。 数字照相机有RS-232C或RS-422等接口可与微型计算机相连接,从而可将所得到的照相影像传送到计算机中进行显示和存储。可以想象,将来您的影集可能就是前面所谈到的可写光盘、磁盘或磁带等存储媒体。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
全数字式液晶取景照相机可作为视频信息源送出图像数据,而且其体积、重量都很小,携带很方便。例如,CASIO的QV-10的重量为0 全数字式液晶取景照相机可作为视频信息源送出图像数据,而且其体积、重量都很小,携带很方便。例如,CASIO的QV-10的重量为0.190 kg,尺寸为130 mm×40 mm×66 mm。 2. 模拟视频信息源 除了上面提到的能输出数字化视频信号的设备外,还有一些设备可以提供模拟视频信号。它们主要是电视摄像机、录像机和传真机等。 1) 电视摄像机 各种制式(PAL、NTSC、SECAM等)的电视摄像机种类繁多,常用的有家庭用的价廉的摄像机,也有性能和价格都比较高的专业级和广播级的电视摄像机。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
摄像机送出的可以是中国制式的全电视信号。它的每帧电视由奇、偶两场叠加而成,因此,扫描方式是隔行扫描,这是电视信号很重要的特征。 高级的摄像机分辨率较高,伴音音频频带也很宽。摄像机可以送出射频(RF)电视信号、视频(Video)电视信号和ENC、R、G、B信号,用户可以根据需要选用。 摄像机送出的可以是中国制式的全电视信号。它的每帧电视由奇、偶两场叠加而成,因此,扫描方式是隔行扫描,这是电视信号很重要的特征。 2) 录像机 目前的录像机都可送出模拟视频信号。它的种类繁多,有家用的较低档的录像机,也有专业级及广播级的性能和价格均较高的录像机。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
录像机可输出射频(RF)电视信号,也可以输出全电视信号。有的录像机只输出一种制式的信号,而有的则可输出三种制式的信号。当录像机播放录像带时,即可获得模拟的视频信号。 3) 传真机 传真机可以利用电话线路传送图像和文字。在发送端,传真机信号经调制解调器(MODEN)加到电话线路上。在接收端,传真信号经解调后可进入计算机进行处理,或者由计算机处理后加到接收端的传真机上输出。 传真机信号是经调制解调器的输出信号,亦可以被认为是视频信号,可经计算机处理后,加到电话网或其他网络上进行传送。因此,可以将传真机看作是模拟信息源中的一个设备。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
视频输出设备亦有多种。它们也可以按其输入的信号形式进行分类。 6.2.2 视频输出设备 视频输出设备亦有多种。它们也可以按其输入的信号形式进行分类。 1. 数字式视频输出设备 能接收数字信号的视频设备主要有如下几种: (1) 可写入光盘; (2) 磁盘; (3) 磁带机; (4) 数字监视器。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
监视器有着比家用电视机更高的性能和更多的功能。大多数监视器都具有多种制式(PAL,NTSC,SECAM等)、多种屏幕尺寸和多种信号输入。在多媒体计算机中,经常用VGA、SVGA或其他高水平的显示卡来驱动监视器工作。 通常,各种彩色显示卡在计算机驱动程序控制下接收计算机的数字视频信号。显示卡输出监视器所需要的视频信号(例如,R、G、B和同步信号或者是Y、U、V和同步信号),使显示器显示图像。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
因此,视频监视器与显示控制卡结合在一起,构成数字视频监视器。 计算机显示控制卡(如VGA卡)所输出的视频信号与电视机的视频信号并不一样。表6-2列出了两者的不同。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
表6-2 计算机监视器信号与电视信号 制作人:闫相位 班级及学号:03级计算机2班、20037104076
5) 打印机 打印机种类繁多,包括热敏、针式、激光、静电、喷墨、热蜡、染料热升华等多种打印机以及各种专用打印机。 打印机的主要技术指标有分辨率、速度、颜色、行宽、噪声、功耗、体积、重量等。 在我们关心的多媒体技术中,希望利用打印机输出图像。激光打印机具有600 dpi或更高的分辨度,而且具有120级灰度,可以获得很好的图像输出;彩色喷墨打印机具有较高的分辨度和高的速度,并能真彩色打印。目前就有分辨度为720 dpi、1600万种颜色的真彩打印机,它可以得到逼真的彩色打印照片。因此,激光、喷墨、彩色热蜡和彩色染料热升华等打印机可作为视频图像输出设备。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
绘图机有平板式、滚筒式、笔式、静电等结构,幅面尺寸也有大有小,是与计算机配套的典型图形输出设备。目前,黑白和彩色绘图机均在迅速发展中。 6) 绘图机 绘图机有平板式、滚筒式、笔式、静电等结构,幅面尺寸也有大有小,是与计算机配套的典型图形输出设备。目前,黑白和彩色绘图机均在迅速发展中。 绘图机有多项技术指标,主要是幅面大小、绘图速度、重复精度、体积、重量、耗电等。它作为输出设备,在多媒体领域中使用相对少些。 2. 模拟视频输出设备 制作人:闫相位 班级及学号:03级计算机2班、20037104076
投影电视与一般电视的区别在于它利用高亮度的CRT通过光学反射原理将电视图像投影到银幕上,主要目的是为了增加电视图像的显示尺寸。 1) 电视机 一般的家用电视机的输入信号均为模拟信号。在多媒体计算机的配置中,可以通过专门的TV卡,产生计算机CRT所需要的模拟电视信号,这样,多媒体计算机就可以用来代替家用电视机。此外,目前有的国家正在播放的高清晰度电视(HDTV)采用的也是模拟信号。 2) 投影电视 投影电视与一般电视的区别在于它利用高亮度的CRT通过光学反射原理将电视图像投影到银幕上,主要目的是为了增加电视图像的显示尺寸。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
大屏幕电视墙就是利用几十个或更多个大屏幕CRT(例如,28英寸或29英寸)构成长十几米,高几米的电视屏幕,用来显示动画、文字或电视图像。 3) 大屏幕电视墙 大屏幕电视墙就是利用几十个或更多个大屏幕CRT(例如,28英寸或29英寸)构成长十几米,高几米的电视屏幕,用来显示动画、文字或电视图像。 目前,国内有专门制作电视墙的公司,可承担这方面的任务。这种电视墙在显示图像时,由于每个CRT有边框而使图像出现黑色的格子,使人看起来不太舒服。 4) 发光管大屏幕显示 发光管大屏幕是用大量的发光二极管构成大屏幕点阵进行图形和文字显示的,对于显示文字和简单的动画,实现起来是不困难的。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
利用红、绿、蓝三基色发光二极管可构成大屏幕点阵。通过微型机和相应硬件的控制,可实现对彩色电视图像、动画、图形和文字的显示。 5) 液晶屏幕显示 单色的和彩色的液晶屏幕显示作为视频信号的输出设备常见于笔记本计算机。在多媒体中,它同样可以用作视频输出。 目前,市场上可见到各种形式的液晶显示屏,可用于图形显示。而且厂家为我们提供的液晶板可直接利用微型机进行控制,使用起来十分方便,稍具微机知识的人都能将其用好。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.2.3 图像的显示 当前,图像显示手段主要是CRT。在微型计算机上,常利用显示控制卡来控制CRT的工作,同时,配有适当的显示驱动程序,可以使CRT按照人们的要求显示各种图像、图形和文字。 1. VGA及其他 VGA(Video Graphics Adapter)是在微型计算机发展进程中,由IBM于1987年提出的。 VGA由硬件卡和相应的软件构成,其硬件部分主要由显示存储器(VRAM)、图形控制器、CRT控制器、并/串变换器、属性控制器、定时器及视频D/A变换器等部分组成。 VGA的主要显示模式如表6-3所示。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
表6-3 VGA的主要显示模式 制作人:闫相位 班级及学号:03级计算机2班、20037104076
表6-3 VGA的主要显示模式 制作人:闫相位 班级及学号:03级计算机2班、20037104076
由表6-3可以看到,配置在微型计算机上的VGA卡可以给用户提供多种显示模式,尤其是在多媒体计算机中,要显示动画和动态视频图像至少要用VGA。 尽管现在还在使用VGA,但随着技术的发展,人们感到VGA已无法满足多媒体发展的需要。于是,又在原来VGA的基础上提出Super VGA,它与VGA在结构上大致相同。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
由于Super VGA所使用的显示存储器可达1 MB,因而,它可支持更高的分辨率和更多的颜色。例如,在文本显示模式下,它可以显示132列文字;在图形显示模式下,它支持显示640×480、800×600、1024×768像素点,显示颜色可达256种。目前,许多微型计算机上用的SVGA和TVGA均属这一种,配上适当的监视器,在显示软件支持下,它们可以满足当前多媒体显示的需要。 但是,从多媒体发展的趋势来看,Super VGA显示标准已难以满足发展的需要。进入20世纪90年代后,IBM宣布了新的高性能视频显示标准EVGA(Extended Video Graphics Adapter)。现在已有EVGA商品面市。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
EVGA的主要特点是与过去的VGA(包括SVGA等)相兼容,因此,以往的显示方式、驱动软件均可在EVGA下运行,且性能得到了大大提高。 EVGA支持16位真彩色,其中红5 bit、绿6 bit、蓝5 bit,从而使分辨率在640×480像素点下可显示65 535种颜色。 总之,目前所有微型计算机所采用的显示标准基本上都是与VGA相兼容的,尽管有一些小的差别,但它们大都遵循视频电子协会所制定的VESA(Video Electronics Standards Association)标准。为了便于读者参考,我们将VESA标准显示模式列于表6-4中。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
表6-4 VESA标准显示模式 制作人:闫相位 班级及学号:03级计算机2班、20037104076
读者一定会注意到在VGA显示模式13H到VESA标准6AH中间,还有一些模式是SVGA、TVGA、EVGA所提供的,在此不再作说明。 另外特别强调的是,随着多媒体技术的发展,对视频显示提出了更高的要求。因此,新的分辨率更高(例如1600×1280),彩色更多(用24 bit表示)的显示模式已经出现。不久的将来,满足MPEG-Ⅱ标准(后面章节另作说明)的显示模式就会出现,到那时,微型计算机的显示器又可以作为高清晰度电视来使用。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
在微型计算机中,表示或存放图形和图像常用的方法有两种:矢量法和位图法。 2. 图形、图像的表示 在微型计算机上显示的图形、图像是由计算机将来自硬磁盘(或CD-ROM等)的图形、图像数据进行一定的安排,而后送往显示卡(VGA)的VRAM中,经VGA变换成RGB再送往监视器显示的图形或图像。 在微型计算机中,表示或存放图形和图像常用的方法有两种:矢量法和位图法。 1) 矢量法 矢量法以数字的方法表示一幅图形。例如,一条直线,只要记下其两端点的坐标便可以显示(画出)该直线。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
用矢量法表示图形最大的优点是占用内存少,处理速度快。因此,矢量法常用于图形的存储和处理。 其他图形也是一样,三点的坐标可决定三角形;圆心的坐标和半径可决定一个圆;曲线可用直线段插补等等。这样一幅图便可以用矢量图加以存储,在显示时再按照欲先规定好的算法将其显示出来。 用矢量法表示图形最大的优点是占用内存少,处理速度快。因此,矢量法常用于图形的存储和处理。 但是,当用矢量法来表示一幅复杂的图像时,例如一张画面复杂的彩色照片,它就失去了其优越性。在这种情况下,经常用位图法来表示一幅图像。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
2) 位图法 位图法就是首先将照片按一定分辨率采集为若干像素点,例如,用640×480像素点表示一幅图像。对于黑白图像来说,每个像素点取8 bit,则可表示256级灰度。如前所述,若用红色5 bit、绿色6 bit、蓝色5 bit,则一个彩色的像素点可用16 bit来表示。然后将每个像素点存放于内存中(或其他媒体中),当显示时,根据内存与显示器的映射关系,将各像素点放在VRAM的适当位置(地址)就可以很好地显示一幅彩色图像。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
位图存储的是每一个像素点,当分辨率比较高,表示的彩色比较多时,存放一幅图像要占相当大的内存(或外存)空间,因此,处理起来花时间也会更长。 当前,多媒体视频输入设备,如前面提到的扫描仪、激光盘等数字视频设备以及通过视卡的模拟视频设备,均提供位图图像。多媒体中用得较多的也是用大量像素点构成的位图。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.2.4 图像文件格式 在微型机中,为了存取信息方便将某一信息集合集中于一个名字之下,这就构成了一个文件。在多媒体中,无论是音频信息还是视频图像信息都是以文件的形式进行存放的。显而易见,若对采集、编码、数据压缩后的视频信号进行存储,则必定以一定的数据格式进行存放,并赋予它一个文件名。当需要取出视频数据时,便可根据文件的名称找到数据文件,将其读出并进行处理和显示。 为了使数据文件便于使用和交换,在构成文件时,必须规定文件的格式。只有大家都知道文件的存储格式,并都遵循文件格式的规定,才能便于信息的交换和管理。这对于开发视频应用软件的人员来说尤其重要。否则,你所开发的软件别人将无法使用。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
1. GIF图像文件格式 GIF(Graphics Interchange Format)文件格式是由CompuServe公司于1987年提出的。该文件格式采用了无损数据压缩算法(LZW),目前的大多数图像软件都能识别这种文件格式。 GIF图像文件结构如图6-1所示。 由图6-1可见,GIF图像文件以6个字节的标记/版本号开始,例如,用“GIF87a”或“GIF89a”作为标记/版本号。接下来是显示屏描述符,其中包括图像水平及垂直的分辨率、图像属性(如像素的位数、彩色的多少等)、背景颜色以及一个保留字节。这一部分主要说明显示屏的大小、图像像素的位数、彩色的多少及背景的颜色等,它们均是与显示屏幕有关的信息。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-1 GIF图像文件结构 制作人:闫相位 班级及学号:03级计算机2班、20037104076
在GIF文件中,允许选用两个扩展块:第一扩展块用于注释;第二扩展块用于附加一些图像控制命令。扩展块的数据格式如图6-1中所示。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图像描述块的第一个字节为图像分隔符,也叫做同步字节,用以标识图像描述块的开始,用ASCII码中的“!”符号(21H)表示。该块中第2到第5个字节分别表示图像左上角的坐标X和Y的位置,接下来的4个字节分别表示图像的宽度和高度。扫描块的最后一个字节是标志信息,其中包括:使用全局还是局部彩色安排表;数据是顺序存放还是错行存放;像素的彩色数等。 光栅描述块如图6-1所示,此处不再说明。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
TIFF图像文件的存储格式由三个基本部分组成:文件头、图像目录和目录项目。其结构如图6-2所示。 TIFF(Tag Image File Format)是由Aldus和Microsoft公司提出的用来存储图像数据的文件格式。在CD-ROM中经常以此文件格式记录图像数据。 TIFF图像文件的存储格式由三个基本部分组成:文件头、图像目录和目录项目。其结构如图6-2所示。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-2 TIFF图像文件的结构 制作人:闫相位 班级及学号:03级计算机2班、20037104076
由第一幅图像文件目录的偏移量便可得到这幅图像的文件目录。 TIFF文件头由8个字节构成。开始用两个字节说明存储图像数据时是先写最低位后写最高位,还是高位在前低位在后;用两个字节表示TIFF的版本号;最后4个字节表示第一个图像文件目录的偏移量(或称偏移地址)。 由第一幅图像文件目录的偏移量便可得到这幅图像的文件目录。 图像文件目录的头两个字节用来表示在本幅图像中有多少目录项,即构成图像的条目项有多少。接下来就逐个条目项进行存放,从项0、项1、……直到最后一项。可见,组成一幅复杂的大的图像,用的条目项数会多一些,而小的简单的图像,条目项会少一点,图像文件目录长度是可变的。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
每一项由固定的12个字节组成,如图6-2所示。标记(Tag)用两个字节表示,用来标记图像数据的特征,TIFF文件规定有几十种标记。可以想像,一幅图像由许多项构成,而每一项具有不同的特征(例如,高度、宽度、分辨率、压缩方法等)。一幅完整的图像便由这些具有不同Tag的图像块拼接而成。 项的第二个内容是用两个字节表示数据类型,即说明在本项中具有Tag的数据是什么类型的数据;接下来用4个字节表示数据的长度;最后4个字节指出存放数据的偏移地址(偏移量)。请注意,在条目项中给出的是存放数据的偏移地址,要到那个地址上才能取得数据。当然,条目项中所得到的是数据的起始地址。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
这样,一幅图像就可以完整地加以表示了。以此格式存放,再以此格式读取。 图6-2中,在第一幅图像文件目录的最后,还有第二幅图像文件目录的偏移量。这是为在一个TIFF文件中包括多幅图像而设置的,尽管实际应用中一个TIFF文件就保存一幅图像。由此可以想像,在第二幅图像文件目录中还可以保存第三幅图像的文件目录偏移量。依次类推,TIFF文件可以包括多幅图像。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
3. PCX图像文件格式 PCX图像文件格式是由Z-soft公司开发的标准图像文件格式,能表示多达256种颜色的彩色图像。它是PC Paintbrush(画笔)软件包所建立的图像文件格式。后来的Windows中的Paintbrush以及许多扫描仪也使用这种文件格式。 PCX图像格式主要由三部分组成: (1) 文件头。文件头的长度为固定的128字节,用来标记文件厂商、版本号、数据压缩方法、每个像素的位数、图像的尺寸、水平及垂直分辨率等一系列有关图像的参数。128个字节中未用的部分用空格填满。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
(2) 实际的图像数据。在实际的图像数据存放区域里,以不同的模式来表示各种类型的图像,因而,存放图像数据的形式也不一样。 实际的图像数据都是经压缩的数据。采用的压缩方法是仅对一行像素点进行的,也就是说,压缩是在一行像素点上分成若干扫描段来实现的。 (3) 256色调色板。构成PCX图像文件的第三部分是调色板。只有当存放256、64色彩色图像或256级灰度图像时,这部分才出现在PCX文件中。该部分用768个字节描述调色板的特性。当采用其他模式存储图像数据时,不需要这一部分。在此情况下,PCX图像文件就只由(1)和(2)两部分组成。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
TGA图像文件的结构如图6-3所示,TGA图像文件由文件头、图像/彩色变换数据、开发者区域、扩展区及文件尾几部分组成。 TGA图像文件格式是Turevision公司提出的,用于存储彩色图像。由于该文件格式清晰,使用方便,故得到了极广泛的应用。它是目前国际上比较流行的一种数据格式。 TGA图像文件的结构如图6-3所示,TGA图像文件由文件头、图像/彩色变换数据、开发者区域、扩展区及文件尾几部分组成。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-3 TGA图像文件的结构 制作人:闫相位 班级及学号:03级计算机2班、20037104076
(1) TGA文件头:文件头是对文件的一个最基本的说明。 (2) 图像/彩色变换数据:这里面包括图像鉴别字ID,这个鉴别字是可变长度的,最大为256个字节;同时,在这部分中还包括彩色变换数据,它也是长度可变的;最后是图像数据。 (3) 开发者区域:TGA文件的第三部分是留给开发者的,它包括开发者的说明及开发者目录,两者的长度均是可变的。 (4) 扩展区:扩展区用来存放开发者的附加说明。该区的位置由文件尾中4个字节的偏移量来指定。该区中还可包括许多内容,本书不做详细说明。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
(5) TGA文件尾:它包括扩展区的地址指针(偏移量),开发者目录区域的地址指针(偏移量)以及结束标记。 文件格式也是一种标准,开发使用者都必须遵循,只有这样,开发出来的图像文件才能通用,才便于交流。显然,图像文件格式对图像文件的开发者和需要对不同图像文件进行转换的人来说尤为重要。 另外,多媒体技术的发展也一定会促使图像文件格式标准化更加发展,新的和不断完善的老的文件格式会不断涌现出来。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
6.3 视频卡概述 作为多媒体中的视频处理手段,有的就是专门生产的多媒体系统的一个组成部分。但是,这种从一开始就设计并制成一套完整的多媒体系统的设备,在国内并不多见。而当前比较热门的是在现有的微型计算机上配置一些卡来构成多媒体系统。因此,现在有众多的厂商研制出了各种多媒体卡,当然也包括种类繁多的视频卡在内。尽管有人预测在不久的将来,目前的这些卡都会集成在微型机的底板上,所有的微机都是多媒体系统,但最近若干年内,各种卡还将继续流行,因为,过去的微机需要升级,而当前的微机也需要配置这些卡。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-4 视频采集卡工作原理框图 制作人:闫相位 班级及学号:03级计算机2班、20037104076
视频卡的种类繁多,有的一块卡具备一种功能,有的则具备两种甚至多种功能。各种视频卡按功能大致可分为以下5类。 6.3.1 视频卡综述 视频卡的种类繁多,有的一块卡具备一种功能,有的则具备两种甚至多种功能。各种视频卡按功能大致可分为以下5类。 1. 视频采集卡 视频采集卡的功能就是将视频信号与计算机VGA显示卡的VGA信号相叠加,将叠加后的信号显示在显示屏上。同时,还可以加入某些特技效果。视频采集卡的工作原理可由图6-4来说明。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
所谓视频采集,就是将视频信号经过采样、量化后转换成数字图像并与VGA信号叠加存储到帧存储器内的过程。视频采集的模拟信号源可以是录像机、摄像机、影碟机等。可以将原来保存在录像带、激光视盘等介质上的图像信息通过视频采集卡转录到计算机内部,也可以通过摄像机将现场的图像实时输入计算机。 由图6-4中可见,视频输入信号在视频采集卡中进行处理,包括对它进行A/D变换,变为数字信号,而后再对其解码得到亮度Y和色差(VU)信号,YUV信号通过某种算法可变换为红绿蓝(RGB)信号,并将此信号存入缓冲存储器中。另外,由VGA卡接收的计算机显示信号在VGA卡中变换为相应的RGB信号。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
视频信号与VGA信号相叠加常用两种方式:一种是窗口方式,另一种是色键方式。 视频采集卡形成的RGB信号与VGA卡所产生的RGB信号在视频采集卡中叠加,获得叠加后的RGB信号。此RGB信号经D/A变换,形成显示器所需要的模拟信号,并在显示器上显示出来,此时所显示的就是两者叠加后的图像。 视频信号与VGA信号相叠加常用两种方式:一种是窗口方式,另一种是色键方式。 窗口方式是在显示屏上由软件命令在屏幕的任意位置上开设一个大小可指定的窗口。视频采集卡在工作过程中可从连续动态图像中(例如,PAL或NTSC电视信号)捕获一帧(一个画面),并将捕获的画面显示在规定的窗口内。窗口的位置和大小是可以指定的,最大的窗口就是显示器的全屏。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
色键方式是利用软件命令来定义某种颜色为色键的,也就是定义某种颜色为透明色。因而,就可以规定VGA信号中的某种颜色为透明色(即色键),也可以规定视频信号中的某种颜色为透明色。这样一来,当VGA图像与视频图像叠加时,被定义为色键的颜色将不影响另一图像的显示。 例如,当定义VGA图像上的白色为色键时,在VGA图像与视频图像相叠加显示在屏幕上时,所有VGA图像为白色的地方全都原样显示视频图像,也就是说白色的VGA部分对视频图像来说是透明的。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
视频捕获卡可以以25 f/s(PAL)或30 f/s(NTSC)的速度捕获图像,并以某种格式,如AVI格式加以存储,捕获图像可达1/4屏。 视频采集卡可捕获动态图像并有可能对其进行全屏播放。但这种捕获主要用于播放,若要将捕获的图像真正截取下来并存到硬磁盘中,视频叠加卡的能力就显得比较弱。例如,截取的画面不够大,每秒截取的帧数不够多等。要更好地捕获动态图像,需要其他的视频捕获卡。 2. 视频捕获卡 视频捕获卡专门捕获图像。它将捕获的图像数据以文件的形式存放在硬磁盘或其他媒体中。有了这样的图像数据文件,要对图像进行编辑、拷贝等各种处理也就容易了。 视频捕获卡可以以25 f/s(PAL)或30 f/s(NTSC)的速度捕获图像,并以某种格式,如AVI格式加以存储,捕获图像可达1/4屏。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
同时,为存储所捕获的图像信号,要求有一定吞吐率的CPU和一定容量的硬盘。如前所述,这样的CPU和大容量、高速度的硬盘已不再为成问题。 这类捕获卡为达到以几十帧每秒的速率捕获图像数据,要用到前面所提到的一些采集、变换及压缩方法。目前,卡中常用专业级的硬件压缩芯片,例如,人们常提到的Intel公司的i750。 同时,为存储所捕获的图像信号,要求有一定吞吐率的CPU和一定容量的硬盘。如前所述,这样的CPU和大容量、高速度的硬盘已不再为成问题。 对于某些视频捕获卡来说,卡上带有音频处理功能。因此,在捕获图像视频信号的同时,音频信号也一并捕获存于AVI文件中。AVI文件允许将图像与声音存于同一文件中。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
MPEG卡包括MPEG视频压缩卡和MPEG视频解压缩(回放)卡。目前大多数MPEG卡都符合MPEG-1标准,只有少数到达MPGE-2水平。 另外,在选用视频捕获卡时,要注意它是否支持全软件回放功能。全软件回放就是在没有视频捕获卡的计算机上能够不丢帧地实时回放由另一台具备捕获卡计算机所捕获的AVI文件。如果你所选用的视频捕获卡不支持全软件回放功能,那么回放的效果就会很差。 3. MPEG卡 MPEG卡包括MPEG视频压缩卡和MPEG视频解压缩(回放)卡。目前大多数MPEG卡都符合MPEG-1标准,只有少数到达MPGE-2水平。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
MPEG压缩卡一般用于专业人员进行多媒体制作,尤其是今后,专业级的MPEG-2标准的压缩卡会更受广播电视、音像制作部门的欢迎。 MPEG压缩卡用于完成前面所叙述的对视频和音频信号进行采集、编码、压缩等功能。最终对包括声音在内的动态图像实现大约100:1的压缩。将压缩的数据进行存储、回放并可制作VCD节目。对于MPEG-1标准的压缩卡,经解压缩回放,可以达到VHS录像带水平而且声音效果很好,这种质量也为目前人们所接受。 MPEG压缩卡一般用于专业人员进行多媒体制作,尤其是今后,专业级的MPEG-2标准的压缩卡会更受广播电视、音像制作部门的欢迎。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
现在最受欢迎的是MPEG解压缩(回放)卡。它与本书后面将提到的CD-ROM驱动器配合使用,便可以播放CD光盘上的图像。这是目前家庭配置多媒体计算机所必不可少的部件。 MPEG视频压缩卡根据MPEG的标准对图像(视频)和音频信号进行压缩,同时附加有关同步等系统工作信息,并将其以规定的数据格式存放在某种媒体上。这种媒种开始可能是硬盘,而后再将硬盘上的视频压缩信息制成CD光盘。 MPEG解压缩卡的工作就是MPEG压缩卡工作的逆过程。如前所述,它将记录在媒体上的视频信息(例如,CD光盘上的信息),进行解压缩,恢复为原始视频信号。在计算机的CRT监视器上或在电视机上可以播放CD光盘上的信息。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
目前,配置在多媒体计算机上的MPEG解压缩卡都是由超大规模集成电路芯片来完成的,例如常见的CL 450,ST 3400等专业级芯片。同时,为了更好地支持MPEG解压卡的工作,厂家均为其解压卡配上了功能强大的软件,用来保证解压卡的可操作性能。因此,在解压卡软件、硬件的协同工作之下,MPEG解压卡使用起来十分方便。即使完全不懂计算机的人,按照菜单的提示也可以进行操作。 现在我们所见到的MPEG解压卡有两类:一类带有屏幕缩放功能,另一类不带屏幕缩放功能。前者可将图像放在屏幕的一个大小可调的窗口内播放,窗口之外可以显示其他图像或文字信息,当然,也可以将图像在整个屏幕上播放。而后者只能在全屏幕上播放信息。显然,具有屏幕缩放功能的解压卡更好一些。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
TV调谐卡主要包括电视接收机(或录像机)里的高频头及通道部分。 但是,当将TV调谐卡与前面提到的视频采集卡配合使用时,就可以做到利用计算机来显示电视图像。 为了方便使用,有些厂家将TV调谐卡与视频采集卡做在一块卡上,叫做电视卡。 5. 电视编码卡 电视编码卡所完成的功能与视频采集卡刚好相反。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
可以看到,计算机VGA显示与家用电视机显示所需格式并不一样。通过视频采集卡和电视编码卡,就可将两者很好地联系在一起,实现两者内容之间的相互显示。 随着硬件和软件技术的发展,各种功能优越的视卡不断出现,而且,趋势是一卡多用,例如将视卡和声卡做成一块卡,在视卡中即可实现压缩,又可完成解压回放等功能。因此,选用视频卡时要仔细进行调查。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
在这里,我们仅仅对常见的视频卡Video Blaster作一简要介绍,更详细的情况请参阅其他有关资料。 6.3.2 视频卡举例 在这里,我们仅仅对常见的视频卡Video Blaster作一简要介绍,更详细的情况请参阅其他有关资料。 1. Video Blaster视频卡的硬件结构 Video Blaster视频卡属于前述的视频采集卡,其硬件结构框图如图6-5所示。 在图6-5中,视频信号输入(可选三路输入中的任一路)经A/D变换器TDA8708转换为数字信号,再由解码器SAA9051形成YUV信号加到窗口控制器82C9001A上。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-5 Video Blaster视频卡的硬件框图 制作人:闫相位 班级及学号:03级计算机2班、20037104076
窗口控制器82C9001A是该视频卡的核心,其功能强大,主要表现在以下三个方面: (1) 将SAA9051解码器送来的YUV信号和同步信号进行处理,并将处理后的信号送往帧缓冲存储器VRAM。 (2) 与微机AT总线相连接,可以通过82C9001A实现微机对帧缓冲VRAM的读写。 (3) 实现与VGA卡的接口,接收由VGA卡送来的数据和同步信号,完成对VGA卡信号的显示和叠加。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
除此之外,Video Blaster视频卡还包括帧缓存、D/A变换、YUV到RGB的转换和模拟开关等硬件,这些硬件的功能很易理解。 总之,Video Blaster视频卡可以捕获输入的视频信号并进行显示,可显示VGA卡上的信号,也可对两者进行叠加并显示。 2. Video Blaster视频卡支持软件 首先,必须明确Video Blaster视频卡是插在微机上的一块电路板,是其设计者针对IBM PC机设计的,因此,它必须对PC机硬件、软件系统有一些基本要求。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
使用Video Blaster视频卡需要如下的系统: (1) IBM或兼容的486以上的PC机; (2) 配有VGA卡; 1) 系统环境需求 使用Video Blaster视频卡需要如下的系统: (1) IBM或兼容的486以上的PC机; (2) 配有VGA卡; (3) 操作系统必须有DOS 3.0以上或Windows 3.0以上版本。 可见,上述的系统需求就目前情况而言是极易满足的。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
何视频卡,当然也包括Video Blaster视频卡,产品的研制者除了研制视频卡硬件电路板提供给用户之外,还必须要研制与视频卡配套使用的软件。只有在这些软件的支持下,才能更好地发挥视频卡的效能,达到用户不同的目的。 Video Blaster视频卡软件可运行于DOS和Windows环境下,通过运行前对视频源进行设置来实现。下面只对Windows环境下的软件进行最简单的说明。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
在Windows环境下,Video Blaster视频卡的应用程序主要是如下三个: (1) VIDEOKIT.EXE; (2) VBSOUND.EXE; (3) VBSETUP.EXE。 BSETUP是Video Blaster视频卡的初始设置软件,用于在菜单提示下对视频源信息设置隐含值。例如,设置彩色标准是NTSC还是PAL;选择第几个(0,1或2)视频输入;视频为逐行扫描还是隔行扫描等。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
VIDEOKIT应用程序可实现在计算机的监视器上收看电视图像。在菜单提示下,操作者可以调节图像的亮度、饱和度、对比度及红、绿、蓝色的成分。 在菜单提示下,可以冻结或捕获某一帧图像,并可用选择不同的文件格式来存放图像。可以定义显示窗口的大小,并且能够利用屏蔽色度和亮度产生某些特殊效果。 VBSOUND程序运行时,利用菜单提示可控制话筒或线路输入的音量,实现左、右声道的控制以及Video Blaster视频卡两个内部音频输入的控制。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
总之,在Windows平台下,Video Blaster视频卡的应用程序为用户提供了一些基本的简单的视频(包括声音)的应用。利用它,用户可以收看视频图像并听到声音,同时,也可以捕获图像并存入硬盘中。使用者利用Video Blaster使用说明书,在菜单提示下很容易实现这些简单的应用。 3) Video Blaster视频开发工具 Video Blaster视频开发工具是为二次开发人员利用Video Blaster开发软件而提供的。目前,有三个开发Video Blaster的软件平台: 制作人:闫相位 班级及学号:03级计算机2班、20037104076
(1) DOS环境下,使用DOS下常驻的驱动程序VBLSTDRV.COM; (2) Windows环境下,使用PCVIDEO.DLL动态链接库; (3) Windows媒体控制接口(MCI)下,使用MCIVBLST.DRV MCI覆盖驱动程序。 下面只就Video Blaster视频编程基础知识作一简要说明,作为多媒体软件开发的基础。 (1) Video Blaster视频卡的数据流向。了解视频卡的数据流向十分重要,它有助于人们理解视频卡的工作,而且对于编制程序进行二次开发也是很有用的。Video Blaster视频卡的数据流向如图6-6所示。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
图6-6 Video Blaster视频卡的数据流向图 制作人:闫相位 班级及学号:03级计算机2班、20037104076
由图6-6可以看到,三个视频输入信号由视频源进行选择,被选中的视频信号经数字化进入输入控制,在其中可进行冻结,依据窗口的大小进行剪裁,按比例绘制等处理;而后,视频数据以YUV格式存放于视频缓冲区中;再把视频缓冲区中的视频数据加到显示叠加器上,与来自VGA显示卡的信号进行叠加,通过剪裁窗口的调节和色键的设置实现各种叠加功能,通过显示控制可以选择显示区域的大小及对显示图像的漫游等;最后,经过对颜色的控制,调节亮度、色度、饱和度等形成要显示的信号,加到显示器上。 通过对Video Blaster数据流向的理解,知道它的功能及输入输出关系,对在Video Blaster下进行编程是会有帮助的。这样,在具体编程时,就会知道该选用什么样的函数来达到目的。 制作人:闫相位 班级及学号:03级计算机2班、20037104076
(2) Windows DLL编程接口。动态链接库PCVIDIEO (2) Windows DLL编程接口。动态链接库PCVIDIEO.DLL是为Windows平台下Video Blaster编程提供的。该动态库为我们提供了大量的函数。这些函数功能强,在编程时可随时调用,使用起来很方便。在用户进行二次开发时,通过高级语言编程并调用这些函数,可以比较容易地实现二次开发的要求。 制作人:闫相位 班级及学号:03级计算机2班、20037104076