1、图像及视频基础知识光和颜色1 光和颜色可见光是波长在 380 nm780 nm 之间的电磁波，我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。如果光源由单波长组成，就称为单色光源。该光源具有能量，也称强度。实际中，只有极少数光源是单色的，大多数光源是由不同波长组成，每个波长的光具有自身的强度。这称为光源的光谱分析。颜色是视觉系统对可见光的感知结果。研究表明，人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞。红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同。自然界中的任何一种颜色都可以由 R，G，B 这 3 种颜色值之和来确定，以这三种颜色
2、为基色构成一个 RGB 颜色空间，基色的波长分别为 700 nm(红色)、546.1nm(绿色)和 435.8 nm(蓝色)。颜色R(红色的百分比)G(绿色的百分比)B(蓝色的百分比)可以选择不同的三基色构造不同的颜色空间，只要其中一种不是由其它两种颜色生成。例如 Y（Yellow,黄色），C（ Cyan，青色），M（Magenta，品红）。2 颜色的度量图像的数字化首选要考虑到如何用数字来描述颜色。国际照明委员会 CIE（International Commission on Illumination ）对颜色的描述作了一个通用的定义，用颜色的三个特性来区分颜色。这些特性是色调，饱和度和明度
3、，它们是颜色所固有的并且是截然不同的特性。色调(hue)又称为色相，指颜色的外观，用于区别颜色的名称或颜色的种类。色调用红、橙、黄、绿、青、蓝、靛、紫等术语来刻画。用于描述感知色调的一个术语是色彩(colorfulness)。饱和度(saturation)是相对于明度的一个区域的色彩，是指颜色的纯洁性，它可用来区别颜色明暗的程度。完全饱和的颜色是指没有渗入白光所呈现的颜色，例如仅由单一波长组成的光谱色就是完全饱和的颜色。明度(brightness)是视觉系统对可见物体辐射或者发光多少的感知属性。它和人的感知有关。由于明度很难度量，因此国际照明委员会定义了一个比较容易度量的物理量，称为亮度(lu
4、minance) 来度量明度，亮度(luminance)即辐射的能量。明度的一个极端是黑色(没有光)，另一个极端是白色，在这两个极端之间是灰色。光亮度(lightness)是人的视觉系统对亮度(luminance)的感知响应值，光亮度可用作颜色空间的一个维，而明度(brightness)则仅限用于发光体,该术语用来描述反射表面或者透射表面。3 颜色空间颜色空间是表示颜色的一种数学方法，人们用它来指定和产生颜色，使颜色形象化。颜色空间中的颜色通常使用代表三个参数的三维坐标来指定，这些参数描述的是颜色在颜色空间中的位置，但并没有告诉我们是什么颜色，其颜色要取决于我们使用的坐标。使用色调、饱和度和明
5、度构造的一种颜色空间，叫做 HSB(hue, saturationand brightness)颜色空间。RGB(red，green and blue)和 CMY(cyan, magenta andyellow)是最流行的颜色空间，它们都是与设备相关的颜色空间，前者用在显示器上，后者用在打印设备上。RGB(red，green and blue)和 CMY(cyan, magenta and yellow)是最流行的颜色空间，前者用在显示器上，后者用在打印设备上。从技术上角度区分，颜色空间可考虑分成如下三类： RGB 型颜色空间/计算机图形颜色空间：这类模型主要用于电视机和计算机的颜色显示系统。
6、例如，RGB，HSI, HSL 和 HSV 等颜色空间。 XYZ 型颜色空间/CIE 颜色空间：这类颜色空间是由国际照明委员会定义的颜色空间，通常作为国际性的颜色空间标准，用作颜色的基本度量方法。例如，CIE 1931 XYZ，L*a*b，L*u*v 和 LCH 等颜色空间就可作为过渡性的转换空间。 YUV 型颜色空间/电视系统颜色空间：由广播电视需求的推动而开发的颜色空间，主要目的是通过压缩色度信息以有效地播送彩色电视图像。例如，YUV，YIQ，ITU-R BT.601 YCbCr, ITU-R BT.709 YCbCr 和 SMPTE-240M YPbPr 等颜色空间。4 颜色空间的转换不
7、同颜色可以通过一定的数学关系相互转换： 有些颜色空间之间可以直接变换。例如，RGB 和 HSL，RGB 和 HSB，RGB 和 RGB, RGB和 YCrCb，CIE XYZ 和 CIE L*a*b*等。 有些颜色空间之间不能直接变换。例如，RGB 和 CIE La*b*, CIE XYZ和 HSL，HSL 和 YCbCr 等，它们之间的变换需要借助其他颜色空间进行过渡。RGB和 YCbCr 两个彩色空间之间的转换关系用下式表示：Y = 0.299R + 0.587G + 0.114BCr = (0.500R - 0.4187G - 0.0813B) + 128Cb = (-0.1687R -
8、 0.3313G + 0.500B) + 128二、彩色电视的制式及其颜色空间1、彩色电视制式目前世界上现行的彩色电视制式有三种：NTSC 制、PAL 制和 SECAM 制。这里不包括高清晰度彩色电视 HDTV (High-Definition television)。NTSC(National Television Systems Committee)彩色电视制是 1952 年美国国家电视标准委员会定义的彩色电视广播标准，称为正交平衡调幅制。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制式。NTSC 彩色电视制的主要特性是：(1) 525 行/帧, 30 帧
9、/秒(29.97 fps, 33.37 ms/frame)(2) 高宽比：电视画面的长宽比(电视为 4:3；电影为 3:2；高清晰度电视为16:9)(3) 隔行扫描，一帧分成 2 场(field)，262.5 线/场(4) 在每场的开始部分保留 20 扫描线作为控制信息，因此只有 485 条线的可视数据。Laser disc 约420 线，S-VHS 约320 线(5) 每行 63.5 微秒，水平回扫时间 10 微秒(包含 5 微秒的水平同步脉冲)，所以显示时间是 53.5 微秒。(6) 颜色模型：YIQ一帧图像的总行数为 525 行，分两场扫描。行扫描频率为 15 750 Hz， 周期为 6
10、3.5s；场扫描频率是 60 Hz，周期为 16.67 ms；帧频是 30 Hz，周期33.33ms。每一场的扫描行数为 525/2=262.5 行。除了两场的场回扫外，实际传送图像的行数为 480 行。由于 NTSC 制存在相位敏感造成彩色失真的缺点，因此德国(当时的西德)于1962 年制定了 PAL(Phase-Alternative Line)制彩色电视广播标准，称为逐行倒相正交平衡调幅制。德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。PAL 电视制的主要扫描特性是：(1) 625 行(扫描线)/帧，25 帧/秒(40 ms/帧)(2) 长宽比(aspect ratio)：
11、4:3(3) 隔行扫描，2 场/帧，312.5 行/场(4) 颜色模型：YUV法国制定了 SECAM (法文：Sequential Coleur Avec Memoire)彩色电视广播标准，称为顺序传送彩色与存储制。法国、苏联及东欧国家采用这种制式。世界上约有 65 个地区和国家试验这种制式。这种制式与 PAL 制类似，其差别是 SECAM 中的色度信号是频率调制(FM)，而且它的两个色差信号：红色差(R-Y)和蓝色差(B-Y)信号是按行的顺序传输的。法国、俄罗斯、东欧和中东等约有 65 个地区和国家使用这种制式，图像格式为 4:3，625 线，50 Hz，6 MHz 电视信号带宽，总带宽 8
12、 MHz。2、彩色电视的颜色空间在彩色电视中，用 Y、C1, C2 彩色表示法分别表示亮度信号和两个色差信号，C1，C2 的含义与具体的应用有关。在 NTSC 彩色电视制中，C1，C2 分别表示I、Q 两个色差信号；在 PAL 彩色电视制中，C1，C2 分别表示 U、V 两个色差信号；在 CCIR 601 数字电视标准中，C1，C2 分别表示 Cr，Cb 两个色差信号。所谓色差是指基色信号中的三个分量信号(即 R、G、B)与亮度信号之差。NTSC 的 YIQ 颜色空间与 RGB 颜色空间的转换关系如下：Y=0.30R+0.59G+0.11BI=0.74(RY)0.27(BY) = 0.60R+
13、0.28G+0.32BQ=0.48(RY)0.27(BY) = 0.21R+0.52G+0.31BPAL 的 YUV 颜色空间与 RGB 颜色空间的转换关系如下：Y=0.30R+0.59G+0.11BU=0.493(BY) = 0.15R0.29G+0.44BQ=0.877(RY) = 0.62R0.52G0.10B三、视频图像采样模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的 YUV 信号方式，而计算机工作在 RGB 空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫
14、描的转换以及分辨率的统一。模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到 YUV 或 YIQ 分量，然后用三个模数转换器对三个分量分别采样并进行数字化，最后再转换成 RGB 空间。1、图像子采样对彩色电视图像进行采样时，可以采用两种采样方法。一种是使用相同的采样频率对图像的亮度信号（Y）和色差信号（Cr，Cb）进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。由于人的视觉对亮度信号的敏感度高于对色差的敏感度，这样做利用人的视觉特性来节省信号
15、的带宽和功率，通过选择合适的颜色模型，可以使两个色差信号所占的带宽明显低于 Y 的带宽，而又不明显影响重显彩色图像的观看。目前使用的子采样格式有如下几种：(1) 4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每 4 个连续的采样点取 4 个亮度 Y 样本、4 个红色差 Cr 样本和 4 个蓝色差 Cb 样本，这就相当于每个像素用 3 个样本表示。(2) 4:2:2 这种子采样格式是指在每条扫描线上每 4 个连续的采样点取 4个亮度 Y 样本、2 个红色差 Cr 样本和 2 个蓝色差 Cb 样本，平均每个像素用2 个样本表示。(3) 4:1:1 这种子采样格式是指在每条扫描线上每
16、4 个连续的采样点取 4个亮度 Y 样本、1 个红色差 Cr 样本和 1 个蓝色差 Cb 样本，平均每个像素用1.5个样本表示。(4) 4:2:0 这种子采样格式是指在水平和垂直方向上每 2 个连续的采样点上取 2 个亮度 Y 样本、1 个红色差 Cr 样本和 1 个蓝色差 Cb 样本，平均每个像素用1.5 个样本表示。2、CIF、QCIF 和 SQCIF 格式为了既可用 625 行的电视图像又可用 525 行的电视图像，CCITT 规定了称为公用中分辨率格式 CIF(Common Intermediate Format)，1/4 公用中分辨率格式(Quarter-CIF，QCIF)和(Sub
17、-Quarter Common Intermediate Format，SQCIF)格式对电视图像进行采样。CIF 格式具有如下特性：(1) 电视图像的空间分辨率为家用录像系统(Video Home System，VHS)的分辨率，即 352288。(2) 使用非隔行扫描(non-interlaced scan)。(3) 使用 NTSC 帧速率，电视图像的最大帧速率为 30000/100129.97 幅/秒。(4) 使用 1/2 的 PAL 水平分辨率，即 288 线。(5) 对亮度和两个色差信号(Y、Cb 和 Cr)分量分别进行编码，它们的取值范围同 ITU-R BT.601。即黑色=16，
18、白色=235，色差的最大值等于 240，最小值等于 16。下面为 5 种 CIF 图像格式的参数说明。参数次序为“图象格式 亮度取样的象素个数(dx) 亮度取样的行数 (dy) 色度取样的象素个数(dx/2) 色度取样的行数(dy/2)”。sub-QCIF 128 96 64 48QCIF 176 144 88 72CIF 352 288 176 1444CIF 704 576 352 28816CIF 1408 1152 704 5764CIF 即我们经常说的 D1 格式，目前我们开发的 HB-1514 卡可以支持双CIF，即分辨率为 PAL 528X384，NTSC 528X320,Half D1 为 PAL 704X288，NTSC 704X240，作为图像质量和图像压缩比折中的一个方案。
