摄像头基础知识培训.pdf

1、编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25深圳市银之杰科技股份有限公司摄像头基础知识培训一.摄像头种类3二.USB 摄像头工作原理.3三. 摄像头零件解构41、图像传感器 SENSOR.42、数字信号处理芯片 DSP53、 镜头（LENS）.54、 USB 线7四. 摄像头驱动9五. 摄像头的一些名词分辩率91、分辨率.92、感光面积.103、灯光条纹（属于软件问题）104、 景深.125、 清晰度.136、 坏点（属于硬件问题）.137、 色彩还原.14编写人 : 银之杰 金融设备事业部 赵海东 2016-3-258、 FOV.149、帧率.1510、视频格式1611、失

2、真（畸变）1712、白平衡1813、曝光1914、带宽2015、DPI2116、拍照方式2217、错误码23编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25一.摄像头种类摄像头是一种光电转换设备，种类主要包括 USB 摄像头(USB 接口)，手机摄像头(DVP&MIPI 接口)，模拟摄像头(AV 接口，主要用于监控，车载等)，网络摄像头(RJ45&无线接口，主要用于监控)等。USB 摄像头 手机摄像头 模拟摄像头 网络摄像头二.USB摄像头工作原理摄像头的工作原理大致为：景物通过镜头（LENS）生成的光学图像投射到图像传感器（SENSOR）表面上，然后转为电信号，经过 A/D（模

3、数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过 USB 接口传输到电脑中处理，通过显示器就可以看到图像了。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25三.摄像头零件解构1、图像传感器SENSOR在摄像头的三大结构组件中，我认为最重要的就是图像传感器了，因为感光器对成像质量起着决定性的作用，如果图像传感器效果不怎么好，无论后端的 DSP 和电脑端应用软件再强大，也不可能让图像效果有大的提升，而一个效果好的图像传感器采集到的图像甚至可以不需要后端处理。感光芯片可以分为两类：CCD（charge couple device） ：电荷耦合器件CMO

4、S(complementary metal oxide semiconductor)：互补金属氧化物半导体CCD 的价格比较高，多用在网络摄像头，车载摄像头等监控设备上，还有就是数码相机，而 CMOS 摄像头则是非常主流（性能，包括价格）的大众级产品，从理论上说，CCD传感器在灵敏度、分辨率、噪声控制等方面都优于 CMOS 传感器，而 CMOS 传感器则具有低成本、低功耗、以及高整合度的特点。简单地讲，就是 CCD 摄像头成像质量会更好，图像明锐通透、细节丰富，色彩还原度好，曝光准确。之前的 CMOS 都是属于前照式，但随着科技的发展，现在的 CMOS 也发展出了背照式 CMOS，背照式 CM

5、OS 的制作工艺和前照式不同，能增大感光量，提高拍摄灵敏度，显著提高低光照条件下的拍摄效果，像现在我们的手机和数码相机 800 万及以上的摄像头，都已经采用了背照式。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25目前市场上 5M 及 5M 以上的 CMOS 芯片，主要厂家有 OV，索尼，镁光，松下，三星，东芝等，其中 OV 和镁光占据了 5M 的绝大部分市场，5M 以上 OV 和索尼的占有率较高。而 5M 以下的 CMOS 芯片厂家有格科微，思比科，比亚迪，OV 等，其中格科微占据了国内 80%的出货量，格科微最主要的特色就是价格便宜，性价比高，而 OV 则主打效果。2、数字信

6、号处理芯片DSPDSP 最主要的功能是：初始化感光芯片，并将感光芯片获取的数据通过 USB 接口及时快速地传到电脑，DSP 直接决定感光芯片输出画面的品质（比如色彩饱和度、清晰度）与流畅度，如果 DSP 控制的好，那么感光芯片将会输出它所能输出的最高画质，反之，感光芯片的画质就要打折了。目前市场上功能强大，型号众多，效果软好，品质稳定的 DSP 有中星微(北京)，松瀚(台湾)，凌阳(台湾)，Realtek(台湾)，安国(台湾)的产品，同时，他们的价格也会较高。另外国内和台湾还有十多家 DSP 厂家，这些 DSP 的特点是价格便宜，但他们的 DSP 可能存在测试不够严格，稳定性相对低，研发实力低

7、，BUG 多的弊端。3、镜头（LENS）编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25镜头对画质的影响仅次于 CMOS 芯片，它由几片透镜组成，一般可分为塑胶镜片（plastic）或玻璃镜片（glass）。塑胶镜片的透光率要低于玻璃镜片的，它的优点是价格便宜，并且尺寸可以做的很小，像手机和平板电脑里的镜头都是塑胶镜片，而玻璃镜片的价格和体积通常会高出同规格塑胶镜片好多倍，但同时也会带来更好的清晰度和低照度。通常摄像头用的镜头构造有：1P、2P、3P、4P、5P、1G1P、1G2P、2G2P、2G3P、4G、5G 等。G 代表玻璃材质，效果很好，价格较高，P 代表塑料材质，效果一

8、般，价格便宜。镜片越多，相对成像效果会更出色，成本也会越高。因此一个品质好的摄像头应该是采用多层玻璃镜头。现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即： 1P、2P、1G1P、1G2P 等）。5M 的镜头，如果要追求效果好，一般应该采用的结果是 4P 或者 5G。而 3P 镜头一般用于 2M 摄像头，2P 和 1P 一般用于 0.3M 的摄像头。好些的镜头都会镀两种膜，一种是 AR 膜，一种是 IR 膜.如果镜头不镀 AR 膜，图像亮度会下降，因为 AR 膜的主要作用是增加光的透过率.太阳光中红外波长部分携带有很大的能量，这部分光线我们肉眼是看不到的。当镜

9、头没有 IR 膜时，红外波段的能量就会通过镜头被感光芯片的红色像素吸收，并换化为信号，因此影像的红色分量就比较大，影像整体会偏红，所以需要 IR 膜来滤除这部分能量。不过像夜间监控这种摄像机，恰恰相反是不能有 IR 的，因为夜间光线很暗，如果采用白光照明，那么照明灯将会很刺眼，会影响车辆和行人，所以夜间监控摄像机都是采用人眼编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25看不到的红外光进行照明，然后用不带 IR 的镜头收集红外线，然后经感光芯片出来红色的图像，为了得到较好的视觉效果，再把红色图像转为黑白图像，这就是为什么我们看到的晚上的监控录像黑白的比较多。下图中，之所以能看到镜

10、片是红色，就是因为镜头上镀了一层 AR 膜。镜头的镜片不能直接用手去摸，不然手上的油渍粘在镜头上，会造成图像模糊。4、USB线USB 线对摄像头的正常工作影响很大，一个做工好的 USB 线，即使有 5M 的长度，使用依然不会有任何问题，而一条做式很差的 USB 线，可能 1M 的长度就会使摄像头出现无法识别，掉设备，黑屏等问题。目前我们公司的摄像头都是 USB2.0 的，对线材的要求，简单地说有以下几点：1.线材材质为铜2.有铝箔屏蔽3.至少 32 编的编织网编写人 : 银之杰 金融设备事业部 赵海东 2016-3-254.DM,DP 最小线径不小于 28AWG5.电源线线径尽量大于 26AW

11、G符合 USB2.0 标准的 USB 线如下图：而 USB1.1 里就没有纺织网的要求，并且对线材线径和屏蔽也比 USB2.0 低很多，比如USB 鼠标就是用的 USB1.1 的线材，符合 USB1.1 标准的线材如下图：编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25四.摄像头驱动摄像头的驱动叫 UVC 驱动，从 XP SP3开始集成在操作系统中，对于版本低于 XP SP3的系统，需要手动安装驱动（驱动见附件）。另外，有些银行的终端机，操作系统做了较大的精简，可能会删除 UVC 驱动，这种系统就识别不到摄像头，需要安装驱动。五.摄像头的一些名词分辩率1、分辨率摄像头的分辨率完全

12、由感光芯片来决定，现在摄像头的主要的分辩率如下：QCIF： 176 x 144QVGA： 320 x 240CIF： 352:288VGA： 640 x 480 0.3M，30W 像素HD(720P): 1280 x 720 高清SXGA ： 1280 x 1024 1.3M，130W 像素UXGA： 1600 x 1200 2M，200W 像素FHD(1080P):1920 x 1080 全高清QXGA： 2048 x 1536 3M，300W 像素QSXGA： 2592 x 1944 5M，500W 像素QUXGA： 3264 x 2448 8M，800W 像素编写人 : 银之杰 金融设备

13、事业部 赵海东 2016-3-252、感光面积感光面积指的是感光芯片感应光线的区域的大小，感光面积越大，得到的光就越多，单个像素点分到的光就越强，效果就会越好，一般情况下，1/4“的感光芯片效果会比 1/5“的好一些，1/2.5“会比 1/3.2“的好一些。3、灯光条纹（属于软件问题）编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25灯光条纹是因为受到 50Hz 市电的影响，办公室灯光的强度不是均匀的，它随交流电（AC）频率变化。例如：如果交流电频率是 50Hz，灯光强度变化的频率就是 100Hz，如下图：因为 CMOS 是逐行扫描的，所以就导致每一帧里前面行和后面行曝光时日光灯的

14、亮度不一样，从而图像上会看到明暗条纹。目前 CMOS 针对灯光条纹有两种解决方法，一种是定死当前市电是 50Hz，然后软件消除，一种是自动识别当前市电是 50Hz 还是 60Hz，当识别正确后，再做消除动作。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25当然并不是所有的灯光条纹都是可以消除的，当环境光比较复杂时，比如同时存在日光灯和太阳光时，灯光条纹就可能会消除不了。4、景深在镜头的焦点前后各有一个容许模糊圈(弥散圈)，这两个模糊圆之间的距离就叫景深，即：在被摄主体(对焦点)前后，其影像仍然有一段清晰范围的，就是景深。景深大，远近都能看清 景深小，近处清晰远处模糊因为我们的摄像

15、机都是定焦的，所以要求景深是越大越好，这样远近都能看清。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-255、清晰度清晰度一般用专门的清晰度测试图纸来测试，500 万用 EIA Resolutionchart，500 及以上用 ISO12233，两种图纸见下图。EIA Resolution char ISO12233清晰度好的情况下，中心会很清晰，四周略差，但是四周的清晰度应该是相同的，如果有半边清晰，半边模糊的图像，就有可能是镜头装歪导致的。6、坏点（属于硬件问题）摄像头和 LCD 一样会存在坏点，但是 CMOS 芯片像素的大小都是 um 级的，像素密度更是 LCD 的几万甚至几

16、十万倍，所以 CMOS 的坏点会更多，但 CMOS 芯片本身一般都有补坏点的功能，单个像素的坏点直接用四周像素的亮度和色彩平均值填充，肉眼基本上看不出来，但如果很多坏点堆在一起，比如 4*4，那么补点功能就做不好了，这样的一般都要做不良品来处理，如下图：编写人 : 银之杰 金融设备事业部 赵海东 2016-3-257、色彩还原色彩还原使用国际标准的 24 色卡来测试，一般要求拍出来的色彩尽量接近色卡的颜色。8、FOVFOV 分为对角 FOV，水平 FOV 和垂直 FOV，一般我们说的 FOV 都是对角 FOV。FOV 越大，视野就越广，同时细节就越少，而当 FOV 超过 80 度时，光学畸变就

17、会比较明显；FOV 越小，视野就越小，但细节就会被放大，就像望远镜和显微镜一样。FOV 需编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25要经过测试计算得出，不能认为镜头 FOV 是多少就是多少，需要根据三角函数公式来计算。上图中方框是我们的摄像头拍到的实物，a 是摄像头到实物的距离，b 是被拍摄物体的对角线的长度，摄像头位于处那么 FOV=2arctg(b/2a)。FOV 决定了我们的平台和印控机的摄像头安装高度，我们平台和印控机的摄像机一般拍照幅面都是比A4 大一点，所以，FOV 越大，摄像头就要装的越低，FOV 越小，摄像头就要装的越高。9、帧率USB 协议里规定 USB

18、摄像头采用 ISO 模式传输数据，USB 协议里面 ISO 模式传输带宽大约是 160Mb/S，所以一个未经压缩过的视频图像，30 万像素预览时最高帧率是 30fps，同样，就可以计算出 130W 时的帧率是 78fps，200 万的帧率是 45fps，500 万的帧率约为 2fps，800 万的帧率约为 1.2fps。一般摄像头在正常光线下(室外)，图像的帧率应该在 2530 之间，当光线减弱时，帧率也会下降，这样就可以保证每帧都能得到足够的光线，从而降低光线对图像效果的影响，但帧率的降低也会引入不足，那就是图像会产生拖影，帧率越低，拖影也就越严重。我们的肉眼对每秒 24 帧以上的视频，几乎

19、察觉不出来有拖影，视觉效果较好，所以电编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25影的帧率都在 24 帧每秒以上。10、视频格式USB 摄像头的视频格式有三种，分别是 YUV，MJPG，H.264。三种种格式各有利弊：YUV 格式图像是感光像素点出来的较原始的数据，没经过压缩，只是将 RGB 转换为YUV，所以清晰度高，细节表现好，电脑不需要做解码动作，对 CPU 和 GPU 要求较低，可以被 XP SP3 及以上所有的 UVC 驱动所支持，兼容性很好。但 YUV 每帧图像的体积较大，在同样的带宽下，传输速度慢，拖影严重，因为自动曝光和自动白平衡是逐帧进行，所以自动曝光和自动

20、白平衡也较慢。MJPG格式是感光像素点出来的 RGB 数据，由硬件压缩模块计算而来，同样数量的像素点，图像体积可以很小，传输速度很快，自动曝光和自动白平衡也很迅速。MJPG 会损失一些图像细节，并且因为是高分辨率的 MJPG 编码，所以电脑端解码时需要消耗更多的 CPU 和 GPU 资源。另外 MJPG 视频流在 XP SP3 系统开始被支持，不过只支持 2048 x 1536 及以下分辨率，要打开更高分辨率的视频，需要安装额外的解码器（解码器见附件）。从 WIN8.1 开始，开始支持 2048 x 1536 以上的 MJPG 视频，就不再需要解码器了。H.264 格式是一种压缩比和图像质量都

21、比较优秀的编码方式，同样的图像质量下，视频的体积要比 MJPG 更小，传输更快。不过 H.264 的缺点也很明显，因为在摄像头上使用的时间较晚，所以很少有软件能够打开 H.264 的视频，同样，电脑解码也消耗 CPU 和 GPU 资源。所有的摄像头都支持 YUV 视频流，不过支不支持 MJPG，H.264 格式，是受到硬件限编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25制的，只有硬件上有 MJPG 和 H.264 编码模块的摄像头才能输出。11、失真（畸变）畸变是摄像头拍摄的画面相对于被拍摄图案的几何变形，一般像广角镜头，鱼眼镜头，针孔镜头，锥形镜头的畸变会比较严重。畸变有三种

22、，桶形畸变，枕形畸变，梯形畸变。其中桶形畸变和枕形畸变是完全由镜头决定的；而梯形畸变是由结构和安装误差造成的，当摄像头感光芯片的平面和平台底板的平面不平行的时候，梯形畸变变会产生。三种畸变对我们的验印影响都比较大，比如当图像有桶形畸变时，放在图像的正中间的印章会比放在四周的印章小，而当图像有枕形畸变时，放在图像正中间的印章会比放在四周的印章大，当图像有梯形畸变时，放在图像上下左右中的印章可能都不一样大，这样验印的时候就会因为章的大小不一样而造成验印不通过。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25计算畸变需要拍摄下图的测试图，然后根据拍摄到的画面测量一些数据按公式计算畸变有

23、多大。畸变率=(a/b)*100%理想的情况下，当畸变率0.2%时，对我们的验印基本没有什么影响，但实际能达到这样要求的镜头很少，所以我们只能通过软件对畸变进行调整，我们公司目前已经有这样的软件，先用一张标准的格子纸计算出每个区域的畸变，然后再对每次拍摄的图片进行校正。12、白平衡在不同光源下（晴天、阴天、白炽灯、闪光灯等），因色温不同，拍摄出来的照片会偏色，白平衡就是通过图像调整，使在各种光线条件下拍摄出的照片色彩和人眼所看到的景物编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25色彩相同，不过白平衡是无法达到人眼的调节效果的，在拍一些大面积纯色的图像时，比如一张黄纸，白平衡会把

24、它纠正为一张白纸。在光线复杂的环境下，必须要开自动白平衡，不然拍出来的颜色是会偏色的，但是在光线单一的环境中，自动白平衡就完全没有必要了，比如 G36 内部的凭证摄像机，只要能保证光源一致性很好，就可以关闭白平衡，这样做还可以避免自动白平衡把带纯色的纸调整为白纸的现象。13、曝光现实中的光线是千变万化的，比如办公室内环境光强约为 200500Lux，座位边上有个柱子挡了灯光，那么光强可能就低于 100Lux，早上窗边的光强是 200Lux，中午可以达到 2000Lux，而室外阳光下却可以达到 20000Lux。动物的眼睛有瞳孔可以调节进入光线的大小，从而可以在很暗和很亮的光线下看清物体，类似的

25、数码相机的镜头可以调节光圈的大小，我们用的摄像机没办法安装这么大的镜头，但可以采用调节进入光线的时间来调节进入光线的多少，这就是曝光时间。比如我们的摄像机在 200 万出图时，每秒钟有 5 张图片，这样每张图片最长可以接受0.2 秒的光照，如果光线很强，就可以把这个时间缩短到 0.01 秒，以保证在强光下得到的光线不会比弱光下多，从而保证图像不会因光线的不同而过亮或者过暗。我们的摄像机有自动曝光和手动曝光两种，自动曝光时，软件会从最低的曝光开始，慢慢的增加曝光时间，然后再计算图像的亮度是否达到正常，如果还不够则继续增加，从开始曝光到稳定这个过程往往需要 10 多帧时间，如果帧率很快，比如 15

26、fps，那么也就不到 1秒的时间，但如果帧率很慢，比如 500 万时，那么就需要很长时间才能稳定了。像 G36 那种光线稳定的，就可以用手动曝光，从而缩短曝光的时间。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-2514、带宽所有的 USB 设备都会占用 USB 带宽，当一个 USB 设备接入电脑时，在不使用的情况下，默认占用 1%的带宽，当使用时，根据不同场景会占用不同的带宽。鼠标，键盘这些设备，工作的情况下也只占用 1%的带宽，而 USB 网卡，U 盘，USB显示屏，USB 摄像头这些设备，都是带宽大户。USB 摄像头采用的是 ISO 模式传输，单个摄像头最大能占用 160Mb

27、/S 的带宽，当多个摄像头同时打开时，它们就会去争抢 480Mb/S 的带宽，再加上 USB 协议开销也要占用很多带宽，系统要保留一部分带宽，所以一般的电脑上如果没有其他 USB 设备，那么最多只能同时打开两个摄像头，遵守先打开先分得带宽的原则，当剩下的带宽不足以支撑打开下一个摄像头时，就会返回带宽不足的错误码。如果有需要同时打开三个摄像头的场景，那么只能把每个摄像头的带宽降一些。带宽降就是降帧率，帧率降了，就意味着摄影更严重。USB 摄像头占用的带宽可以在 WIN7 电脑上查看，把摄像头接到 USB2.0 口上，打开图像，在设备管理器里，找到通用串行总线控制器下的开头是 Intel(R)的设

28、备，双击，然后点击”高级”，在下方的”带宽消耗设备“里，名字为 USB Composite Device 的，基本上就是摄像头（如果电脑上 USB 设备较多，不能确定，那么可以先关闭摄像头，再点刷新，如果这个设备消耗的带宽变为 1%，那么就是摄像头了），后面就可以看到这个摄像头所消耗的带宽了，如下面两幅图像。每台电脑里都有几个开头是 Intel(R)的设备，我们并不知道摄像头是挂在哪个下面的，所以就要一个一个地试，可以用上面所说的打开关闭刷新的方法来确定。编写人 : 银之杰 金融设备事业部 赵海东 2016-3-2515、DPIDPI 和我们听到的手机屏幕的 PPI 的参数是类似的，指的是每英

29、寸所包含的像素的数量，DPI 越大，说明图像越精细，细节表现越是丰富。我们的平台做验印时，DPI 是个很重要的参数，因为每个厂家的验印平台图像参数都不一样，并且同一厂家不同的平台的图像参数也不同，如果所有厂家的验印平台都不兼容，那么验印就很难推广了，所以方法就是，统一 DPI，比如我们现在规定用 500 万像素做验印编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25时，生成的印章都要是 200DPI 的，这样无论是谁家的平台建的印模，别家的平台只要生成200DPI 的图像，就可以相互做验印了。DPI 计算方法：DPI=图像上的像素数（直线 A）*25.4/长度（用直尺量直线 A，单

30、位毫米）下图中，DPI=75*25.4/10=18416、拍照方式拍照方式有两种，一种是由摄像头完成拍照，一种是由电脑软件完成拍照，优缺点分别描述如下：摄像头拍照，优点是视频和拍照的分辨率可以不一样，如可以用 30 万像素的视频出图，用 500 万像素来拍照，这样视频会就会流畅，不会有拖影的问题。缺点就是，每次拍照，电脑软件都会向摄像头发送拍照命令，摄像头收到命令后，会先停止出图，然后按新的分辨率初始化摄像头，再把拍照后的图像传给电脑，然后再恢复出图，这样整个流程下来后时间就会很长，我们公司目前没有采用这种方式。软件拍照，就和摄像头没关系了，摄像头只管出图，也不会知道软件有没有在拍照，软件要拍

31、照时，就从当前的视频流里，取出一张图片保存下来，就完成拍照了，优点就是，不编写人 : 银之杰 金融设备事业部 赵海东 2016-3-25需要初始化摄像头，拍照速度快。缺点是，要拍多大分辨率的图片，就要用多大的分辨率来出图，如果拍的图片很大，那么视频帧率就会很低，就会产生拖影，为了避免拍拖影，就要延时零点几秒来让图像稳定后再拍。17、错误码有的时候摄像头打不开，像微软的 AMCAP 和我们公司的 XUSBVIDEO 都会有一个错误码，常见的错误码有两个，0x800705aa 代表当前摄像头已经被其他软件打开了，无法重复打开；0x8007001f 则代表剩余带宽不够，无法打开下一个摄像头。编写人 : 银之杰 金融设备事业部 赵海东2016-3-25