1、机器视觉算法与应用,-摄像机,制作人：康照川,摄像机的简介,摄像机是机器视觉系统中的一个关键组件其功能就是将光信号转变成为有序的电信号，并生成需要的图像。 摄像机又称工业相机，相比于传统的民用相机而言，它具有高的图像稳定性、高传输能力和高抗干扰能力。 摄像机中最重要的部件就是数字传感器。,摄像机的分类,按照芯片结构分类：CCD相机，CMOS相机。 按照传感器结构分类：面阵相机，线阵相机。 按照传输模式分类：模拟相机，数字相机。 按照成像情况分类：彩色相机，黑白相机。,摄像机的结构,工业相机 相机简单示意图,CCD传感器,CCD传感器-电子耦合组件（charged coupled device）
2、,是由光线敏感的光电探测器组成。曝光时，光电探测器累积电荷通过转移门电路，电荷被转移至串行读出寄存器从而读出。读出的过程是将电荷转移至电荷转换单元，转换单元将电荷转换为电压，并将电压放大。 电压放大后就可以转换为模拟或者数字视频信号。,CCD传感器,你可以将CCD传感器想象成一颗颗微小的感应粒子，铺满在光学镜头的后方，当光线与图像从镜头透过、投射到CCD表面时，CCD就会产生电流，将感应到的内容转换成数码资料存储在相机内部的闪速存储器或内置硬盘卡内。CCD像素的数目越多、单一像素尺寸越大，收集到的图像就会越清晰。,CCD传感器的种类,CCD传感器分为线阵传感器和面阵传感器。面阵传感器分为全帧转
3、移型面阵传感器、帧转移型面阵传感器和隔列转移型面阵传感器。,线阵传感器,线阵传感器只能生成高度为1行的图像，在实际中有限。因此常通过多行组成二维图像。为了得到有效的图像，线阵传感器必须相对于被测物体做相对运动。,相机运动被测物不动,相机不动被测物动,线阵相机注意的问题,传感器本身必须与被测物平面平行并与运动方向垂直以保证得到矩形像素。 线采集频率必须与摄像机和被测物之间相对运动速度相匹配以得到方形像素。 如果运动速度是变化的，就需要编码器来触发传感器来采集每行图像。相对运动可以由步进电机驱动来产生。 线传感器的读出速度在14-140kHz之间，会限值每一行的曝光时间，所以需要很强的照明。,全帧
4、转移型面阵传感器,在这里光在光电探测器中转换为电荷，在未曝光期间电荷按行的顺序转移到串行读出电路寄存器，然后与线阵传感器的方式一样转换为视频信号。,全帧转移型面阵传感器,优点：填充因子(像素光敏感区域与整个靶面之比)可以达到非常高，甚至达到100%。这样传感器灵敏度非常大，图像失真最小。 缺点：由于传输和读出使用的时钟相同，由于上面的像素要经过下面的像素移出，因此传感器上面的部分曝光时间比下面的长，这会造成拖影（Smear）现象。为了解决这个问题，必须使用机械快门或闪光灯。,全帧转移型面阵传感器,有拖影的图片,无拖影的图片,帧转移型面阵传感器,这个是为了解决全帧转移型传感器的拖影问题，全帧转移
5、型传感器加上另外的传感器用于存储，这个传感器上有金属光屏蔽层。这种类型的传感器，图像产生于光敏传感器，然后转移至有光屏蔽层的存储阵列，在空闲时读出。,帧转移型面阵传感器,优点：其填充因子可达100%，图像失真化最小，而且不需要机械快门或闪光灯。在曝光时间较长的情况下，拖影现象比全帧转移型面阵传感器小很多。 缺点：由于需要两个传感器，因此成本非常高 应用：鉴于高灵敏度和拖影等特征上面两种传感器通常用于像天文等曝光时间比读出时间长的科学研究领域。,隔列转移型面阵传感器,如果所示，这种传感器还有一个带有不透明的金属屏蔽层的垂直转移寄存器，图像曝光后，累积到电荷通过传输门电路转移到垂直传输寄存器，电荷
6、通过垂直传输寄存器移至串行读出寄存器，经过放大，最后形成视频信号。,隔列转移型面阵传感器,电荷转移时间约为1us，因此完全不存在拖影（Smear）现象。 优点：由于转移时间非常短，因此不需要使用机械快门或闪光灯 缺点：由于屏蔽区占用了Sensor的部分面积，因此使得此种传感器填充因子只能在20%70%，图像失真会增加。,隔列转移型面阵传感器,为了增大填充因子，常利用在传感器上加上微镜头来使光聚焦至光敏光电二极管。但是填充因子还是难以达到100%,模拟CCD摄像机的读出模式,隔行扫描,逐行扫描,CMOS传感器,CMOS传感器,与CCD传感器不同，光电二极管中的电荷不是顺序的转移至读出寄存器，CM
7、OS的每一行都可以通过行列选择电路直接选择并读出。这方面CMOS传感器可以当作随机存取存储器。CMOS每个像素都有一个自己的独立放大器。因此也称作主动像素传感器。,CMOS传感器,优点： 具有单独的选择转换电路，读出速度快。 CMOS传感器的随机读取特性使其很容易实现图像矩形感兴趣区域的读出。 可以实现并行模数转换，具有较高的帧率。 缺点： 因为放大器以及行列选择电路占每个像素的大部分面积，导致其填充因子很低。,CMOS传感器读出方式,行曝光,全局曝光,上述两个图片都是对于运动的物体。 行曝光使物体发生形变，全局曝光适用于拍摄运动的物体,CCD vs CMOS,彩色摄像机,黑白相机直接将光强信
8、号转换成图像灰度值，生成的是灰度图像；彩色相机能获得景物中红、蓝、绿三个分量的光信号，输出彩色图像。彩色相机能够提供比黑白相机更多的图像信息。 目前彩色相机的实现方法主要有两种，棱镜分光法和 Bayer 滤波法。,光谱响应曲线,由图光谱响应曲线可以看出，CCD和CMOS传感器对于近紫外200nm到可见光380-780nm直到近红外1100nm波长范围都有响应。所以无法产生彩色图像。为了产生彩色图像需要在传感器前面加上彩色滤镜阵列（CFA），使一定范围的光达到每个光电探测器。,棱镜分光法,棱镜分光彩色相机，利用光学透镜将入射光学的 R、 G、 B 分量分离，在三片传感器上分别将三种颜色的光信号转
9、换成电信号，最后对输出的数字信号进行合成，得到彩色图像。,Bayer滤波法,Bayer 滤波彩色相机，是在传感器像元表面按照 Bayer 马赛克规律增加 RGB 三色滤光片，输出信号时，像素 RGB 分量值是由其对应像元和其附近仙缘共同获得的。 由于人眼对绿色最为敏感，所以滤镜阵列中绿色采样频率是其他的两倍。,Bayer滤波法,相机的主要参数,1.分辨率分辨率是相机最基本的参数，由相机所采用的芯片分辨率决定，是芯片靶面排列的像元数量。通常面阵相机的分辨率用水平和垂直分辨率两个数字表示，如：1920（ H） x 1080(V)，前面的数字表示每行的像元数量，即共有 1920 个像元，后面的数字表
10、示像元的行数，即 1080 行。现在相机的分辨率通常表示多少 K，如1K（ 1024）， 2K(2048), 3K(4096)等。在采集图像时，相机的分辨率对图像质量有很大的影响。在对同样大的视场（景物范围）成像时，分辨率越高，对细节的展示越明显。,相机的主要参数,2.速度（帧频/行频）相机的帧频/行频表示相机采集图像的频率，通常面阵相机用帧频表示，单位 fps（ Frame Per second），如30fps,表示相机再 1 秒钟内最多能采集 30 帧图像；线阵相机通常用行频便是单位 KHz,如 12KHz 表示相机 1 秒钟内最多能采集 12000 行图像数据。速度是相机的重要参数，在实
11、际应用中很多时候需要对运动物体成像。相机的速度需要满足一定要求，才能清晰准确的对物体成像。相机的帧频和行频首先受到芯片的帧频和行频的影响，芯片的设计最高速度则主要是由芯片所能承受的最高时钟决定。,相机的主要参数,3.噪声相机的噪声是指成像过程中不希望被采集到的，实际成像目标外的信号。根据欧洲相机测试标准EMVA1288 中，定义的相机中的噪声从总体上可分为两类：一类是由有效信号带的符合泊松分布的统计涨落噪声，也叫散粒噪（ shotnoise） ,这种噪声对任何相机都是相同的，不可避免，尤其确定的计算公式。（就是：噪声的平方=信号的均值）。第二类是相机自身固有的与信号无关的噪声，它是由图像传感器
12、读出电路、相机信号处理与放大电路等带来的噪声，每台相机的固有噪声都不一样。另外，对数字相机来说，对视频信号进行模拟转换时会产生量化噪声，量化位数越高，噪声越低。,相机的主要参数,4.信噪比相机的信噪比定义为图像中信号与噪声的比值（有效信号平均灰度值与噪声均方根的比值），代表了图像的质量，图像信噪比越高，图像质量越好。CCD 工业相机的信噪比的典型值一般为 45-55dB 。,相机的主要参数,5.动态范围相机的动态范围表明相机探测光信号的范围，动态范围可用两种方法来界定，一种是光学动态范围，指饱和时最大光强与等价于噪声输出的光强的比值，由芯片的特性决定。另一种是电子动态范围，他指饱和电压和噪声电
13、压之间的比值。对于固定相机其动态范围是一个定值，不随外界条件变化而变化。在线性响应去，相机的动态范围定义为饱和曝光量与噪声等效曝光量的比值：动态范围大，则相机对不同的光照强度有更强的适应能力。,相机的主要参数,6.像元深度数字相机输出的数字信号，即像元灰度值，具有特殊的比特位数，称为像元深度。对于黑白相机这个值的方位通常是 8-16bit。像元深度定义了灰度由暗道亮的灰阶数。例如，对于 8bit 的相机 0 代表全暗而 255代表全亮。 介于 0 和 25 之间的数字代表一定的亮度指标。 10bit 数据就有 1024 个灰阶而 12bit 有 4096 个灰阶。每一个应用我们都要仔细考虑是否
14、需要非常细腻的灰度等级。从 8bit 上升到 10bit 或者 12bit 的确可以增强测量的精度，但是也同时降低了系统的速度，并且提高了系统集成的难度（线缆增加，尺寸变大），因此我们也要慎重选择。,相机的主要参数,7.光谱响应光谱响应是指相机对于不同波长光线的响应能力，通常指其所采用芯片的光谱响应。通常用光谱曲线表示， 横轴表示不同波长， 纵轴表示量子效率。 按照响应光谱不同也把相机分为可见光相机 (400nm1000nm，峰值在500nm600nm 之间)，红外相机（响应波长在 700nm 以上），紫外相机（可以响应到 200nm400nm的短波），我们需要根据接收被测物发光波长的不同来选
15、择不同的光谱响应的相机。,相机的主要参数,8.光学接口光学接口是指相机与镜头之间的借口，常用的镜头的借口有 C 口， CS 口， F 口。下表提供了关于镜头安装及后焦距的信息。其中 M42 镜头适配器源于高端摄像标准。另一方面，相机的 Z 轴均依据所提供的适配器而进行了优化，一般情况下不要轻易拆卸镜头适配器。在选择镜头是，镜头尺寸要大于等于相机芯片尺寸。,一般情况下，图像传感器和镜头在出厂前已经进行了校准。 CCD 相机的图像传感器首先与镜头适配器的 Z 轴进行了校准，其次是 X 轴、 Y 轴和 M42 旋转镜头适配器。在校准过程中，首先，通过 Z 轴校准环合镜头座调整到适当位置，从而对 Z 轴进行校准。当完成 Z 轴校准后， Z 轴环北锁定，并去除镜头座。如需重新校准，请与生产厂商联系。未经授权而拆卸 CCD 相机的外壳，可能会影响图像传感器发生偏移，从而影响其性能。,Thanks,
