1、1、相机的信噪比、SNR=1 时（光强可探测到的最小光强，绝对灵敏度） ，动态增益为光强.sat/光强.min（dB/位） ，量子效率是波长的函数：=（）-CCD 比 CMOS 灵敏，动态范围大。2、数据结构：图像、区域和亚像素轮廓图像：彩色摄像机采集的是每个像素对应的三个采样结果（RGB 三通道图像） 、图像通道可被看作一个二维数组，设计语言中的表示图像的数据结构；两种约定：离散函数（点对点）R Rn、连续函数：R 2Rn。区域：可以表示一幅图像中一个任意的像素子集，区域定义为离散平面的一个任意子集：RZ 2 ，将图像处理闲置在某一特定的感兴趣区域（一幅图像可被看作图像所有像素点的矩形感兴趣
2、区域） 。二值图像特征区域：用 1 表示在区域内的点，用 0 表示不在区域内的点；行程表示法：每次行程的最小量的数据表示行程的纵坐标、行程开始和行程结束对应横坐标值。行程编码较二值图像节省存储空间（行程编码保存在 16 位整数，须要 24 个字节，而采用二值图像描述区域，每个像素点占 1 个字节，则有 35 个字节） 。行程编码保存的只是区域的边界。为描述多个区域，采用链表或数组来保存采用形成编码描述的多个区域，每个区域的信息是被独立保存和处理的。亚像素轮廓：比像素分辨率更高的精度（亚像素阈值分割或亚像素边缘提取） 。 轮廓基本上可被描述成多表型，然后用排序来说明哪些控制点是彼此相连的，在计算
3、机里，轮廓只是用浮点数表示的横和纵坐标所构成的数组来表示。3、图像增强：硬件采集的图像质量不好，可应用软件进行增强。灰度值变换：由于光源照明的影响，局部的图像会产生对比度与设定值不一致，需要局部的去增强对比度。为提高变换速度，灰度值变换通常通过查找表（LUT）来进行（将灰度输入值变换后输出保存到查找表中） ，最重要的灰度值变换是线性灰度值比例缩放：f(g)=ag+b（ ag 表示对比度，b 表示亮度） 。为了自动获取图像灰度值变换参数 a、b 的值，通过图像感兴趣区域的最大与最小灰度值设置出 a、b 的值（灰度值归一化处理） 。灰度直方图表示某一灰度值 i 出现的概率。对于存在很亮和很暗的区域
4、，图像归一化时需要去除一小部分最暗、最亮的灰度值（用 2 个水平线截取区域） ，再进行图像归一化处理，将对比度提高（鲁棒的灰度归一化处理） 。辐射标定：传感器收集的能量与图像实际灰度值的关系是非线性时候（一般需要是线性的，提高某些处理算法的精确度） ，对非线性相应求其逆响应的过程就是辐射标定。取 q=？对响应函数求逆运算得到线性响应，求 q 的过程既是标定。图像平滑：抑制由于多种原因产生的图像噪声（随即灰度值） 。干扰后灰度值=图像灰度值+噪声信号（将噪声看作是针对每个像素平均值为 0 且方差是 2 的随机变量） ，降噪方法之一、时域平均法，采集多幅图像进行平均，标准偏差将为原来的 1/根号
5、n，求的平均值后，将任意一幅图像减去平均，即为该幅图像的噪声；方法之二、空间平均操作法，通过像素数(2n+1)*(2m+1)的一个窗口进行平均操作，会使边缘模糊（计算量非常大，进行(2n+1)*(2m+1)次操作） ；方法之三、递归滤波器，在前一个计算出的值的基础上计算出新的值，较方法一速度快了 30 倍；满足所有准则（平滑程度准则 t，以及 XXs 滤波）的高斯滤波器：高斯滤波器是可分的，所以可以非常高效率的被计算出来，能够更好地抑制高频部分。若更关注质量，则应采用高斯滤波器；若关注执行速度，首选使用均值滤波器。傅里叶变换：将图像函数从空间域转变到频率域，可以再进行频率高低的滤波操作平滑。4
6、、插值算法：图像被放大不清晰时，通过插值增加放大的增多的像素最近像素插值算法：最近像素插值算法(Nearest Neighbour Interpolation)是最简单的一种插值算法，当图片放大时，缺少的像素通过直接使用与之最接近的原有像素的颜色生成，也就是说照搬旁边的像素，这样做的结果是产生了明显可见的锯齿；双线性插值算法：双线性插值算法(Bilinear Interpolation)输出的图像的每个像素都是原图中四个像素(22)运算的结果，这种算法极大程度上消除了锯齿现象； 双三次插值算法：双三次插值算法(Bicubic Interpolation)是上一种算法的改进算法，它输出图像的每个
7、像素都是原图 16 个像素(44) 运算的结果，这种算法是一种很常见的算法，普遍用在图像编辑软件、打印机驱动和数码相机上。 分形算法：分形算法(Fractal Interpolation)是 Altamira Group 提出的一种算法，这种算法得到的图像跟其他算法相比更清晰、更锐利。这些算法主要应用在图像变换操作中。5、特征提取：区域的矩作为特征量，要对分割出来的区域进行操作，需要确定一个或多个特征量（特征） ，区域特征是能够从区域自身提取出来的特征；灰度值特征还需要图像中区域内的灰度值；轮廓特征是基于轮廓坐标的。区域特征：区域的面积就是区域内所有点的总和，对于二值图像累加项较行程要多得多归
8、一化的矩推导出重心, 1,0,1(,)1 )pqpqrcRu na求 出 重 心 （p+q2）时，有： （二阶中心距）, 1,00,1(,)1)(-)pq pqrcRuca通过计算椭圆的长轴、短轴与水平夹角或者矩形的长宽和方位为确定区域大小和方位。在一定区域内，一个点集的凸包就是包含了区域内所有点的最小凸集（如果任意两点练成的直线上的所有点都在点集中，这个点集就是凸集） ，所以可以利用凸包来确定某区域（面积与该区域凸包比值为凸性） ；然后再跟踪区域边界获取一个轮廓，获取到轮廓线段的欧几里得距离，进行求和就得到轮廓长度 L,加上面积 a 引出紧性概念 。2/(4)cLa灰度值特征：先引出区域内最
9、大最小灰度值，在两个不同参考区域内计算平均灰度值可测量出线性亮度变化，从而计算一个线性灰度值变换（平均灰度值是一个统计特征，另一个统计特征是灰度值的方差和标准偏差。 （基于矩的灰度值特征与相应的局域矩的区域特性非常相似）使用区域的特征函数作为灰度值时，灰度值矩就被简化为区域矩（特征函数被用来解释 1 为像素在区域内，0 为像素在区域外，在处理小物体上，灰度值矩能得到准确度更好地处理结果） ；定义一个模糊隶属关系：灰度值低于北京灰度值最小值的每个像素，其隶属关系值为 0，高于前景灰度值最大值的每个像素，关系为 1，灰度值落在此范围内，其隶属关系通过线性插值得到，而这一计算过程需要使用浮点图像，所
10、以将隶属关系值按比例放大到一个 b 位整数图像上（一般 8 位） ，再通过计算灰度值矩和中心灰度矩判断区域特征。轮廓特征：亚像素精度轮廓长度的计算容易些，因为轮廓已经用于控制点 ，假设一(,)irc个闭合轮廓通过 来表示，R 表示轮廓围绕的亚像素精度区域，则（p,q）阶1(,),nrc矩被定义为： ，与区域矩类似，可定义归一化的矩和中心距。,(,)pqpqrcRmdrc轮廓的面积和重心计算公式为： 重心：112iiiniarc1,0111()()6iiiiinircra0,1111()()6iiiiinircca6、摄像机标定：是准确测量目标物体的必要过程，由于每个镜头的畸变都不一样，通过标定
11、校正镜头畸变，同时可以得到在世界坐标系中目标物体米制单位的坐标。建立摄像机模型（线阵摄像机）： 标定就是确定摄像机参数1(,.)wnpPc的过程。1,.nc线阵摄像机的摄像机模型：运动向量 世界坐标系摄像机坐标系图像(,)Txyzv坐标系（变换关系） 。线阵相机中，由于目标与相机的相对运动以及镜头的畸变，会使得目标（世界坐标系）的点投影到图像坐标系时产生错位。九个参数为摄像机的内参，它们确定了摄像机从三维空间到二维图像的投(,)xyxyzfkscv影关系。主要的影响因素有：镜头畸变以及运动与相机不匹配或者方向不符。标定过程：为了进行摄像机标定，必须已知世界坐标系中足够多三维空间点的坐标，找到这
12、些空间点在图像中的投影点的二维坐标，然后再通过它们确定其它参数。利用平面标定板进行标定精确：易于操作、精度高并且可应用在背光照明中；步骤；将标定板利用阈值分割与背景分割出来，找到含 m*n 个孔洞区域利用亚像素边缘提取标定板各个圆点的边缘，将提取边缘拟合成椭圆基于椭圆的最小外界四边形可以很容易的确定标定标记与它们在图像中投影之间的对应关系，再根据四边形边角来确定方向从而确定了标定标记及其投影关系确定标记中心点 mi 与通过投影计算得到的坐标 之间的距(,)iMc离最小化来确定参数： （k=mn 是标定板上标记的21()|(,)|inniiidcXMc数量。内参可以通过摄像机及镜头的参数说明得到
13、，而外参则需要通过之前椭圆尺寸的到一个初始值（最优化过程） 。在标定时，需要采集多幅图像多个不同标记进行标定，因为摄像机模型参数不是唯一解，可以成倍放大或者缩小（简并性） ，为使精度更高，所有图像中标定板的位置应该覆盖图像的四个角（畸变性最高） 。摄像机参数的准确度：（避免简并性）主距、焦距、径向畸变等参数的不唯一性，需要通过对多幅图像的标定确定各自参数（相关性：每幅图像都对相机参数有着制约性） ，最终确定出一最准确参数。7、模板匹配：为经常发生变化的物体提供此类被测物体原型即可对系统进行简单配置，从而可以寻找所有类型的目标物的方法。计算模板的所有相关位姿与图像各个位置之间的相似度（该项目总体
14、是目标位姿的平移） ，该模式也可以确定图像中含有多少个目标物。三个关键词：一幅图像、感兴趣区域、相似度基于灰度值的模板匹配： （s 为相似度，t 为(,)(,),);(,srctuvfrcuvT模板各点的灰度值，f 为图像感兴趣区域的灰度值） ，最简单的方法是计算模板与图像之间差值的绝对值的总和或所有差值的平方和（当然必须选择一个阈值提取基准位置） 。相似则相似度量为 0，不相似则相似度量大于 0，该方法受光照影响较大；不受光照线性变化影响的相似度量是归一化相关系数（通过模板与图像的平均灰度值及所有像素灰度值的方差）度量值 ncc(r,c)=1 时，模板与图像之间才完全匹配，设定阈值判断是否能
15、达到完全匹配。使用停止标准（ ）可以提速比例为一个常数，但不改变算法复杂度。(,)jssadrcnt使用图形金字塔进行匹配：复杂度 （基于灰度，不适用停止标准）wh 为图像的长()Owh宽，n 为模板中点的数量搜索策略 1；将图像多次缩小 2 倍建立起来的数据结构被称为图像金字塔，均值滤波器是创建图像金字塔的首选滤波器（高斯滤波器耗时大，且有频率响应 问题） ，搜索时区域越来越大（图像持续平滑和二次采样） ，到高层是回使得图像不清晰失真（马赛克效果） 。搜索策略：计算出搜索图像和模板的适当层数的图像金字塔（必须保证最高层上目标能够清晰辨别，然后进行一次完美的匹配）在最高层搜索的模板实例都将追踪
16、到图像金字塔的最底层（将找到的匹配点的坐标乘 2，直到找不到匹配对象或者到金字塔最底层结束）在高层，图像灰度值会发生变化，需要将阈值放松，保证找到所有可能的匹配位置（SAD/SSD 相似度量需要提高阈值， NCC 相似度量使用稍微低一点的阈值）从高到低去搜索，先搜索再匹配，并且最终追踪到最底层。基于灰度值的亚像素精度匹配：为了使模板位姿的准确度更高，可以提取亚像素精度的局部最小值或最大值，然后将局部最小值或最大值附件 3*3 的邻域内相似度量拟合成一个多项式，然后求该多项式的局部最大值或最小值。也可以利用最小二乘法拟合匹配，但是该方法受光照影响较大，需要建立明确的光照变化模型（复杂） 。可靠的
17、模板匹配算法：为了能够在存在遮挡、混乱和非线性光照变化的情况下找到目标物体，基于灰度的匹配算法不能够实现，需要更好更准确的方法。A、方法一、将图像边缘分割为多个几何基元（分割为线段和圆弧） ；方法二、基于边缘的分割找到边缘上的突变点然后在图像匹配这些突变点（点可以直接从图像中提取，不需要首先提取边缘） 。图像匹配算法中的一大类是基于模板边缘与图像边缘之间的距离，计算分割后搜索图像背景的距离变换，如果模板边缘点与图像边缘点之间的平均距离小于一个阈值，则被认为是模板的实例。基于边缘的均方差匹配算法不受光照和混乱影响，但是精确度不高；基于边缘的Hausdorff 距离（图像边缘点和模板边缘点）算法（
18、运算量比较大） ，选取距离的 r 大距离需要较准确，并且难以基于相似度量的内插值算法得到亚像素精度的位姿；基于边缘像素点（组点）显示梯度向量表示相应方向，通过霍夫变换得到累计数组，再对图像进行阈值分割计算局部最大值从而得到目标区域的位置。B、基于几何基元的匹配算法：模板中包含 m 个几何基元，而图像中基元数量大于 n，此时在模板与图像之间存在 的指数关()mOn系：方法一、几何哈希法（基于三个点可以定义二维平面的方法）：减少模板与图像点之间对应关系的工作量，利用最小二乘法或者选中的三个基准点进行仿射变换将图像变换然后与模板匹配，但是该方法不适合在线状态（选中的三个基准点可能存在误差，则导致计算
19、结果均有误差）以上算法基于图像基元；最后一类算法基于几何基元（线段或者圆弧）：将图像的轮廓线分割为线段，选择最长的十条线段作为特殊线段（利用线段临近情况排序） ，为了产生一个假设，先用一条线段匹配，然后再通过其它线段匹配验证这个假设；也可以通过拐角（模板边界中相邻的两条有一定拐角的线段组合） ，利用两个拐角之间的几何约束排除错误匹配位置，如果两者之间的差异不超过一个阈值，那么这个匹配位置被接受。模板或搜索图像中包含少数几个明显的几何基元，利用几何基元匹配算法适当；基于像素算法优势在于它们可以表示任意形状的模板，而另一方面，几何匹配算法受限于一些可以使用少量几何基元组成的形状相对简单的模板。以上
20、方法都需要提取目标边缘，受光照灰度影响较大。利用相似度量（基于图像金字塔的分层识别策略，不受遮蔽、混乱和非线性光照变化影响）：首先将一个目标对象的模板定义为点集： 和每个点关联的方向向量(,)iiprcT(方向向量可以通过许多不同的图像处理操作得到，一般使用边缘提取方法计,)iidtuT算方向向量)，将图像仿射变换，将转换后的模板与图像进行对比的相似度量必须不受光照等影响，在特定点计算变换后所有点处的方向向量以及图像中相对应点的方向向量（未归一化，归一化完全不受光照影响）点积的总和，并以此作为匹配分值（这也就是变换后模板在特定点处的相似度量，对应于放射变换的平移部分。利用金字塔搜索模板，滤波运算得到每个图像点的方向向量（图像没有被分割） ，设定阈值尽快结束搜索，加快速度。
