1、第5章 基于机器视觉的测控技术,主要内容 机器视觉测控系统 数字图像处理 图像融合技术 典型应用 HALCON简介,介绍机器视觉测控系统、数字图像处理方法以及图像信息融合术，简要介绍应用作者研制的ZM-VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案，最后给出了作者研制的机器视觉测控系统典型应用案例。,第5章 基于机器视觉的测控技术,第5章 基于机器视觉的测控技术,5.1 机器视觉测控系统,本节从机器视觉测控系统的基本概念出发，综合机器视觉测控系统原理、技术和应用进行介绍 。典型的视觉检测系统的构成：,概念：,机器视觉测控就是将被测对象的视觉图像信息 检测传递给图像处理装置，图
2、像处理装置经过一系列 处理后给出决策结果，根据决策结果实施对测控系统 的相应控制。 应用：广泛应用于有形物体的检测、识别和跟踪。如 工业产品的尺寸测量、缺陷识别、分类判定等；微电 子器件的焊点自动检测；软质、易脆零部件的检验； 各种模具二维形状检测；大型工具三维自动检测等。,原理：,机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统，包括 照相机和摄像系统。获取的信息可是是静态的，也可 以是动态的；可以是二维的，也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结
3、果进而实施一定的控制。,6,原理：机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统，包括 照相机和摄像系统。获取的信息可是是静态的，也可 以是动态的；可以是二维的，也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结 果进而实施一定的控制。,5.1.1 机器视觉检测系统硬件,光源 照度要适中 亮度要均匀 亮度要稳定 不应产生阴影 照度可调,5.1.1 机器视觉检测系统硬件,在视觉检测系统中，视觉传感器对光线的依赖性很大，照明条件的好坏将直接影响成像的清晰度，细节分
4、辨率和图像的对比等。因此，照明光源的正确设计与选择是是视觉检测成功的关键,5.1.1 机器视觉检测系统硬件,根据具体应用选择光源： 1）通过检测被测物体的像来测量被检测物体的某些特征参数选用白炽灯或卤钨灯； 2）通过测量被检测物体的空间频谱分布来确定被检测物体的某些特征参数选用激光照明。,5.1.1 机器视觉检测系统硬件,光源的照明方式： 1）漫反射照明适合于照射表面光滑、形状规则的物体。 2）投射照明也称为背光照明，适合于不透光物体照明，可以形成一幅黑白灰度图像，用于物体轮廓识别与定位。,5.1.1 机器视觉检测系统硬件,光源的照明方式： 3）结构光照明结构光指几何形状已知的光束，通 过结构
5、光投影模式的变化可以检测物体的二维、三 维几何特征。 4）定向照明方式如果物体表面光滑且无缺陷，则 定向平行光束将会被有规律地反射；若物体表面粗 糙或存在缺陷，则会造成投射光的散射。根据反射 光的变化检测物体表面的粗糙度或表面缺陷。,5.1.1 机器视觉检测系统硬件,图像传感器 CCD电荷耦合器件摄像机（Charge Coupled Device）:感光像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。 CMOS摄像机（Complementary Metal Oxide Semiconductor）:体积小、耗电少、价格低，在光学分辨率、感光度、信噪比
6、和高速成像等已超过CCD。,5.1.1 机器视觉检测系统硬件,图像传感器 其他：飞点扫描器（Flying Point Scanner）、扫描鼓、扫描仪、显微光密度计等。 遥感图像获取设备：光学摄影：摄像机、多光谱摄像机等；红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪等；,5.1.1 机器视觉检测系统硬件,图像采集卡: 将视频图像以模拟电信号方式输出标准视频信号：黑白视频（RS-170、 RS-330、RS- 343、CCIR）、复合视 频（NTSC、PALSECAM 制式）、分量 模拟视频、S-Video等。非标准视频信号：非标准RGB信号、线扫描信号、逐行扫描信号。,5.1.1 机器视
7、觉检测系统硬件,（3）图像采集卡 采用非标准视频信号通常是为了获得更高分辨率、高刷新率的图像或其他特殊要求。如X光机、超声波等医疗影像设备。,5.1.1 机器视觉检测系统硬件,（3）图像采集卡 性能指标要求：多路视频输入；通过标准总线输 出至计算机；实时多屏显示；自定义采集方式及 采集窗口大小；实时采集单场、单帧、任意间隔 及连续帧；视频输入（PAL、S-Video）；分辨 率；采样位数；亮度、对比度、色度、饱和度； 即插即用；稳定接收视频信号。,5.1.1 机器视觉检测系统硬件,图像采集卡的设计 基于PCI总线的图像采集卡的设计,5.1.1 机器视觉检测系统硬件,基于USB总线的图像采集卡的
8、设计,5.1.1 机器视觉检测系统硬件,（4）图像存储设备 用于暂时或永久存储摄像系统获取的数字图像。 包括硬盘、光盘、磁带机、闪存等。 硬盘存储技术发展很快，大图像存储可使用磁盘 阵列；光盘也可满足大容量存储；磁带机顺序存 储；闪存发展最快，成为数码相机、PDA、 MP3/4等的首选。,5.1.1 机器视觉检测系统硬件,（5）计算机主机计算机用于对数字图像进行管理、分析和处理，是机器视觉检测系统应用的主要工作和核心。可以是PC或工作站。需要高速实时处理的图像主板上装有图像处理器、图像加速器、DSP处理器等,5.1.2 机器视觉检测系统软件,近年来，机器视觉工作者在研究视觉测控系统硬件的同时，
9、也对机器视觉检测处理的共性软件进行了研究开发，出现了很多机器视觉测控系统组态软件平台，如最具代表性的机器视觉软件HALCON。,5.1.2机器视觉检测系统软件,德国MVtec公司的HALCON是世界范围内广泛使用的机器视觉软件，拥有满足用户各类视觉应用需求的完善开发库。支持Linux和Windows，可通过C、C+、C#、VB、Delphi开发。,5.1.3 视觉检测系统应用,缺陷检测 尺寸测量 PCB焊点检测与分类,5.1.3 视觉检测系统应用,5.1.3 视觉检测系统应用,5.1.3 视觉检测系统应用,5.1.3 视觉检测系统应用,5.2 数字图像处理,数字图像处理技术是一门跨学科的前沿高
10、科技，是在信号处理、计算机科学、自动控制理论及其他应用领域基础上发展起来的边缘学科，是认识世界、改造世界的重要手段。目前图像处理与识别技术已应用于许多领域，成为21世纪信息时代的一门重要的高新科学技术。,5.2.1 平滑和滤波,邻域平均,一般实际情况中，考虑到运算的计算量，为33的模板,5.2.1 平滑和滤波,中值滤波法 将模板在图中漫游，并将模板中心与图中某个像素位置重合； 读取模板下各对应像素的灰度值； 将这些灰度值从小到大排成1列； 找出这些值里排在中间的1个； 将这个中间值赋给对应模板中心位置的像素。,空域滤波实现,5.2.1 平滑和滤波,5.2.2 边缘检测,梯度算子 实际操作中，用
11、下面式子取代微分：,梯度算子 用标准的模板来计算梯度：（a）Roberts （b）Prewitt （c）Sobel,5.2.2 边缘检测,拉普拉斯算子 对一个连续函数，它在位置处的拉普拉斯值定义如下：,5.2.2 边缘检测,拉普拉斯算子 计算函数的拉普拉斯值也可以借助各种模板实现，它要求模板的中心像素系数应该是正的，而对应中心像素的邻近像素的系数应是负的，且它们之和应该是零 。,5.2.2 边缘检测,Marr-Hildreth边缘检测算子,5.2.2 边缘检测,此算子有无限长拖尾，在具体实现卷积时，应取一个NN的窗口 。同时，为了减小卷积运算的计算量，可用两个不同带宽的高斯曲面之差（DOG）来
12、近似 。,Marr-Hildreth边缘检测算子,5.2.2 边缘检测,考虑到M-H算子的对称性，可采用分解的方法来提高运算速度。即把一个二维滤波器分解为独立的行、列滤波器。,将方程改写为其中 :,5.2.2 边缘检测,Canny边缘检测法 Canny给出了评价边缘检测性能优劣的三个指标 （1）低失误概率（2）高定位精度（3）对单一边缘仅有唯一响应 设n为任意方向，Gaussian函数在这个方向上的一阶导数为：,5.2.2 边缘检测,Canny边缘检测法 当一个像素满足以下三个条件时，则被认为是图像的边缘点： （1）该点的边缘强度大于沿该点梯度方向的两个相邻像素的边缘强度；（2）与该点梯度方向
13、上相邻两点的方向差小于 45；（3）以该点为中心33的邻域中的边缘强度极大值小于某个闭值。,5.2.2 边缘检测,Canny边缘检测法 Canny算子的算法实现 （1）对要处理的图像I作高斯光滑，则新的图像为 ，其次对求的方向导数（2）细化M中所有的边（3）双阈值操作,5.2.2 边缘检测,5.2.3 图像分割,灰度阈值法图像阈值化处理的变换函数表达式为：阈值的选取 间接阈值法 多阈值法 p尾法确定阈值,阈值的选取 间接阈值法 多阈值法 p尾法确定阈值 最大类间方差确定阈值 假定图像的灰度区间为，设以灰度k为阈值将图像分为两 个区域，灰度为1k的像素和灰度为k+1L的像素分别属 于区域A和B，
14、则区域A和B的概率分别为：,5.2.3 图像分割,最大类间方差确定阈值区域A和B的平均灰度为：其中为全图的平均灰度：两个区域的方差为：,5.2.3 图像分割,最大类间方差确定阈值按照最大类间方差的准则：组间方差越大，则两组的差别越大。即k值越大，表明分割效果越好。从1至L改变k，并计算类间方差，使式最大的k,即是区域分割的阈值。 最佳熵自动阈值法 峰谷法,5.2.3 图像分割,区域生长,5.2.3 图像分割,在实际应用区域生长法时需要解决3个问题： 选择或确定1组能正确代表所需区域的种子像素； 确定在生长过程中能将相邻像素包括进来的准则； 制定使生长停止的条件或规则。,区域生长 实现步骤 对图
15、像进行光栅扫描，求出不属于任何区域的像素。当寻找不到这样的像素时结束操作。 把这个像素灰度同其周围（4-邻域或8-邻域）不属于其他区域的像素进行比较，若灰度差值小于阈值，则合并到同一区域，并对合并的像素赋予标记。,5.2.3 图像分割,从新合并的像素开始，反复进行步骤的操作。 反复进行步骤、的操作，直至不能再合并。 返回步骤的操作，寻找新区域出发点的像素。,5.2.3 图像分割,分裂合并 利用分裂合并算法对图像进行分割的步骤 生成图像的四叉树结构。,5.2.3 图像分割,根据经验和任务需要，从四叉树的某一层开始，合并满足一致性属性的共根的4个子块。重复对图像进行操作，直到不能合并为止。 考虑上
16、一步中没有合并的子块，如果它的子节点不满足一致性准则，将这个节点永久地分为4个子块。如果分出的子块仍不满足一致性准则，继续划分，直到所有的子块都满足为止。,5.2.3 图像分割,由于人为地将图像进行四叉树分解，可能会将同一区域的像素分在不能按照四叉树合并的子块内，因此需要搜索所有的图像块，将邻近的未合并的子块合并为一个区域。 由于噪声影响或者按照四叉树划分区域边缘未对准，进行上述操作后可能仍存在大量的小的区域，为了消除这些影响，可以将它们按照相似性准则归入邻近的大区域内。,5.2.3 图像分割,5.2.4 特征提取,线提取Hough变换原理 在图像空间XY里，设所有过点（x,y）的直线都满足方
17、程： 式中，p为直线的斜率，q为直线的截距。也可以写成：式中表示参数空间PQ中过点（p,q）的一条直线。图像空间到参数空间之间的转换可以用图表示：,Hough变换原理在实际使用哈夫变换时，要在上述基本方法的基础上根据图像具体情况采取一些方法以提高精度和速度，在实际中常用的是极坐标直线方程。,5.2.4 特征提取,Hough变换原理 图像平面上的一个点就对应到参数平面上的一条正弦曲线 上。哈夫变换最适合于检测较简单曲线,5.2.4 特征提取,直线提取 以下是用Hough变换检测直线的算法过程：初始化变换域空间的数组，表示图像对角线方向的像素数，方向上角度初始化数目为90。顺序搜索图像中所有的物体
18、点，对每一个物体点，按照变换域的各个点加1。求出变换域的值大于一定阈值的点并记录。根据这些点在原空间内画出直线。,5.2.4 特征提取,骨架提取 中轴变换原理 具有边界B的区域R的MAT是如下确定的：对每个R中的点P，在B中搜寻与它最近的点。如果对P能找到多于1个这样的点（即有2个或以上的B中的点与P同时最近），就可认为P属于R的中线或骨架，或者说P是1个骨架点,5.2.4 特征提取,简化的中轴变换算法：根据对二值图像特点的分析，经过实验，采用了一种简单而且效果很好的算法。可以根据一个像素的8个相邻点的情况来判断该点是否应该删除内部点不能删除； 孤立点不能删除； 直线端点不能删除； 如果P是边
19、界点，去掉P后，如果连通分量不增加，则P可以删除。,5.2.4 特征提取,每次对整幅图像逐行扫描一遍，对于每个点（不包括边界点），计算它对应在表中的索引，若为0，则保留，否则删除该点。如果这次扫描没有一个点被删除，则循环结束，剩下的点就是骨架点，如果有点被删除，则进行新的一轮扫描，如此反复，直到没有点被删除为止。,5.2.4 特征提取,可以根据上述的判据，事先做出一张表，每个元素不是0，就是1。根据某点（即目标点）的8个相邻点的情况查表，若表中的元素是1，则表示该点可删，否则保留。查表的方法是：设白点为1，黑点为0；位置关系如图，按这样组成的8位数去查表即可。,轮廓提取与跟踪在目标跟踪中，通过
20、轮廓提取或轮廓跟踪技术确定目标的轮廓参数。 轮廓跟踪的最基本方法是：先根据某些严格的“探测准则”找出物体轮廓上的像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其他像素。这里介绍一种二值图像的轮廓跟踪。首先找第一个边界点像素：按照从左到右，从下到上的顺序搜索，找到的第一个黑点一定是最左下方的边界点，记为A。点A的右、右上、上。,5.2.4 特征提取,左上四个邻点中至少有一个边界点，记为B。从边界点B开始，定义初始的搜索方向为左方； 如果左方的点为黑点，则为边界点，否则搜索方向顺时针旋转45。这样一直找到第一个黑点为止。然后把这个点作为新的边界点，在当前的搜索方向上逆时针旋转9
21、0，继续用同样的方法搜索下一个黑点，直到返回初始的边界点为止。,5.2.4 特征提取,在一些工业生产的领域，被检测的物体图像的缺陷往往表现为破损形状，这样会引起物体的角点变化，这也可以称为检测缺陷的依据。图像中的角点是指图像中具有高曲率的点，它由物体边缘曲率较大的地方或者多条边缘的交点形成，角点也可以作为物体识别、检测和定位的一个重要特征。,5.2.4 特征提取,角点提取,Harris法是角点检测的常用方法，它的原理是利用水平、竖直两个差分算子Ix、Iy, 求得如图中m的4个元素值，并对图像每个像素进行滤波，最后根据求得的角点阵cim的值来确定每个点是否为角点,5.2.4 特征提取,角点最直观
22、的印象就是在水平、竖直两个方向上变化均较大的点，即Ix、Iy 都较大。 Ix、Iy是沿着水平和垂直方向的差分算子。这也是把角点和图像上的边缘已经平坦地区区分的依据。边缘：仅在水平、或者仅在竖直方向有较大的变化量，即Ix、Iy只有其一较大。 平坦地区：在水平、竖直方向的变化量均较小，即Ix、Iy都较小。,5.2.4 特征提取,纹理特征提取 相位编码法 实部为：虚部为 :,5.2.4 特征提取,纹理特征提取 多通道Gabor的特征提取法 假设每一通道滤波器的数字模型为：其中， 为滤波器输入的图像， 和 分别为偶对称和奇对称的Gabor滤波器。,5.2.4 特征提取,纹理特征提取 多通道Gabor的
23、特征提取法 实际操作中，我们用FFT来实现：,5.2.4 特征提取,5.3 图像融合技术,本节从图像融合技术的概念出发，介绍3种具有代表性的图像融合方法，分别是Laplacian算法、RoLP算法和小波变换方法。,5.3.1 图像融合概述,图像融合的基本过程,设图像元素的横、纵坐标分别用，表示，则级间的运算可以表示为： Laplacian金字塔技术:对比度金字塔技术:,5.3.2 Laplacian金字塔方法,融合算法 获取每一路图像的Gaussian金字塔序列； 获得每一路图像的Laplacian金字塔； Laplacian金字塔序列对应级融合：融合算子取对应各级的“或”运算或加权平均等；
24、重构图像。,5.3.2 Laplacian金字塔方法,获取每一路图像的Gaussian金字塔序列； 获得每一路图像的对比度金字塔； 对比度金字塔序列对应级融合，融合对比度金字塔有以下标准法则即：,5.3.3 RoLP金字塔方法,图像的细节变化可以认为是对比度的变化。由于人类视觉系统对图像的对比度变化较为敏感，且不同图像传感器对同一目标所成图像的对比度分布不同，融合不同图像的细节可以设法通过融合对比度来实现，具体操作如下：,式中 、 和 分别为待融合图 像、融合图像的对比度金字塔序列中的第L级。 重构图像。,5.3.3 RoLP金字塔方法,二维离散小波变换,5.3.4 二维小波变换方法,对于图像
25、处理，需要将连续小波变换与逆变换离散化，在此给出经典Mallat算法的离散形式,5.3.4 二维小波变换方法,图像融合,5.3.4 二维小波变换方法,二维离散小波图像重构,5.3.4 二维小波变换方法,小波变换的图像融合应用,5.3.4 二维小波变换方法,本节介绍作者研制的电子枪扭弯曲特性视觉检测系统、背投电视会聚特性视觉测控系统，以及ZM-VS1300视觉测控系统平台，通过其软硬件系统的实现，充分展示基于机器视觉测控技术在工业测控领域的迅速发展和广泛应用。,5.4 典型应用,5.4.1 电子枪扭弯曲特性智能检测系统,电子枪与其基座通过焊接 连成一个整体。但是，在焊接时 不可避免地会出现误差，
26、表现为 基座中心与电子枪中心不在同一 垂直线上，出现弯曲误差；电子 枪与其基座将产生一定的旋转角 度，这就是扭曲误差。,电子枪扭曲、弯曲检测原理,5.4.1 电子枪扭弯曲特性智能检测系统,图像采集与图像处理结构图,5.4.1 电子枪扭弯曲特性智能检测系统,扭弯曲检测图像处理算法 图像预处理 基于改进遗传算法的图像分割 M-H算子 简化的中轴变换算法 改进的Hough算法,5.4.1 电子枪扭弯曲特性智能检测系统,软件技术 系统应用 软件主界面 系统实物图,5.4.1 电子枪扭弯曲特性智能检测系统,系统工作原理图,5.4.2背投电视会聚特性视觉检测测控系统,图像处理：测控结果图1 图2,5.4.
27、2背投电视会聚特性视觉检测测控系统,系统工作原理ZM-VS1300平台简介 应用领域 图像处理功能库 系统操作,5.4.3 ZM-VS1300视觉智能测控系统平台,HALCON是德国MVtec公司推出的图像处理软件，是世界公认具有最佳效能的机器视觉软件。实际上是一套图像处理库，由1000多个各自独立的函数，以及底层的数据管理核心构成。,5.5 HALCON简介,5.5.1 HALCON的基本结构,5.5.4 利用HALCON进行应用开发,C 下列的程序代码说明了如何读取一幅图像，并且将其显示在图形视窗中。read_image (,5.5.5 在程序语言中使用HALCON,C+ 下列的程序代码说
28、明了如何读取一幅图像，将其显示在图形视窗中，并且进行一些基本的blob分析。HImage Mandrill (monkey);HWindow w (0, 0, 512, 512);Mandrill.Display (w);HRegion Bright = (Mandrill = 128);HRegionArray Conn = Bright.Connection ( );HRegionArray Large = Conn.SelectShape (area, and, 500, 90000);,5.5.5 在程序语言中使用HALCON,Visual Basic 下列程序码说明了如何读取一幅图像
29、，并且进行一些基本的 blob 分析Dim image As New HimageXDim region As HregionXCall image.ReadImage (monkey)Set region = image.Threshold (128, 255),5.5.5 在程序语言中使用HALCON,C# 下列代码以C#的语法重写了Visual Basic中的那个例子：HimageX image = new HimageX ( );HRegionX region;Image.ReadImage (monkey);region = image.Threshold (128, 255);,5.5.5 在程序语言中使用HALCON,尺寸测量,返回,返回,返回,返回,返回,返回,返回,END,
