1、对象识别,对象识别,决策理论判别 使用定量描绘子描述的各种模式 （长度、面积、纹理等）结构判别 由定性描绘子描述的各种模式,对象识别,内容： 模式和模式类 基于决策理论方法的识别 结构性方法,一、模式和模式类,模式：是描绘子的组合模式类：是一个拥有某些共同性质的模式族模式识别：对不同的模式分配各自所属类别,模式类：,模式类的数量,一、模式和模式类,三种常用的模式组合： 模式矢量 串 树,例1：模式矢量,识别三种不同类型的鸢尾属植物的花 （Iris Setosa, Iris Virginica, Iris Versicolor)识别方法：通过测量花瓣的宽度和长度,三个模式类：,例1：模式矢量,分
2、类效果取决于描绘子的选择,例2：模式矢量,不同类型的噪声波形,一、模式和模式类,三种常用的模式组合： 模式矢量 串 树,字符串：,一、模式和模式类,三种常用的模式组合： 模式矢量 串 树：分层有序结构,一、模式和模式类,二、基于决策理论方法的识别,一个n维模式矢量：,基于决策函数（或判别函数）的识别,W个模式类：,W个判别函数：,若模式x属于类i：,二、基于决策理论方法的识别,决策边界：,单一函数表示：,二、基于决策理论方法的识别,匹配 最佳统计分类器 神经网络,1、匹配,方法：用一种原型模式矢量表示每一个类，比较未知模式与原型矢量。,最小距离分类器 依据相关的匹配,最小距离分类器,每一个模式
3、类的原型矢量定义为该类模式的平均矢量：,空间距离：,决策边界：,判别函数：,例：最小距离分类器的图解,两个鸢尾属植物的花（ Iris Versicolor, Iris Setosa),两个模式类（ 1, 2),例：最小距离分类器的图解,决策函数：,决策边界：,例：读取固定格式特征的字体,E-13B字体,97,依据相关的匹配,在一幅大小为MN的图像f(x,y)中寻找匹配的大小为JK的子图w(x,y)。,依据相关的匹配,c(x,y)的最大值就是最匹配的位置。,依据相关的匹配,克服相关函数对图像和模板幅度变化的敏感性,是均值,例：通过相关系数进行对象匹配,尺寸变化？ 旋转变化？,2、最佳统计分类器,
4、特定模式x来自i类的概率表示为,平均失效率：,失败的分类表示为,总体平均失效率降至最低的分类器称作贝叶斯分类器,失效函数：,属于类,决策函数：,高斯模式类的贝叶斯分类器,两个模式类具有高斯密度，分别具有均值mj与标准差j,n维情况：,类 的贝叶斯判别函数：,例：三维模式的贝叶斯分类器,每个类服从高斯分布,例：三维模式的贝叶斯分类器,由模式计算平均矢量和协方差矩阵：,例：三维模式的贝叶斯分类器,例：使用贝叶斯分类器对多频谱数据的分类,由模式计算平均矢量和协方差矩阵,例：使用贝叶斯分类器对多频谱数据的分类,3、神经网络,训练模式：用于估计判别函数参数的模式。,训练集合：一系列从每个类中得到的模式。
5、,学习或训练：使用训练集合得到判别函数的过程。,直接通过训练过程生成所需判别函数。,两个模式类的感知器,判别边界：,线性判别函数：,两个模式类的感知器,门限函数：,两个模式类的感知器,扩展模式矢量的判别函数：,扩展模式矢量：,权矢量：,训练算法线性可分离的类,否则,迭代算法：,例：感知器算法解释,训练集合,训练集合,令,例：感知器算法解释,训练算法不可分离的类,德尔塔规则：在训练的每一步，使真实响应和期望响应之间误差降至最低。,准则函数：,梯度下降算法：,多层前馈神经网络,多类模式识别问题的判别函数,基本体系结构,基本体系结构,“S”激活函数,基本体系结构,“S”激活函数：,J层激活元素：,K
6、层输出：,任何层中的节点输入都是前一层输出的加权和。,K-J,反向传播训练,输出层Q各节点的期望响应和真实响应之间总误差的平方为：,调整权值：,P-Q,输出层权值增量：,反向传播训练,误差项：,内层权值增量：,J-P-Q,训练过程如下：对任何层K和J，层K直接接在层J的前边，计算权值wjk,如果层J是输出层：,如果层J是内部层，P是下一层：,反向传播训练,反向传播训练,输出层：,内部层：,激活函数，令,例：使用神经网络进行图形分类,通过标记图产生模式矢量：48维,例：使用神经网络进行图形分类,激活函数:,例：使用神经网络进行图形分类,训练过程: 权值被初始化为带有零均值的小随机数； 用无噪声样
7、本的模式矢量对网络进行训练；用带有噪声样本的模式矢量对网络进行训练；,噪声样本的生成：在无噪声图形上，每个处在轮廓线上的像素被赋予一个保留在原始坐标的概率V，并且对该像素个相邻像素中的一个坐标随机赋予一个概率R=1-V。,例：使用神经网络进行图形分类,错误分类的概率,例：使用神经网络进行图形分类,错误分类的概率,决策面的复杂性,两层网络：,两个输入产生两个边界； 三个输入产生三个边界。,第一层：执行一行； 第二层：进行“与”操作。,决策面的复杂性,三层网络：,第一层：执行一行； 第二层：进行“与”操作； 第三层：将不同区域划归不同的类，进行“或”操作。,决策面的复杂性,三、结构性方法,匹配形状
8、数目 串匹配 串的语法识别,1、匹配形状数目,相似度k表示两个区域边界间相一致的形状数目 的最大量级。,例：a和b代表闭合边界。,1、匹配形状数目,两个图形a和b间的距离定义为它们相似程度的倒数：,a和b间的距离满足下列性质：,例：应用图形数目对比,2、串匹配,两个区域边界a和b表示成串为：,表示无法匹配的数目,两个串的相似性：,表示两个串匹配的数目,例：串匹配,3、串的语法识别,语法识别的主要思想： 一个模式基元集合 一个规定模式基元相互间关联的规则集合 一个识别器（自动机）,串文法,1、字母表：与所研究的问题有关的符号集合。例：V1=a,b,c,d 2、句子：由字母表中的符号所组成的有限长
9、度的符号串。 3、文法：句法规则集合, 构成句子所必须遵循的规则的集合，用G表示。 4、语言：由字母表中的符号组成的句子集合，用L表示，L(G)表示由文法G构成的语言。例：字母表V=a,b L(G) =ab,aab,abab,串文法,考虑两个文法G1和G2： G1只生成与来自类1的模式相对应的句子 G2只生成与来自类2的模式相对应的句子,对未知模式： 如果句子属于语言L(G1),认为模式属于类1 如果句子属于语言L(G),认为模式属于类,串文法,在处理串时，用四元组定义一个文法：N是有限变元集合，称为非终端符 是有限常元集合，称为终端符 P是重写规则集合，称为产生式 S属于N集合，称为起始符,
10、串文法,正则文法： 产生式P：AaB 或Aa，其中A,BN，a,例:使用正则串文法生成对象类,由文法规则产生的语言是,作为串识别器的自动机,一个有限自动机定义为五元式:,Q是有限、非空的状态集合 是有限输入字母集合 是状态转移函数，从Q到Q的所有子集集合的映射 q0是起始状态 F是一个终止或接受状态集合,一个简单的自动机,正则文法和有限自动机一一对应,正则文法和有限自动机一一对应,有限自动机,树的句法识别,树文法以五元式定义：,N是有限变元集合，为非终端符 是有限常元集合，为终端符 P是产生式，形如 ：TiTj Ti,Tj都是树 S属于N集合，称为起始符 r是秩函数，一个节点的直接分支数,一个简单的树文法,树自动机,一个末端到根的自动机定义为：,Q是有限的状态集合 F是Q 的子集，是一个有限状态集合 fk是QmQ上的关系，m是k的秩,树文法与树自动机的一一对应,树自动机,树自动机,例：使用树文法识别气室中现象的图像,树文法,(凹弧),(凸弧),X2,X1,a,b,r(a)=(0,1,2,4,6), r(b)=(0,1),学习,直接由样本模式串学习有限自动机。,学习,正样本集：,学习,令：,例：推导一个来自样本模式的有限自动机,自动机接受,学习,对k的依赖性：,3：,学习,从给定模式集合推到自动机：,学习,
