1、基于聚类和随机参考分类器的对海雷达目标识别算法 范学满 胡生亮 贺静波 海军工程大学电子工程学院 摘 要： 为了进一步提高复杂干扰环境下对海雷达目标识别的泛化能力, 提出基于 k-medoids 聚类和随机参考分类器 (RRC) 的动态选择集成算法 (KMRRC) .主要利用重采样技术生成多个基分类器, 然后基于成对多样性度量准则将基分类器划分为多个簇, 并基于校验数据集为每个基分类器构建相应的 RRC 模型, 最后利用 RRC 从各个簇中动态选择竞争力最强的部分基分类器进行集成决策.通过寻优实验确定 KMRRC 的参数设置, 随后利用 Java 调用 Weka API 在自建的目标全极化高分
2、辨距离像 (HRRP) 样本库及 17 个 UCI 数据集上进行 KMRRC 与常用的 9 种集成算法和基分类算法的对比实验, 并进一步研究多样性度量方法的选取对KMRRC 性能的影响.实验验证文中算法在对海雷达目标识别领域的有效性.关键词： k-medoids; 随机参考分类器; 动态集成选择; 目标识别; 作者简介：范学满 (通讯作者) , 男, 1989 年生, 博士研究生, 主要研究方向为集成学习、雷达目标识别.E-mail:.作者简介：胡生亮, 男, 1974 年生, 博士, 教授, 主要研究方向为无源对抗.E-mail:HGDHSL.作者简介：贺静波, 男, 1979 年生, 博士
3、, 讲师, 主要研究方向为随机微分理论及应用.E-mail:hjb_.收稿日期：2017-04-18基金：国家自然科学基金项目 (No.61401493) 资助Target Recognition Algorithm for Maritime Surveillance Radars Based on Clustering and Random Reference ClassifierFAN Xueman HU Shengliang HE Jingbo Electronics Engineering College, Naval University of Engineering; Abstra
4、ct： To improve the generalization ability of maritime surveillance radars in complicatedly interferential environment, a dynamic ensemble selection algorithm based on k-medoids clustering and random reference classifier ( KMRRC) is proposed. Firstly, a pool of base classifiers are generated through
5、Bagging technique. Secondly, k-medoids clustering is used to divided all the base classifiers into several clusters based on pairwise diversity metric. Then, the RRC model for each base classifier is constructed on the basis of validation dataset. Finally, the RRC model is employed to select some of
6、 the most competent classifiers from each cluster for ensemble and decision making. The parameters of KMRRC are determined by optimization experiment based on the self-built high resolution range profile ( HRRP) dataset, and the performance of KMRRC is compared with nine ensemble methods and the bas
7、e classification algorithm using the HRRP dataset and other seventeen UCI datasets in Java environment with a Weka stand-alone library. Besides, the influence of the diversity measures on the performance of KMRRC is further studied.The feasibility of KMMRRC in the field of target recognition for mar
8、itime surveillance radars is verified by experiments.Keyword： k-medoids; Random Reference Classifier; Dynamic Ensemble Selection; Target Recognition; Received： 2017-04-18引用格式范学满, 胡生亮, 贺静波.基于聚类和随机参考分类器的对海雷达目标识别算法.模式识别与人工智能, 2017, 30 (11) :983-994.Citation FAN X M, HU S L, HE J B.Target Recognition Al
9、gorithm for Maritime Surveillance Radars Based on Clustering and Random Reference Classifier.Pattern Recognition and Artificial Intelligence, 2017, 30 (11) :983-994.如何从众多舰艇以及角反射体组成的多目标群中识别目标舰艇, 已成为对海雷达的一项重要课题.全极化高分辨率距离像 (High Resolution Range Profile, HRRP) 能够提供比单极化 HRRP 更丰富的目标结构信息.随着全极化 HRRP 技术在对海雷
10、达上的逐步应用, 基于全极化 HRRP 特征的目标识别技术引起广泛关注1.本文针对这类对海雷达展开研究.由于特征提取无法完全消除全极化 HRRP 的平移、幅度及方位敏感性2, 因此要求对海雷达目标识别算法必须具备良好的泛化能力, 同时瞬息万变的海战场环境又给目标识别系统的实时性提出较高要求.分类器集成, 尤其是选择集成, 能够剔除冗余或不准确的基分类器, 在泛化能力、分类效率等方面具有单一分类器难以比拟的优势3, 因此本文将其用于对海雷达的目标识别.分类器选择可分为静态选择4和动态选择5.相比静态选择, 动态选择是根据测试样本的分类难度选择不同的分类器 (集合) 进行分类, 通常泛化能力更高6
11、.大多数动态选择集成算法利用分类器在待测样本附近局部区域上的分类正确率作为选择标准7-9.另外, Krijthe 等10和 Cruz 等11提出利用元学习分类器进行动态选择集成.上述方法最大的局限是在识别过程中需要根据待测样本确定竞争域, 并在竞争域上评测所有基分类器的正确率, 这显然不符合对海雷达目标识别的实时性要求.Woloszynski 等12提出基于随机参考分类器 (Random Reference Classifier, RRC) 进行分类器竞争力评估的概率模型, 显著提升分类器竞争力的评估效率, 但未考虑多样性对集成选择的影响, 因此在泛化能力方面无法达到对海雷达目标识别的要求.本
12、文综合利用 k-medoids 聚类技术和基于 RRC 的竞争力评估技术提高对海雷达的目标识别性能, 提出基于 k-medoids 聚类和 RRC 的动态选择集成算法 (Dynamic Ensemble Selection Algorithm Based on kmedoids Clustering and Random Reference Classifier, KMRRC) .一方面基于成对多样性测度将基分类器集合聚类为多个簇, 然后从各簇中选取竞争力最强的部分个体参与集成决策, 保证所选基分类器差异性较大, 提升选择集成的泛化能力.另外, 由于聚类和 RRC 概率模型的构建都是在训练阶段
13、完成, 因此保证动态选择集成的实时性、高效性.1 全极化高分辨率距离像目标识别数据库目前, 角反射体 (阵列) 干扰条件下的目标识别是对海雷达的研究重点.本文选取 11 个异型角反射体, 两两间隔 10 m 构成角反射体阵列作为研究对象, 如图1 所示 (单个异型角反射体由 20 个垂直边长为 1.52 m 的三面角反射体组成) .在舰艇方面选取包含巡逻艇、护卫舰、驱逐舰、巡洋舰在内的 6 型舰艇, 各舰艇主要结构参数如表 1 所示.图 1 异型角反射体阵列的结构示意图 Fig.1 Structure of heterotype corner reflector array 下载原图上述舰艇目
14、标多为非合作目标, 很难通过实测建立目标的全极化 HRRP 数据库.本文利用 SolidWorks 软件建立上述 6 类目标的 11 模型, 然后导入 CST (Computer Simulation Technolagy) 微波工作室 (Microwave Studio, MWS) 电磁仿真软件计算 4 种极化方式 (HH、HV、VH、VV) 下的全极化 HRRP, H、V 分别表示水平和垂直极化.对于对海雷达, 上述 6 类目标在电磁仿真计算时都属于电极大目标, 因此仿真效率较低.考虑到目标的对称性, 同时为兼顾仿真计算效率, 本文选取目标纵轴一侧 0180 的半角域进行分析.表 1 各舰
15、艇的主要结构参数 Table 1 Main structural parameters of warships 下载原表 CST 仿真参数设置如下:俯仰角 =90, 方位角 为 0180 (舰首方向为 0, 步长为 0.1) ;中心频率 10 GHz, 带宽 100 MHz (距离分辨率 1.5 m) , 频率采样点数为 128.采用软件默认的最优网格划分尺寸, 选择射线弹跳跟踪算法 (Shooting and Bouncing Ray, SBR) 13进行计算.每类目标共仿真 1 801 个方位角, 对应 1 801 组全极化 HRRP.方位角为 15 时, 舰艇 3 的仿真结果如图 2所示
16、.在文献14中对全极化 HRRP 数据进行特征提取和特征选择, 最终优选一个由25 个特征组成的特征子集.每个样本可使用 25 维的特征向量表示, 每个目标对应一个 1 80125 的数据矩阵 Xi (i=1, 2, , 7) , 每行对应一个样本.图 2 方位角 15 时舰艇 3 的全极化 HRRPFig.2 Full polarization HRRP of ship 3 at a 15 degree 下载原图图 2 方位角 15 时舰艇 3 的全极化 HRRPFig.2 Full polarization HRRP of ship 3 at a 15 degree 下载原图2 分类器集成
17、概述现存的分类器集成方法可以分为 2 类:静态分类器集成 (Static Classifier Ensemble, SCE) 和动态分类器集成 (Dynamic Classifier Ensemble, DCE) .SCE 是指在训练阶段为所有的待测样本确定同一个集成策略, DCE 是在测试阶段基于校验集为每个待测样本动态选择一个或多个基分类器参与集成.SCE 又可分为分类器融合 (Classifier Fusion, CF) 、静态分类器选择 (Static Classifier Selection, SCS) 、静态集成选择 (Static Ensemble Selection, SES)
18、 .DCE 又可分为动态分类器选择 (Dynamic Classifier Selection, DCS) 、动态集成选择 (Dynamic Ensemble Selection, DES) .各类分类器集成算法的隶属关系如图 3 所示.由于校验集不能完全反映样本空间的分布, 基于校验集选择的基分类器 (子集) 未必擅长所有未知样本, 这是 SCS 和 SES 的明显缺陷.相比之下, DES 又称为基于样本的选择 (Instance-Based Selection) , 该类算法在测试阶段根据待测样本的不同特点选择相应的基分类器 (子集) 进行预测, 能够以可以接受的复杂度增量换来集成分类精度
19、的显著提高.DES 的依据是不同待测样本的分类困难度通常不同, 因此利用相同的基分类器进行分类并不合理.DES 将每个基分类器看作是局部区域上的决策专家, 在测试阶段基于校验集动态地为每个待测样本选择一个最具竞争力的基分类器子集进行分类预测.图 3 分类器集成算法的隶属关系 Fig.3 Affiliation relationship of classifier ensemble algorithm 下载原图3 基于 k-medoids 聚类和随机参考分类器的动态选择集成动态选择集成的目的是针对不同的待测样本选择差异度大、竞争力强的多个基分类器进行集成决策.用于对海雷达目标识别时, 还需要考虑
20、算法的高效性.本文从基分类器的多样性和竞争力这两方面入手, 利用基于多样性测度的 k-medoids 聚类技术提高所选基分类器的多样性, 利用 RRC 概率模型保证基分类器竞争力动态评估的高效性, 提出兼顾多样性和高效性的动态选择集成算法, 记为 KMRRC.该算法的核心包括 3 部分:基分类器的生成、k-medoids 聚类、基于RRC 的竞争力度量.3.1 基分类器的生成= 1, 2, , M为类标签集合;C=C 1, C2, , CL为基分类器集合;X=x1, x2, , xN为训练样本集;y i 表示样本 x 的真实类标签, 为分类器 Cj对 x 的分类决策.当使用单一标签 (Sing
21、le Label) 时, 分类器 Ci建立起 X 到 的映射, 即 Ci (x) = s;当使用软标签 (Soft Labels) 时, 分类器的输出可以表示成 M 维向量, 则有其中, d i, j (x) 为分类器 Ci对样本 x 属于 j类的支持度, 不失一般性, 令 di, j (x) 0 且 .根据最大隶属度准则做出最终分类决策:当选择 T (TL) 个基分类器参与样本 x 的集成分类时, 通过融合它们的输出结果做出最终决策.本文通过扰动训练集的 Bagging 方法生成具有一定多样性的基分类器, 即对训练集 TR 采用 Bootstrap 有放回抽样生成 L 个与 TR 等大小但不
22、相同的数据集 TRi (i=1, 2, , L) , 然后在生成的数据集上利用基学习算法训练 L 个基分类器.3.2 基于多样性度量的 k-medoids 聚类聚类的目的是根据近邻测度将“相似”的对象划为到同一簇, 而将“不相似”的对象划分到不同的簇.本文以成对多样性度量方法作为近邻测度, 利用 k-medoids 算法进行聚类, 将差异性大的基分类器划分到不同的簇, 以供后续从不同簇中分别选择竞争力较强的基分类器参与集成表决.3.2.1 成对多样性度量目前分类器多样性度量方法可分为成对度量和非成对度量.显然成对度量符合本文要求.成对多样性度量方法包括 Q 统计值、不一致度 (Disagree
23、ment Degree, dis) 、双错误率 (Double Fault Ratio, DF) 和相关系数 15.多样性度量方法通常是基于 Oracle 输出 (即 0/1 分类) , 它假定样本 x 的真实类标签已知.如果分类器对 x 正确分类, 输出为 1;反之为 0.假设 i和 j表示2 个基分类器, N (N) 为 i和 j同时分类正确 (错误) 的样本数目, N (N) 为 i ( j) 分类正确而 j ( i) 分类错误的样本数目, 总的样本数4 种成对多样性度量方法定义如下:本文选取上述 4 种成对多样性度量方法作为近邻测度, 并用于研究不同多样性度量方法的选取对 KMRRC
24、动态选择集成的影响.3.2.2 基于多样性度量的 k-medoids 聚类分类器作为聚类对象, 以 3.2.1 节中介绍的 Oracle 输出作为相应对象的特征向量, 分类器 i的 Oracle 输出为由于 k-means 算法取当前簇中所有数据点的平均值作为簇中心, 导致簇中心打破 Oracle 输出规范16.而 k-medoids 算法是从每个簇中选出一个实际的对象作为中心点 (Medoids) , 从而保证不打破 Oracle 输出规则.另外, k-medoids对噪声和孤立点不敏感, 具有精度高、稳健等优点, 因此本文选用 k-medoids算法.由图 4 可见, k-medoids
25、聚类的基本思想是首先任意选取初始中心点, 剩余对象根据近邻测度分配到最近的簇.然后反复使用非中心对象代替中心点, 改进聚类质量.使用目标函数 S 评估聚类质量, 使用 S 度量各簇中非中心点对象与中心点之间的平均差异度:其中, i 为簇号, K 为总簇数, c i为第 i 簇的中心, y j为第 i 簇的第 j 个对象, div 表示成对多样性度量.需要指出, 由于 Q、DF 和 与多样性呈负相关, 而dis 与多样性呈正相关, 因此当使用 Q 作为近邻测度时, 需令 div=-Q (DF 和 同理) , 而当使用 dis 时, 则 div=dis.综上所述, 基于多样性度量的分类器 k-me
26、doids 聚类算法的流程如图 4 所示, 在校验集上得到基分类器的 Oracle 输出.图 4 k-medoids 聚类算法流程图 Fig.4 Flow chart of k-medoids clustering algorithm 下载原图3.3 基于随机参考分类器的分类器竞争力度量给定待测样本 x, 分类器 对 x 的正确分类概率 Pc (|x) 是最自然的竞争力度量方法.由于这一概率无法直接求得, 因此构造一个假想的分类器, 即随机参考分类器 (RRC) 间接计算分类器 的竞争力.由于 RRC 在训练阶段构建, 在测试阶段只需使用势函数进行推广, 得到分类器在待测样本上的竞争力, 因此
27、简单、高效.当使用单一类标签输出时, RRC 是定义在类标签集合 = 1, 2, , M上的随机分类器.当使用软标签输出时, RRC 为建立在支持度向量空间0, 1上的随机分类器.假设构建 RRC 表征实际分类器 Cl, 设 Cl对样本 x 的支持度向量为d1 (x) , d2 (x) , , dM (x) , RRC 对 x 属于 j 类的支持度为随机变量 j (x) , dj (x) 为相应的随机变量 j (x) 的观察值.要使 RRC 成为 Cl的无偏估计, 随机变量 j (x) 的概率分布需满足17其中 E表示期望值.RRC 以一种随机的方式进行分类, 它可以计算 x 属于 s类的概率
28、:当 x 的真实类标为 s时, 由式 (2) 可得 RRC 对 x 正确分类的条件概率本文要求 RRC 满足式 (1) , 此时 RRC 为实际分类器 Cl的无偏估计, 因此使用RRC 评估 Cl对 x 的竞争力是合理的, 即由上述分析可知, 计算分类器 Cl的竞争力需要已知样本 x 的类标签, 因此需要利用校验集 V=x1, x2, , xN计算竞争力.当 V 已知后, 建立 RRC 模型的关键是确定 j (x) (j=1, 2, , M) 的概率分布, 使它们满足式 (1) 的 3 个条件.需要指出的是, 除了对某一类支持度为 1, 其余各类均为 0 这一极端情况, j (x) (j=1,
29、 2, , M) 的概率分布的选择不唯一, 因此 Pc (RRC|x) 和 Com (Cl, x) 的取值取决于 j (x) 概率分布的定义.由于对不同的样本 xi, j (xi) 可能服从不同类型的概率分布, 考虑到 Beta 分布可以通过调整参数拟合其它分布18, 这为不同样本分别拟合 j (xi) 提供一种简单有效的思路.Beta 分布是最基本的有界分布之一, 标准 Beta 分布的取值区间为0, 1, 密度函数其中:u 为随机变量; 和 为 Beta 分布的形状参数;B (, ) 是以 和 为参数的贝塔函数, 图 5 不同 、 取值对应的分布形状 Fig.5 Distribution
30、shape of differentand 下载原图形状参数 和 是决定 Beta 分布性质的重要参数.如图 5 所示, 可以通过调整 和 改变分布的形状:=1 对应均匀分布;=2 对应梯形分布;=4 对应正态分布;=2, =3.4 对应瑞利分布.根据 Beta 分布的性质, 当形状参数为 和 时, 可得 Beta 分布的期望 和方差 :设 1, 1, , M-1相互独立且服从0, 1均匀分布, z (1) , z (2) , , z (M-1) 是它们的一次观察值, 将 z (1) , z (2) , , z (M-1) 按由小到大的顺序排列, 即z (1) , z (2) , , z (M
31、-1) 将0, 1分成 M 个子区间, 每个子区间的长度可看作类别支持度, 即其中, F (u) 和 f (u) 分别为0, 1均匀分布的分布函数和概率密度函数.所以 j的数学期望为可知, j的参数 j、 j之和为 M, 且 E ( j) 是一个与 j 无关的常数, j=1, 2, , M.此时 j只能为各类别支持度 dj均等于 1/M 的情况进行建模.为了使分类器 Cl在样本 xi上输出任意支持度向量d 1 (xi) , d2 (xi) , , dM (xi) , RRC 均能对其进行建模, 需要微调 j的分布参数 j、 j, 使其满足通过微调 j (xi) 的密度函数满足式 (1) 中的
32、3 个条件, 且只要已知 dj (xi) 就可以根据式 (3) 确定 j (xi) 和 j (xi) , 可使用服从 Beta ( j (xi) , j (xi) ) 分布的随机变量 j (xi) 表征支持度 dj (xi) . j (xi) 的概率密度函数确定后, 就可以根据式 (2) 确定 Pc (RRC| xi) , 从而得到 Cl在 xi上的竞争力 Com (Cl, xi) .不失一般性, 假设 xi属于 s类, 则 Com (Cl, xi) 等于根据 Beta ( s (xi) , s (xi) ) 分布生成一个随机数大于其余 M-1 个分别根据Beta ( j (xi) , j (
33、xi) ) 分布 (js) 生成的随机数的概率:其中 B (u, j (xi) , j (xi) ) 为累积 Beta 分布函数.基于式 (3) 和式 (4) 可以计算分类器在已标记样本 (校验集样本) 上的竞争力, 对于未标记的待测样本无法直接利用 RRC 计算分类器的竞争力, 因此需要利用包含在校验集样本中的竞争力信息进行推广, 从而间接计算分类器的竞争力.本文采用势函数模型进行推广, 将 Com (Cl, xi) 看作位于 xi处的竞争力场源, 该场源能影响整个特征空间 X.在 x 处 Cl的竞争力是所有场源共同作用的结果, 且 Com (Cl, xi) 的影响随 x 与 xi距离增加而减弱.由此可得分类器 Cl对未知样本 x 的竞争力为其中:N 为校验集样本数目;K (x, x i) 为势函数, dist (, ) 表示求向量间的欧氏距离.
