1、多置信度重排序的行人再识别算法 李姣 张晓晖 朱虹 王婧 西安理工大学自动化与信息工程学院 摘 要： 针对行人再识别中相似性度量误差引起的识别效果较差的问题, 提出多置信度重排序的行人再识别算法, 通过对再排序过程中测试样本的置信度进行评估, 提高行人再识别的准确性.首先对目标样本及测试样本依据深度学习网络 Res Net50 获得描述特征.然后对目标样本与测试样本之间的相似性进行初始排序, 对相似排序得到的样本构建相似样本集合, 获得每个类别的聚类中心和样本距离聚类中心的最小、最大、均值距离, 设置 3 个置信度不同的置信区间.最后使用 Jaccard 距离对目标样本与测试样本的相似度进行重
2、排序.在标准测试数据集上的实验表明文中算法的有效性.关键词： 行人再识别; 多置信度区间; 重排序; Jaccard 距离; 作者简介：李姣, 女, 1991 年生, 硕士研究生, 主要研究方向为智能视频监控、模式识别、数字图像处理.E-mail:.作者简介：张晓晖, 男, 1973 年生, 博士, 教授, 主要研究方向为图像处理与信息融合、智能机器人技术、基于网络的控制系统.E-mail:.作者简介：朱虹 (通讯作者) , 女, 1963 年生, 博士, 教授, 主要研究方向为数字图像处理、智能视频监控、模式识别.E-mail:.作者简介：王婧, 女, 1985 年生, 博士研究生, 主要研
3、究方向为数字图像处理、智能视频监控、模式识别.E-mail:.收稿日期：2017-06-28基金：国家自然科学基金项目 (No.61502385) 资助Person Re-identification via Multiple Confidences Re-rankingLI Jiao ZHANG Xiaohui ZHU Hong WANG Jing Faculty of Automation and Information Engineering, Xian University of Technology; Abstract： To improve the low recognition
4、rate caused by the poor similarity measure in person re-identification, a method of person re-identification via multiple confidences re-ranking is proposed, and the accuracy of person re-identification is improved by evaluating the confidences of test samples. Firstly, the target samples and test s
5、amples are described by characteristics from deep learning network Res Net50, and the initial ranking is obtained based on the similarity between the target samples and test samples. Secondly, the classified sample sets are formed by samples with similar ranking, and then the cluster center of each
6、category, the minimum, maximum and mean distance between samples and cluster center are acquired to set three confidence intervals with different confidences. Finally, Jaccard distance is used to sort the similarity between the target samples and test samples. The experimental results of three stand
7、ard test datasets verify the effectiveness of the proposed algorithm.Keyword： Person Re-identification; Multiple Confidence Interval; Re-ranking; Jaccard Distance; Received： 2017-06-28引用格式李姣, 张晓晖, 朱虹, 王婧.多置信度重排序的行人再识别算法.模式识别与人工智能, 2017, 30 (11) :995-1002.Citation LI J, ZHANG X H, ZHU H, WANG J.Perso
8、n Re-identification via Multiple Confidences Re-ranking.Pattern Recognition and Artificial Intelligence, 2017, 30 (11) :995-1002.行人再识别在跨摄像机多目标跟踪与检索方面具有较大的应用价值, 监控视频中的目标图像分辨率低、场景中不同相机视角、光照变化、行人姿态的多样性等因素直接影响行人再识别的准确性.行人再识别算法的有效性取决于 3 个要素:特征表达、相似性度量和匹配列表的重排序.特征表达的目的是获取具有鲁棒性和区分性的特征.颜色和纹理表示因其具有对姿态变化的鲁棒性,
9、 而作为视觉特征被提出并使用1-2.行人穿着衣物的搭配关系因其具有显著的区分性, 故作为语义特征被提出并使用3-4.此外, 根据特征的判别能力赋予其相应的显著性强弱度, 构成显著性特征5-6.深度学习的影响越来越大, 更多学者发现, 通过深度学习得到的特征因其较优泛化能力而使其具有对同类样本差异的鲁棒性7-8.相似性的度量, 除了余弦距离、欧氏距离、马氏距离之外, 也出现相似度量学习的方法, 它通过标记样本的训练得到一个更符合样本特性的距离函数, 提高匹配性能9-10.K9estinger 等9提出保持简单有效原则下的距离测度学习KISSME 算法.Liao 等10提出交叉视角的二次判别分析法
10、 (Cross-View Quadratic Discriminant Analysis, XQDA) , 通过学习相关样本集与不相关样本集的属性, 使类内的相似距离远小于类间距离.与 KISSME 相同的是, 它们都是通过构造相关的行人对和不相关的行人对学习样本的相似性.匹配列表的重排序通过相关算法优化初始排名列表, 提高行人再识别的准确性.在目标检索方面, 重排序方法的使用可以提高检索的准确率11-13.目前一些学者将行人再识别看成目标检索问题处理14-19.Li 等14提出近邻样本分析的方法, 通过分析一个度量空间中每对样本的近邻样本的相同属性, 对样本的不相似性进行度量.Garcia
11、等15引入基于判别语境信息分析的无监督排名优化方法, 联合考虑排名列表中的内容和上下文信息, 消除不明确的样本.Ye 等16将全局与局部的最近邻作为新的测试组合, 并通过组合全局与局部特征的排名, 修改初始排名列表.Ye 等17利用 K 最近邻集合计算不同基准方法的相似性与不相似性, 进行相似性和非相似性的重排序.Zhong 等18提出 K 对数编码方法, 对行人匹配列表进行重排序.匹配列表的重排序方法虽然能够提升行人再识别的准确性, 但由于行人所处环境的复杂性, 以及行人姿态的多样性, 尚需更有效的方法以提升行人再识别的准确率.为此, 本文提出多置信度的重排序方法, 提高行人再识别的准确率.
12、首先, 对检索的相似度高的样本构建行人再识别的候选结果集合, 该集合的聚类中心一定程度地表达相似目标的共性, 而样本距离聚类中心的远近体现不同的置信度, 由此构造多置信度, 实现匹配列表的重排序.1 多置信度重排序的行人再识别1.1 相似样本的聚类设待识别的行人目标样本为 p, 测试样本集共有 M 个测试样本, 记作 T=g1, g2, , gM.首先, p 及 T 中的所有样本采用 Res Net50 深度学习网络获得特征向量, 并将T 中样本与目标 p 的初始相似性距离从小到大进行排序, 为了描述方便起见, 仍记为 p 及 T=g1, g2, , gM.假设与目标 p 的最相近的 top-
13、k 个样本集合为N (p, k) =g1, g2, , gk) , 其中, N (p, k) 的样本数量为 k, gi为前top-i 的测试目标.假设如果 A 和 B 相似, 则 B 和 A 也一定相似, 即 A 出现在 B 的相似集内.由此, 与目标 p 的最相近的候选目标为其中, G (p, k) 只保留 N (p, k) 中满足假设条件的候选目标.考虑到光照的不同、行人姿态的多样性、相机视角的差异等因素的影响, 正确的匹配在初始排名中很难包含在候选目标样本中.为了解决这个问题, 本文使用候选目标样本的聚类中心将排名列表后面的正确匹配拉回列表前面.当 G (p, k) 为空时, 不再计算聚
14、类中心, 即不再进行重排序, 直接选取 p 的前 k 个相似邻居作为最终的排序结果.对由式 (1) 得到的候选目标集 G (p, k) , 计算聚类中心 p:1.2 置信区间的构建1) 目标样本 p 置信区间的建立.对候选目标集 G (p, k) 的所有样本, 计算其与目标样本 p 的欧氏距离 d1, 根据 G (p, k) 样本到 p 的最大距离 dmax, 设置置信因子如下:其中, 1的取值是按照求得, 0 为任意小的数.由式 (4) 可知, 在最大距离处, 置信度接近于 0.2) 聚类中心 p 置信区间的建立.对候选目标集 G (p, k) 的样本, 计算其与聚类中心 p 的欧氏距离 d
15、2, 根据 G (p, k) 样本到聚类中心 p 的最大距离 dmax, 设置置信因子如下:其中, 2的取值是按照求得, 0 为任意小的数.由式 (5) 可知, 在最大距离处, 置信度接近于 0.1.3 基于多置信度的相似性重排序杰卡德距离 (Jaccard Distance) 用于度量 2 个集合之间的差异性, 目标样本p 与测试样本 gi的 Jaccard 距离计算如下:其中 giT.由于式 (6) 存在计算量大、运行速度慢等问题, 根据参考文献12, 将集合转成向量:基于式 (3) 样本的置信区间给出的多置信度, 目标样本 p 与测试样本 gi, i=1, 2, , M 的高斯核距离为对
16、测试集样本进行扩充, 修整后的 Fp为 Fp:由此, 有简化后, 目标样本 p 与测试样本 gi的 Jaccard 距离如下:即同理, 可以得到聚类中心 p 与测试样本 gi的 Jaccard 距离:最终的距离如下:其中, 01-.1.4 算法步骤算法多置信度重排序的行人再识别算法step 1 对所有的行人再识别的目标样本及测试样本采用 Res Net50 深度学习网络获得特征向量, 并使用欧氏距离等相似性度量方法得到目标样本及测试样本间的相似性距离.step 2 将相似性距离按从小到大排序, 分别提取前 k 个样本作为与目标样本 p最相近的前 top-k 个样本集合 N (p, k) , 保
17、留 N (p, k) 中前 top-k 含有目标样本的测试目标, 作为该目标样本 p 较准确的候选目标集合 G (p, k) .step 3 根据候选目标集合 G (p, k) 和目标样本 p 的相似性, 得到最小、最大、平均距离, 并设置目标样本的置信区间, 不同置信区间设置不同权值.step 4 根据式 (7) 得到目标样本与测试样本的 Jaccard 相似性距离 dJ (p, gi) .根据多置信度的重排序加强区间内样本的可信度, 并过滤无关样本.step 5 由式 (2) 得到候选样本集合的聚类中心 p.使用欧氏距离等相似性度量方法得到 k 个最相似样本集合 N (p, k) , 保留
18、 N (p, k) 中前 top-k 含有目标样本的测试目标作为 p 的候选目标集合.step 6 根据 p 的候选目标集合与聚类中心 p 的相似性距离, 得到最小、最大、平均距离, 并设置聚类中心的置信区间, 不同置信区间设置不同权值.step 7 根据式 (8) 得到聚类中心 p 与测试样本的 Jaccard 相似性距离 dJ (p, gi) .候选样本集合的聚类中心一定程度地表达相似目标的共性, 利用候选样本集合聚类中心与测试样本的相似度修正多置信度区间外的正确样本.step 8 根据式 (9) 对目标样本、候选样本集合聚类中心与测试样本间相似性dJ (p, gi) 进行加权融合, 得到
19、最终的识别结果.2 实验及结果分析2.1 实验数据集为了验证算法的有效性, 本文在 Market-1501 和 CUHK03 这 2 个图像数据集和 1个 MARS 视频数据集上进行测试实验.表 1 给出实验数据集的具体信息.其中:ID 表示该数据集含有的行人数量;box 表示该数据集包含的行人图像数量;box/ID 表示每个行人平均含有的行人图像数量;cam 表示该数据集包含的相机数量.表 1 实验数据集的具体信息 Table 1 Details of datasets used in experiments 下载原表 Market-1501 数据集19是目前最大的基于图像的行人再识别数据集
20、, 包含 1 501 人的 32 668 幅行人样本, 由 6 个不同视角的摄像头拍摄得到.这些行人图像由可变性部件模型 (Deformable Part Model, DPM) 20检测器检测得到.该数据集分成训练集和测试集 2 部分.训练集包含 751 人, 共 12 936 幅图像.测试集包含 750 人, 共 19 732 幅图像.实验时, 从测试集中人为选取 750 人, 3 368幅图像作为 Query 集合, 对于 Query 中指定的行人, 需要从测试集中寻找和该目标一样的行人, 并按相似度排名给出检索结果.CUHK03 数据集21包含 1 360 位行人的 13 164 幅图
21、像, 是目前较大型的基于图像的公开行人再识别的数据集.该数据集共有 6 个监控摄像机, 每位行人由 2个不同视角的摄像机拍摄, 平均每位行人 1 个摄像头下有 4.8 幅图像.该数据集提供 detected 和 labeled 两套数据集, detected 数据集由 DPM 检测器20检测得到, 会含有一些误检和错检的目标, 较贴近真实生活, 而 labeled 数据集较理想.实验中对 detected 和 labeled 这两套数据集都进行测试, 按照文献21的分类规则, 将数据集分成 2 部分, 测试集包含 1 160 位行人, Query 集包含 100 人, 随机选取测试集和 Que
22、ry 集 20 次, 多次实验求平均值.文献18对该数据集提出分类规则, 训练集包含 767 人, 测试集 700 人, 如表 2 所示.表 2 对 CUHK03 数据集的新的分类 Table 2New classification of CUHK03 dataset 下载原表 MARS 数据集7是目前最大的基于视频行人再识别的数据集, 包括 1 261 位行人的 20 000 个视频段.这些视频段来自 6 个不同的摄像机, 平均每人有 13.2 个视频段.这些视频段由 DPM 检测器20和 GMMCP (Generalized Maximum Multi-clique Problem) 跟踪
23、器22检测和跟踪得到.除此以外, 数据集包含 3248 个误跟踪的视频段.该数据集分为 631 人, 509914 幅图像组成的训练集和 630 人, 681 089 幅图像组成的测试集.测试时, 按照文献18的分类规则, 采用最大下采样, 每个视频序列得到 1 帧.从测试集中选取 1 980 幅图像作为 Query 集合.2.2 评价指标本文将行人再识别作为检索问题处理, 对所有的数据集采用 2 种评价指标, 即rank1 的匹配准确率和平均准确率 (m AP) :其中, P 为准确率, R 为召回率, A 为系统检测到的相关样本, B 为系统检测到的不相关样本, C 为未检测到的相关样本.
24、评估中, 如果匹配到的真实目标与目标样本是相同摄像机下的图像, 将该匹配图像视为无效匹配.本文要求真正的 rank1 应该为该目标在其它摄像机中的真正匹配.评测时, 考虑到目标再识别在不同相机中的检索能力, 设置无效匹配对检索精度 (rank1/m AP) 无影响.2.3 特征与度量方法实验中采用局部最大出现频次 (Local Maximal Occurrence, LOMO) 特征10和深度学习特征.LOMO 特征是颜色特征 (HSV) 和纹理特征 SILTP (Scale Invariant Local Ternary Pattern) 融合的结果, 对相机视角变化和光照变化具有较好的鲁棒
25、性.深度学习特征通过使用微调后的 Caffe Net23和 Res Net5024网络模型得到.本文使用 MARS 数据集的训练集的 631 人, 509 914 幅图像进行网络模型的微调.每幅图像 LOMO 特征为 26 960 维, Caffe Net 网络特征为 4 096 维, Res Net50 网络特征为 2 048 维.本文通过提取上述特征对排序算法进行评价.初始相似度排名分别采用欧氏距离、KISSME9和 XQDA10度量学习算法, 使用 3 种相似度测度算法进行匹配结果的排序.并与本文使用再排序算法后的结果进行对比, 验证本文再排序算法的有效性.2.4 Market-1501
26、 数据集的实验结果在该数据集中, 本文提取 LOMO 特征、Caffe Net 特征和 Res Net50 特征, 初始的相似度排序分别由欧氏距离 (简记为 Eu) 、KISSME 和 XQDA 这 3 种方法得到, 每人平均有 19.9 幅.为了包括更多的正确匹配目标, 取值 k=25, n=10.实验结果如表 3 所示.表 3 Market-1501 数据集上各算法的实验结果 Table 3 Experimental results of different algorithms on Market-1501 dataset 下载原表 表 3 中, 使用 LOMO 特征, 本文算法使 ra
27、nk1 的准确度和 m AP 平均提高 4.89%和 11.89%.使用 ResNet50 深度学习特征, 本文算法使 rank1 匹配的准确度和 m AP 平均提高 1.92%和 14.76%, 并且 Res Net50+KISSME+ranking 的共同使用, 使行人再识别的 rank1 和 m AP 准确性达到 81.05%和 71.48%.表 4 给出本文算法与目前已有算法的结果对比.对比算法如下:BOW (Bag-of-Words) 、Person Net (Person Re-identification with Deep Convolutional Neural Networ
28、ks) 、d CNN (Deep Convolutional Neural Network) 、LOMO+XQDA、MSTCNN (Multi-scale Triplet CNN) 、WARCA (Weighted Approximate Rank Component Analysis) 、MBCNN (Multiregion Bilinear Convolutional Neural Networks) 、Hist BP+k LFDA (Hist Local Binary Pattern and Kernel Local Fisher Discriminant Analysis) 、TMA
29、(Temporal Model Adaptation) 、DLDA (Deep Linear Discriminant Analysis) 、CAN (Comparative Attention Networks) 、SCSP (Spatially Constrained Similarity Function on Polynomial Feature) 、DNS (Discriminative Null Space) 、Gated (Gated Siamese Convolutional Neural Network) 、k-reciprocal18.相比表 4 中目前已有的方法, 本文算
30、法的行人再识别 rank1 的准确率和 m AP 都最高.和最新公布结果相比, rank1 提高 3.94%, m AP 提高 7.85%.表 4 Market-1501 数据集上本文算法与其它已有算法的实验结果对比 Table 4 Experimental results of the proposed algorithm and state-of-the-art algorithms on Market-1501 dataset 下载原表 2.5 CUHK03 数据集的实验结果按照文献21测试规则, 分别在 single-shot 和 multi-shot 上进行算法测试.single-s
31、hot 是指每人 2 个摄像机下随机各选取 1 幅组成 Query 和 Gallery 样本集.该数据集中 k=5, n=2, =0.7.求取 20 次平均值的结果如表 5 所示.由于Gallery 集合中每个目标正确的匹配只有一个, 所以重排序在这种情况下不起作用.表 5 single-shot 数据集上各算法的实验结果 Table 5 Experimental results of different algorithms on single-shot dataset 下载原表 multi-shot 是指将样本中一个摄像机的所有图像作为 Query 集合, 另一个摄像机的所有图像构成 Ga
32、llery 图库.该数据集平均每人有 9.7 幅, 所以 k=15, n=6.表6 为 20 次求平均值的结果.表 6 multi-shot 数据集上各算法的实验结果 Table 6 Experimental results of different algorithms on multi-shot dataset 下载原表 表 6 结果显示, 对比 LOMO+XQDA, 重排序后的结果在 detected 数据集上, rank1 和 m AP 分别提高 7%和 14.96%.在 labeled 数据集上, rank1 和 m AP 分别提高 8.66%和 16.03%.相比文献18重排序,
33、rank1 和 m AP 分别提高 4.26%和7.33%.本文算法的使用明显提高行人再识别的准确性, 且重排序的效果优于目前已有的算法.文献18提出测试规则, 对该测试规则的实验结果如表 7 所示, k=15, n=6.表8 是已有重排序算法的实验结果.在基于 LOMO+XQDA 重排序时, 相比已有排序算法, 本文算法的 rank1 和 m AP 平均提高 1.09%和 1.64%.基于 Res Net50 特征, 本文算法的 rank1 和 m AP 平均提高 1.56%和 1.84%.表 7 CUHK03 数据集上新分类规则下各算法的实验结果 Table 7 Experimental results of different algorithms on the CUHK03 dataset with new classification rules 下载原表
