基于样本相似性和参考集约束的改进

基于正样本分布距离的约束

首先，目前模型的可以正确的识别出部分样本，并且在训练集上表现良好，只是在测试集上过拟合现象较为严重。
一个有效的度量模型，在训练集和测试集的正样本之间的距离分布应该一致。
所以我们假定数据集 \(\mathbf{A}^\prime=\left\{\mathbf{x}_1^\prime,\mathbf{x}_2^\prime,\cdots,\mathbf{x}_i^\prime,\cdots,\mathbf{x}_{N^\prime}^\prime\right\}, \mathbf{B}^\prime=\left\{\mathbf{z}_1^\prime,\mathbf{z}_2^\prime,\cdots, \mathbf{z}_j^\prime,\cdots,\mathbf{z}_{N^\prime}^\prime\right\}\) 分别表示测试数据中两个摄像头 A 和 B 中的行人图像特征集合。
基于已经训练了的 XQDA 模型，在测试集 \(\mathbf{B}'\) 中寻找 \(k\) 个最相似的样本，并计算这些样本的均值，方法如下

\[ \mathbf{v}_i=\mathbf{x}_i^\prime-\mathbf{z}_i^\prime=\frac{1}{k}\sum_{i=1}^{N}{q_{ij}\alpha_{ij}\left(\mathbf{x}_i^\prime-\mathbf{z}_j\right)} \]

其中 \(q_{ij}\) 表示相似关系，\(\alpha_{ij}\) 表示样本对 \((\mathbf{x}_i',\mathbf{z}_j')\) 的权重，计算方法如下

\[ \alpha_{ij}=\begin{cases} 1-\frac{d(x^{^\prime}_i,z^{\prime}_j)}{\sum q_{ij}(x^{^\prime}_i,z^{\prime}_j)} & q_{ij}=1 \\ 0 & q_{ij}=0 \end{cases} \]

然后，计算训练集正样本差向量的分布中心

\[ \mathbf{u}=\frac{1}{N}\sum_{i=1}^{N}\left(\mathbf{x}_i-\mathbf{z}_i\right) \]

定义两个分布的一致性约束如下

\[ \begin{aligned} \mathbf{S} &= \frac{1}{N^\prime}\sum_{i=1}^{N^\prime}\left\| \mathbf{w}^{\mathsf{T}}\mathbf{v}_{i}-\mathbf{w}^{\mathsf{T}}\mathbf{u} \right\|_{2}^{2} \\ &=\frac{1}{N^\prime}\sum_{i=1}^{N^\prime} \mathbf{w}^{\mathsf{T}}(\mathbf{v}_{i}-\mathbf{u})(\mathbf{v}_{i}-\mathbf{u})^{\mathsf{T}}\mathbf{w} \\ &= \frac{1}{N^\prime} \mathbf{w}^{\mathsf{T}} \sum_{i=1}^{N^\prime} (\mathbf{v}_{i}-\mathbf{u})(\mathbf{v}_{i}-\mathbf{u})^{\mathsf{T}}\mathbf{w} \\ &= \frac{1}{N^\prime}\mathbf{w}^{\mathsf{T}}\mathbf{S}^\prime\mathbf{w} \end{aligned} \]

基于负样本与参考集距离的约束

我们定义一个参考集 \(\mathbf{C} = \mathbf{B}\)，\(\mathbf{B}\) 为训练数据中摄像头 B 所采集的数据。
测试数据 \(\mathbf{A}'\) 中的每一个样本，与参考集 \(\mathbf{C}\) 中的每一个样本所组成的一定是负样本对。
一个有效的度量模型，\(\mathbf{A}'\) \(\mathbf{C}\) 之间负样本的距离，与测试集的负样本距离，分布应该一致。
因为测试集标签数据是不可知的，所以我们基于已经训练了的 XQDA 模型，在测试集 \(\mathbf{B}'\) 中寻找 \(k'\) 以外个最不相似的样本，并计算这些样本的均值。
所以我们定义参考集负样本于测试集负样本差异如下

\[ \mathbf{D} = \left\| \mathbf{w}^{\mathsf{T}}\left( \frac{1}{N_{A'} N_{C}} \sum\limits_{n=1}^{N_{A'}} \sum\limits_{j=1}^{N_C} \left( \mathbf{x}'_i - \mathbf{z}_j \right) \right) - \mathbf{w}^{\mathsf{T}}\left( \frac{1}{N_{A'}N_{B'}}\sum\limits_{s=1}^{N_{A'}} \sum\limits_{t=1}^{N_{B'}} p_{st}(\mathbf{x}_s - \mathbf{z}_t) \right) \right\|_{2}^{2} \]

其中 \(\left( \frac{1}{N_{A'} N_{C}} \sum\limits_{n=1}^{N_{A'}} \sum\limits_{j=1}^{N_C} \left( \mathbf{x}'_i - \mathbf{z}_j \right) \right)\) 为参考集的负样本对中心
\(\left( \frac{1}{N_{A'}N_{B'}}\sum\limits_{s=1}^{N_{A'}} \sum\limits_{t=1}^{N_{B'}} p_{st}(\mathbf{x}_s - \mathbf{z}_t) \right)\) 为测试集中负样本对中心
\(p_{st}\) 表示 \(\mathbf{x}_s\) 与 \(\mathbf{z}_t\) 之间的相似关系。\(\mathbf{x}_s \in \mathbf{A}', \mathbf{z}_t \in \mathbf{B}'\)
展开上式

\[ \begin{aligned} \mathbf{D} &= \left\| \mathbf{w}^{\mathsf{T}}\left( \frac{1}{N_{A'} N_{C}} \sum\limits_{n=1}^{N_{A'}} \sum\limits_{j=1}^{N_C} \left( \mathbf{x}'_i - \mathbf{z}_j \right) \right) - \mathbf{w}^{\mathsf{T}}\left( \frac{1}{N_{A'}N_{B'}}\sum\limits_{s=1}^{N_{A'}} \sum\limits_{t=1}^{N_{B'}} p_{st}(\mathbf{x}_s - \mathbf{z}_t) \right) \right\|_{2}^{2} \\ &=\begin{aligned}[t] &\mathbf{w}^{\mathsf{T}}\left( \frac{1}{N_{A'} N_{C}} \sum\limits_{n=1}^{N_{A'}} \sum\limits_{j=1}^{N_C} \left( \mathbf{x}'_i - \mathbf{z}_j \right) - \frac{1}{N_{A'}N_{B'}}\sum\limits_{s=1}^{N_{A'}} \sum\limits_{t=1}^{N_{B'}} p_{st}(\mathbf{x}_s - \mathbf{z}_t) \right) \\ &\left( \frac{1}{N_{A'} N_{C}} \sum\limits_{n=1}^{N_{A'}} \sum\limits_{j=1}^{N_C} \left( \mathbf{x}'_i - \mathbf{z}_j \right) - \frac{1}{N_{A'}N_{B'}}\sum\limits_{s=1}^{N_{A'}} \sum\limits_{t=1}^{N_{B'}} p_{st}(\mathbf{x}_s - \mathbf{z}_t) \right)^{\mathsf{T}}\mathbf{w} \end{aligned}\\ &=\mathbf{w}^{\mathsf{T}}\mathbf{D}'\mathbf{w} \end{aligned} \]

改进后的最优化模型

依据上述的两个约束，改进的度量模型如下

\[ \max{J}(\mathbf{w})=\frac{\mathbf{w}^{\mathsf{T}}(\mathbf{S}_b + \mathbf{D}^{\prime})\mathbf{w}}{\mathbf{w}^{\mathsf{T}}(\mathbf{S}_w+\alpha \mathbf{S}^{\prime})\mathbf{w}} \]

同样的，转换为如下特征根问题

\[ \left(\mathbf{S}_w+\alpha \mathbf{S}^\prime\right)^{-1}(\mathbf{S}_b + \mathbf{D}')\mathbf{w}=\lambda\mathbf{w} \]

实验

测试数据

VIPeR³ 是一个基准数据集
- 非重叠，不同时
- \(632\) 个目标
- \(1264\) 张图像
- \(128 \times 48\) 分辨率，不能用人脸特征
包含各种行人步态的变化、背景的变化、照明条件的变化和各种拍摄角度的变化，数据集很符合实际的应用场景。
使用 \(50\%\) 训练集，\(50\%\) 测试集分割数据集，也就是，各 \(316\) 个目标，\(632\) 张图片。

评价指标

行人再试别任务中广泛使用的累计精度曲线 CMC 作为评价指标

\[\operatorname{CMC}(l)=\frac{1}{N}\sum_{i=1}^{N}{\mathbb{I}(\operatorname{rank}(P_i)<l)} \]

其中，\(\operatorname{CMC}(l)\) 表示排名前 \(l\) 的识别样本的累积正确率。\(\operatorname{rank}(P_i)\) 表示第 \(i\) 个测试个体对应的正样本的距离按照从小到大顺序排序后的排名 \(\mathbb{I}(\cdot)\)是符号函数。如果\(\operatorname{rank}(P_i)\)的排序结果小于\(l\)，\(\mathbb{I}(\cdot)=1\)；反之，则\(\mathbb{I}(\cdot)=0\)
简而言之，rank n 前面能识别正确的百分比，比如 rank 5 就是前 \(5\) 个里面，有对的情况。

结果分析

使用刚刚提到 VIPeR 数据进行测试，结果取 \(10\) 次平均值

精度对比

相较于基线算法 XQDA，提升了 \(29.63\%\)，效果显著。

不同训练样本规模下的识别精度对比

在训练集 \(316\) 个目标，\(200\) 个目标， \(150\) 个目标都可以达到相对较高的精度，算法的识别精度的变化较小，仅仅需要少量的训练样本便能达到很高的识别精度。
- \(200\) 个目标大概 rank 1 在 \(63\%\) 左右，\(150\) 个的话 rank 1 在 \(59\%\) 左右

不同维度的精度对比

如图可以看到，使用不同维度的投影矩阵，特征维度在 \(100\) 到 \(220\) 的变化过程中，识别精度基本没有变化。说明算法对于特征维度有很高的鲁棒性。
投影特征维度与矩阵分解时矩阵的维度相关，矩阵越小，则对应的计算效率越高。由此可以看出，算法对于特征维度有很高的鲁棒性，对于算法实时检测有很重要的作用，尤其是在边缘计算，比如摄像头可以直接使用边缘计算芯片，实时处理好了直接发给数据中心。

样本距离分布对比

可以看到相较于 XQDA 基线算法，优化后的算法在过拟合的问题上有显著的缓解。

M. Kostinger, M. Hirzer, P. Wohlhart, P. M. Roth, and H. Bischof. Large scale metric learning from equivalence constraints. In IEEE Conference on Computer Vision and Pattern Recognition, 2012.↩︎
Liao, S., Hu, Y., Zhu, X., Li, S.Z.: Person re-identification by local maximal occur-rence representation and metric learning. In: Proceedings of the IEEE conferenceon computer vision and pattern recognition. (2015) 2197–2206↩︎
Du, Y., Ai, H., Lao, S.: Evaluation of color spaces for person re-identification. In: Proceedings of the 21st International Conference on Pattern Recognition(ICPR2012), IEEE (2012) 1371–1374↩︎

Person Re-identification XQDA 行人再识别相似性度量算法笔记

简要的介绍了一下 XQDA 度量学习的两篇论文，KISSME 和 XQDA，并依此做了一些提升的工作

相关工作

马氏距离 Mahalanobis Distance

KISSME 方法

XQDA + LOMO 方法