MOT 评价指标-“Evaluating Multiple Object Tracking Performance, the CLEAR MOT Metrics“

MOT 评价指标-"Evaluating Multiple Object Tracking Performance, the CLEAR MOT Metrics"

　　这篇文章介绍了两个综合性指标 MOTA 以及 MOTP 的计算过程，这两个指标有优劣势，但是作为综合性指标至今在学术界仍广泛应用。本文主要介绍其设计思想及计算过程。
　　一个理想的 MOT 算法，我们期望每一帧：

这就要求评价准则：

此外，为了提高评价准则的实用性：

假设第 t 帧，有目标集 {o1,...,on}{o1,...,on}，跟踪算法的输出(hypotheses)：{h1,...hm}{h1,...hm}。根据上述设计准则，设计评价计算过程：

构建 hj 与 oi 的最优匹配；
对于每个匹配对，计算位置估计误差；
累加所有匹配对的误差，包括：
1. 计算漏检数(FN)；
2. 计算误检数(FP)；
3. 计算 ID swith 次数，包括两个邻近目标的 ID 交换，以及遮挡后，同一目标的 ID 跳变；

由此可得到两大指标：

下面分两块做细节分析，匹配构建 (Establishing Correspondences) 与评价指标 (Metrics)。

　　算法估计与目标真值的匹配，大致还是基于匹配最近 object-hypothesis 的思想，没匹配上的估计就是 FP，没匹配上的真值就是 FN。但是这中间需要进一步考虑一些问题。

　　如果算法估计 hj 与目标 oi 的最近距离 $dist_{i,j}$ 超过了一定的阈值 T，那么这个匹配也是不合理的，因为这个距离误差加入到定位误差中是不合理的，所以只能说这个跟踪的结果不是这个目标。关于距离的度量：

　　统计目标与算法输出的匹配跳变的次数，也就是目标 ID 的跳变数。文章还提到，当目标有两个有效地匹配时，选择之前的匹配，即使那个匹配的距离大于另一个匹配，这点当存在两个很近的目标时，可能会有问题，需要全局来看。

对 t 帧，考虑 $M_{t-1}$ 中所有匹配是否还依然有效，包括目标真值及算法输出是否还存在，如果都存在，那么距离是否超出阈值 T；
对于剩下的没找到匹配的真值目标，在唯一匹配以及阈值约束下，可采用匹配算法或者贪心算法来求解，使得距离误差的总和最小（文章的意思是排除了从上一帧继承的已有匹配，当目标密集时，这部分也应该加入进来优化）。统计当前帧目标真值匹配的跳变数 mmetmmet，作为 mismatch errors；
经过之前两步后，找到了所有的匹配，统计匹配个数为 $c_t$ ，计算匹配上的目标真值与算法输出的定位误差 ditdti；
统计没有匹配上的算法输出 (hypotheses) 为 $fp_t$ ，没有匹配上的目标真值为 $m_t$ ，目标真值个数为 $g_t$ ；
每一帧重复步骤１，第一帧没有 mismatch；

　　基于以上的匹配策略，得出两个合理的指标：

MOTP(multiple object tracking precision)，跟踪定位精度指标：
$\text{MOTP} = \frac{\sum_{i,t} d_i^t}{\sum_{t} c_t}$
MOTA(multiple object tracking accuracy)，综合了漏检率，误检率，以及 ID 跳变率：
$MOTA=1-\frac{\sum_t(m_t+fp_t+mme_t)}{\sum_t g_t}$