姿态检测前提知识

姿态检测的挑战：

1. 每张图片中人的数量是未知的；
2. 人与人之间的交互复杂（接触、遮挡等），使得部分关键点检测变得困难；
3. 图像中人越多，time cost越大，使得real time应用变得困难；

检测指标

• PCK，Percentage of Correct Keypoints，关键点正确估计的比例。计算检测关键点与对应的 ground-truth 间的归一化距离小于设定阈值的比例。FLIC数据集，是以躯干直径（torso size）作为归一化参考；MPII数据集，是以头部长度（head length）作为归一化参考。
• PDJ，Percentage of Detected Joints，检测到的关键点的比例。
• OKS，Object Keypoint Similarity，计算ground-truth与检测人体关键点的相似度，启发于IoU。
• OKS矩阵。
• AP，Average Precision，所有OKS中，统计其中大于阈值t的个数占据关节点的比例。
• mAP，mean Average Precision，给定不同的阈值t，AP的均值。
  $$OK{S}_p=\frac{{\sum }_i\exp (\frac{-d_{p_i}^2}{2S_p^2{\sigma }_i^2})\delta (v_{p_i}=1)}{{\sum }_i\delta (v_{p_i}=1)}$$
  其中，$p$表示ground-truth中人的id，$i$表示keypoint的id，$d_{p_i}$表示ground-truth和预测关键点的欧氏距离，$S_p$表示当前人的尺度因子，${\sigma }_i$表示第i个关键点的归一化因子（这个因子是对dataset所有ground-truth计算的标准差得到的，反映出当前骨骼标注时的标准差，$\sigma$越大表示越难标注），$v_{p_i}$表示第p个人的第i个关节点是否可见，$\delta$函数用于将可见点选出来计算的函数，是个布尔函数。

方法归类

• top-down方法，先检测到人（目标检测），得到检测框后，再进行单人（目标）的关键点检测（单人姿态估计）。
• bottom-up方法，先检测所有人的所有关节点，再对关节点进行分组、并联，组合成人

  一般top-down方法精度更高（先目标检测，再关节点检测的two-stage结构），bottom-up方法速度更快。

• 2016年，CPM，Hourglass，是当时的担任检测估计的SOTA算法；
• 2016年，OpenPose所使用的的方法，是COCO关键点检测的冠军；
• 2017年，CPN，是COCO关键点检测的冠军；
• 2018年，MSPN，是COCO关键点检测的冠军；
• 2019年，MSPA的xxx提出了HRNet，验证了空间分辨率的重要性；