传统方法
- 模板匹配
在几何先验的基础上基于模板匹配进行骨架关键点的检测
人体骨骼关键点检测
两个方向
- 自上而下
人体检测 + 单人人体关键点检测
代表性方法：G-RMI, CFN, RMPE, Mask R-CNN, and CPN
mask rcnn的检测+分割框架很适合用来做关键点检测，将关键点进行one-hot mask编码，针对k个关键点会预测k个mask。
实现细节为，训练时采用mm的mask，仅标注一个像素作为前景，对每一个关键点采用最小化的交叉熵损失函数进行训练，即鼓励每个mm的图像仅检测一个关键点。在实例分割时，关键点也是各自独立分割的。
头部的网络结构为256个33的卷积，反卷积、双线性上采样层，最后输出5656的mask，相比实例分割，人体关键点检测需要更高的分辨率以实现关键点的准确定位。 - 自下而上：关键点检测+关键点聚类（将关键点聚合成人体）
关键点聚类方法：PAF, Associative Embedding, Part Segmentation, Mid-Range offsets - 总体而言，自上而下的方法要好于自下而上的方法，因为自上而下的方法加入了整个人体作为空间先验，而自下而上的方法没有建立人体的整体空间关系，仅建模了局部空间关系，因而准确率不及自上而下的方法。自上而下的方法计算代价较大，且与图片中的人体数量成正比。
关键点回归的GT构建
- coordinate：回归offset，各个点之间相互独立，训练时提供的监督信息较少，收敛速度慢
- heatmap:概率回归，训练时每个点都提供了监督信息，对每个像素位置进行预测可提高关键点的定位精度，可视化效果更好
- Heatmap + Offsets：距离关键点一定区域范围内采用heatmap方法,将概率值置为1，在heatmap外，采用offset
自上而下的关键点检测方法
在关键点检测算法中，要考虑的问题：
- 局部信息的区分性较弱，背景中很容易出现同样的背景信息造成混淆，所以需要采用较大的感受野
Convolutional Pose Machines网络中：
第一个阶段产生粗略的关键点，后面的网络都是以stage1的响应输出和对原图提取的特征作为输入，进一步提高关键点的定位精度 - 人体不同关键点检测的难易程度不同，腰、腿 > 头，遮挡不可见>不遮挡可见，所以不同关键点要区分对待
Cascaded Pyramid Network网络中：
GlobalNet：检测容易和可见的较难的关键点
RefineNet：检测不可见的更难的关键点 - 关键点定位依赖于proposals，可能出现检测不准，或者重复检测等现象
RMPE网络通过空间变换网络，将同一个人体产生的不同裁剪区域都变换到一个较好的结果，比如人体位于裁剪区域的正中央，实现对proposals的优化
