行人重识别（ReID）基本介绍
前言
最近一段时间开始了深度学习领域的学习，但总是东看看西看看停留在表面。看过的东西很快就忘了，遇到不懂的地方也都就扔到了一边，鉴于学术和毕业上的压力，决定开始更新这个博客，一方面记录整理自己学过的东西，另一方面也为了督促自己每天都能够有所进步。
这篇文章是在学习罗浩老师发布在bilibili上的课程后进行的，对于那些准备进入行人重识别领域的小白来说，在这里推荐一下罗浩老师的课程。虽说发布时间已经是几年前了，有些框架或者知识已经更新，但仍是不可多得的入门材料。
b站浙江大学罗浩博士行人重识别课程链接
定义
行人重识别(Person re-identification)也称行人再识别, 被广泛认为是一个图像检索的子问题, 是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术, 即给定一个监控行人图像检索跨设备下的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉局限, 并可与行人检测、行人跟踪技术相结合, 应用于视频监控、智能安防等领域。
行人重识别系统
一个完整的行人重识别系统包括以下几个部分：
1.数据
- 原始视频帧
就是我们通过摄像设备获取的正常视频图像。举个栗子，假如是警察在追查犯罪嫌疑人的逃跑路径，那么原始视频帧就是犯罪现场周围的所有监控视频。 - 带检索行人图像
指的就是我们所要查找的行人的图片，作为Probe输入。还是上面那个栗子的话，带检索行人图像就是嫌犯的图像。
2.行人重识别系统
- 行人检测
主要用于检测视频中出现的人像，作为一个行人重识别首先要做到的就是能够将图片中的行人识别出来，称为Gallery输入。当然，在学术研究领域，行人重识别主要还是关注的下面这个部分，而对于行人检测这部分多选择采用目前已经设计好的框架。 - 行人重识别
这一部分就是对上面的Probe以及Gallery进行特征提取，当然提取的方式可以是手工提取，也可以使用卷积神经网络进行提取。然后呢，就是对图片的相似度进行度量，根据相似图进行排序。
针对行人重识别系统从细节来说，包括下面几个部分：
- 特征提取（feature Extraction）：学习能够应对在不同摄像头下行人变化的特征。
- 度量学习(Metric Learning) ：将学习到的特征映射到新的空间使相同的人更近不同的人更远。
- 图像检索(Matching)：根据图片特征之间的距离进行排序，返回检索结果。
数据集
数据集通常是通过人工标注或者检测算法得到的行人图片，目前与检测独立，注重识别
• 数据集分为训练集 、 验证集 、 Query 、Gallery
• 在训练集上进行模型的训练，得到模型后对Query与Gallery中的图片提取特征计算相似
度，对于每个Query在Gallery中找出前N个与其相似的图片
• 训练、测试中人物身份不重复
现存的数据集可以分为两类：
单帧数据集
单帧呢就是指采集的图片为单张的，不连续的图片。在标注时，一张图片就是一个id。
序列数据集
相比较单帧的我们可以看出序列数据集的图片都是连续的动作。而且不同于单帧的图片，是一组图片才是一个id。
在这里顺便给出一个网站，这个网站归纳了常用的行人再识别领域的数据集网站，但最常用的还是上面列举的几个：行人再识别数据集.
常用评价指标
1.rank-k
rank-k：算法返回的排序列表中，前k位为存在检索目标则称为rank-k命中
2.CMC曲线
Cumulative Match Characteristic (CMC) curve:计算rank-k的击中率，形成rank-acc的曲线
3.mAP曲线
mAP(mean average precision)：反应检索的人在数据库中所有正确的图片排在排序列表前面的程度，能更加全面的衡量ReID算法的性能。
评价模式
1.single shot vs multi shot
Single shot是指gallery中每个人的图像为一张（N=1），而multi shot是指gallery中每个人的图像为N>1张图像。同样的Rank-k下，一般N越大，得到的识别率越高。
2.single query vs multi query
Single query是指probe中每个人的图像为一张（N=1），而multi query是指probe中每个人的图像为N>1张图像，然后融合N张图片的特征（最大池化或者平均池化）作为最终特征。同样的Rank-k下，一般N越大，得到的识别率越高。
行人重识别方法
传统方法——手工设计特征+距离度量
- 手工特征：
- 颜色空间：RGB、HSV、LAB、XYZ、YCbCr、ELF、ELF16
- 纹理空间：LBP、Gabor
- 局部特征：SIFT、HOG、SURF
- 专用特征：LDFV、ColorInv、SDALP、LOMO
- 距离度量：
- 常用距离：欧式距离、马氏距离、余弦距离
- 度量学习：LFDA、MFA、LMNN、LADF、XQDA、KISSME
深度学习方法
在这里总结概括一下基于深度学习的行人重识别方法，根据训练损失可以分为基于表征学习和度量学习；根据特征是否考虑局部特征可以分为基于全局特征和基于局部特征特征；根据数据不同可以分为基于单帧图像和基于视频序列的方法；除此之外呢，还有一类基于GAN的的方法。（这些方法在后面都会提到）
- 基于表征学习的方法
- 基于度量学习的方法
- 基于局部特征的方法
- 基于视频序列的方法
- 基于GAN网络的方法
可视化
本身就是对识别出来的图片进行一种聚类分析。
好了，我的这篇博客到这里就结束了，欢迎研究这个方向的朋友一起交流。