信息检索评价标准计算

相关的评价标准

NDGG也是用来衡量排序质量的指标

Precision

此时是根据阈值K来确定检索的精度。
如下图的例子，对于一次检索，我们可以获得已经排序好的返回的文档，假设一共有R个，此时不同的K有不同的检索精度，如果只看前3个返回的文本。那么此时对应3个样本的精度为Prec@3 = 2/3。

average precision

此时的average precision仍然是对应于一次检索，每次设定一个阈值K，此K位置上的样本是相关的样本即正确的样本，那么我们就能计算出一次精度，对于一次检索，假设一共有R个样本，那么，阈值的选取【 $K_1,K_2.......K_R$】其中下标即为阈值。

mean average precision

mean average precision 对于不同样本的多次检索，计算平均检索精度。

MAP注意

1. 如果相关的样本没有被检索到，那么定义此处的检索精度为0
2. MAP是比average precision更上一层的平均。
3. MAP更感兴趣的是在检索中返回的样本相关性更高。

图像检索的AP和MAP

MRR

DCG

参考

1. 原版PDF此处下载：http://web.stanford.edu/class/cs276/handouts/EvaluationNew-handout-1-per.pdf
2. 图像检索：信息检索评价指标