用简单的例子来理解机器学习中的precision、recall、F1-score、accuracy

通常来说,在机器学习分类项目中,我们一般:

用precision来评估某类别分类的准确性;

用accuracy来评估总体分类的准确性。

但对于一些数据数量占比不平衡的数据集来说,计算分类的准确性就不能单单依靠precision和accuracy,

还要考虑recall和F1-score。

在文献中经常用以下算式来定义他们,

 (Fm为F1-score的均值)

其中TP=True Positive,TN=True Negative,FP=False Positive,FN=False Negative 

这是因为把它假设成为了一种含有两个标签的分类问题(个人猜测源于医学检查中的真阳性、真阴性、假阳性、假阴性):

标签有Positive和Negative(你也可以写成下面例子中的cat与dog)。

True和False则表示预测的对不对。


比如现在有一个数据集,其中有{cat:5, dog:100},可以看出两种类别数量严重失衡。

经过机器学习模型分类后,生成了如下混淆矩阵

  cat dog
cat 4 1
dog 20 80

(1)对于cat来说:

  cat dog
cat 4(TP) 1(FP)
dog 20(FN) 80(TN)

precision=TP/(TP+FP)= 4/(4+1)  = 4/5   = 0.80

=预测为cat实际为cat数量 /(预测为cat实际为cat数量+预测为dog实际为cat数量=cat的总数)

recall=TP/(TP+FN)= 4/(4+20)= 0.167

=预测为cat实际为cat数量 /(预测为cat实际为cat数量+预测为cat实际为dog数量)

Fm=2*precision*recall/(precision+recall) =2*0.8*0.167 / (0.8+0.167)  = 0.276

accuracy=(TP+TN)/(TP+TN+FP+TN) = (4+80) / (4+80+1+20) = 0.8

(2)对于dog来说:

  dog cat
dog 80(TP) 20(FP)
cat 1(FN) 4(TN)

precision=TP/(TP+FP) = 80/(80+20)   = 80/100   = 0.80

=预测为dog实际为dog数量 /(预测为dog实际为dog数量+预测为cat实际为dog数量=dog的总数)

recall=TP/(TP+FN) = 80/(80+1) =  0.988

=预测为dog实际为dog数量 /(预测为dog实际为dog数量+预测为dog实际为cat数量)

Fm=2*precision*recall/(precision+recall) =2*0.8*0.988/ (0.8+0.988)  = 0.884

accuracy=(TP+TN)/(TP+TN+FP+TN) = (80+4) / (80+4+20+1) = 0.8


我们可以发现,对于cat和dog,precision都是0.8,但他们的recall和F1-score是不一样的,dog的F1-score比cat高很多。

这与我们直观理解是相符的,(从100个数据中分辨对80个数据)通常比(从5个数据中分辨对4个数据)可靠度高。

猜你喜欢

转载自blog.csdn.net/kane7csdn/article/details/84488661