通常来说,在机器学习分类项目中,我们一般:
用precision来评估某类别分类的准确性;
用accuracy来评估总体分类的准确性。
但对于一些数据数量占比不平衡的数据集来说,计算分类的准确性就不能单单依靠precision和accuracy,
还要考虑recall和F1-score。
在文献中经常用以下算式来定义他们,
(Fm为F1-score的均值)
其中TP=True Positive,TN=True Negative,FP=False Positive,FN=False Negative
这是因为把它假设成为了一种含有两个标签的分类问题(个人猜测源于医学检查中的真阳性、真阴性、假阳性、假阴性):
标签有Positive和Negative(你也可以写成下面例子中的cat与dog)。
True和False则表示预测的对不对。
比如现在有一个数据集,其中有{cat:5, dog:100},可以看出两种类别数量严重失衡。
经过机器学习模型分类后,生成了如下混淆矩阵:
cat | dog | |
cat | 4 | 1 |
dog | 20 | 80 |
(1)对于cat来说:
cat | dog | |
cat | 4(TP) | 1(FP) |
dog | 20(FN) | 80(TN) |
precision=TP/(TP+FP)= 4/(4+1) = 4/5 = 0.80
=预测为cat实际为cat数量 /(预测为cat实际为cat数量+预测为dog实际为cat数量=cat的总数)
recall=TP/(TP+FN)= 4/(4+20)= 0.167
=预测为cat实际为cat数量 /(预测为cat实际为cat数量+预测为cat实际为dog数量)
Fm=2*precision*recall/(precision+recall) =2*0.8*0.167 / (0.8+0.167) = 0.276
accuracy=(TP+TN)/(TP+TN+FP+TN) = (4+80) / (4+80+1+20) = 0.8
(2)对于dog来说:
dog | cat | |
dog | 80(TP) | 20(FP) |
cat | 1(FN) | 4(TN) |
precision=TP/(TP+FP) = 80/(80+20) = 80/100 = 0.80
=预测为dog实际为dog数量 /(预测为dog实际为dog数量+预测为cat实际为dog数量=dog的总数)
recall=TP/(TP+FN) = 80/(80+1) = 0.988
=预测为dog实际为dog数量 /(预测为dog实际为dog数量+预测为dog实际为cat数量)
Fm=2*precision*recall/(precision+recall) =2*0.8*0.988/ (0.8+0.988) = 0.884
accuracy=(TP+TN)/(TP+TN+FP+TN) = (80+4) / (80+4+20+1) = 0.8
我们可以发现,对于cat和dog,precision都是0.8,但他们的recall和F1-score是不一样的,dog的F1-score比cat高很多。
这与我们直观理解是相符的,(从100个数据中分辨对80个数据)通常比(从5个数据中分辨对4个数据)可靠度高。