文章目录
在前面的文章中，我们已经介绍了分类指标Precision，Recall，F1-Score的定义和计算公式：详解分类指标Precision，Recall，F1-Score
我们可以知道，精度(precision)、查全率(recall)、F1的计算，是针对于二分类器来定义的。他们的计算，只与y_true和y_pred有关，要求y_true和y_pred中只含有0和1两个类别。
我们在实际计算上述二分类任务的评价指标时，可以直接调用sklearn中的函数库实现。
一、分类指标函数
1.1 precision_score函数
- precision_score函数用于计算分类结果的查准率。
– 官方文档：https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_score.html
– 函数定义：
sklearn.metrics.precision_score(y_true, y_pred, labels=None, pos_label=1, average='binary', sample_weight=None)
1.2 recall_score函数
- recall_score函数用于计算分类结果的查全率。
– 官方文档：https://scikit-learn.org/stable/modules/generated/sklearn.metrics.recall_score.html#sklearn.metrics.recall_score
– 函数定义：
sklearn.metrics.recall_score(y_true, y_pred, labels=None, pos_label=1,
average='binary', sample_weight=None)
1.3 accuracy_score函数
accuracy_score函数用于计算分类结果的准确率。
sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)
1.4 f1_score函数
f1_score函数用于计算分类结果的值。
sklearn.metrics.f1_score(y_true, y_pred, labels=None, pos_label=1,
average='binary', sample_weight=None)
1.5 precision_recall_curve函数
precision_recall_curve函数用于计算分类结果的P-R曲线。
sklearn.metrics.precision_recall_curve(y_true, probas_pred, pos_label=None,
sample_weight=None)
1.6 roc_curve函数
roc_curve函数用于计算分类结果的ROC曲线。其原型为：
sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None,
drop_intermediate=True)
1.7 roc_auc_score函数
oc_auc_score函数用于计算分类结果的ROC曲线的面积AUC。
sklearn.metrics.roc_auc_score(y_true, y_score, average='macro', sample_weight=None)
1.8 classification_report函数
sklearn中的classification_report函数用于显示主要分类指标的文本报告，在报告中显示每个类的精确度，召回率，F1值等信息。
sklearn.metrics.classification_report(y_true, y_pred, labels=None, target_names=None, sample_weight=None, digits=2)
二、二分类任务
对二分类模型来说，可以直接调用 sklearn.metrics 中的 precision_score, recall_score 和 f1_score 来进行计算，将函数中的 average 参数设置为binary (average='binary') 即可。
应用示例：
from sklearn.metrics import precision_score, recall_score, f1_score, classification_report
y_true = [1, 1, 1, 1, 1, 0, 0, 0, 0, 1]
y_pred = [1, 1, 1, 1, 1, 1, 1, 0, 0, 0]
precision = precision_score(y_true, y_pred, average='binary')
print('precision:', precision)
recall = recall_score(y_true, y_pred, average='binary')
print('recall:', recall)
f1_score = f1_score(y_true, y_pred, average='binary')
print('f1_score:', f1_score)
输出结果如下：
precision: 0.714285714286
recall: 0.833333333333
f1_score: 0.769230769231
我们还可以使用 classification_report 函数来查看每一类的分类情况：
target_names = ['class 0', 'class 1']
cla_report = classification_report(y_true, y_pred, target_names=target_names)
print('cla_report:', cla_report)
输出结果如下：
precision recall f1-score support
class 0 0.67 0.50 0.57 4
class 1 0.71 0.83 0.77 6
avg / total 0.70 0.70 0.69 10
三、多分类任务
前面提到，传统的精度(precision)、查全率(recall)、F1的计算公式，只适用于二分类模型。
对多分类模型来说，要用Macro Average（宏平均）或Micro Average（微平均）规则来进行F1（或者P、R）的计算。
3.1 Macro Average（宏平均）
宏平均（Macro-averaging），是先对每一个类统计指标值，然后在对所有类求算术平均值。
Macro Average（宏平均）会首先针对每个类计算评估指标，如查准率Precesion，查全率 Recall , F1 Score。然后对他们取平均得到Macro Precesion, Macro Recall, Macro F1。具体计算方式如下：
举例来说，假设是三个类别的分类模型：
y_true=[1,2,3]
y_pred=[1,1,3]
Macro Average F1的计算过程如下：
（1）将第1个类别设置为True（1），非第1个类别的设置为False（0），计算P1, R1。
y_true=[1,0,0]
y_pred=[1,1,0]
P1 = (预测为1且正确预测的样本数)/(所有预测为1的样本数) = TP/(TP+FP) = 1/(1+1)=0.5
R1 = (预测为1且正确预测的样本数)/(所有真实情况为1的样本数) = TP/(TP+FN)= 1/1 = 1.0
F1_1 = 2*(PrecisionRecall)/(Precision+Recall)=20.5*1.0/(0.5+1.0)=0.6666667
（2）将第2个类别设置为True（1），非第2个类别的设置为False（0），计算P2, R2。
y_true=[0,1,0]
y_pred=[0,0,0]
P2 = (预测为1且正确预测的样本数)/(所有预测为1的样本数) = TP/(TP+FP) =0.0
R2 = (预测为1且正确预测的样本数)/(所有真实情况为1的样本数) = TP/(TP+FN)= 0.0
F1_2 = 2*(Precision*Recall)/(Precision+Recall)=0
（3）将第3个类别设置为True（1），非第3个类别的设置为False（0），计算其P3, R3。
y_true=[0,0,1]
y_pred=[0,0,1]
P3 = (预测为1且正确预测的样本数)/(所有预测为1的样本数) = TP/(TP+FP) = 1/1=1.0
R3 = (预测为1且正确预测的样本数)/(所有真实情况为1的样本数) = TP/(TP+FN)= 1/1 = 1.0
F1_3 = 2*(PrecisionRecall)/(Precision+Recall)=21.0*1.0/(1.0+1.0)=1.0
（4）对P1、P2、P3取平均为P，对R1、R2、R3取平均为R，对F1_1、F1_2、F1_3取平均F1。
P=(P1+P2+P3)/3=(0.5+0.0+1.0)/3=0.5
R=(R1+R2+R3)/3=(1.0+0.0+1.0)/3=0.6666666
F1 = (0.6666667+0.0+1.0)/3=0.5556
最后这个取平均后的得到的P值/R值，就是Macro规则下的P值/R值。对这个3类别模型来说，它的F1就是0.5556。
【基于sklearn 实现 Macro Average】：
下面给出基于sklearn计算Macro Average（宏平均）的样例，将函数中的 average 参数设置为macro (average='macro') 即可。
from sklearn.metrics import precision_score, recall_score, f1_score
y_true = [1, 2, 3]
y_pred = [1, 1, 3]
precision = precision_score(y_true, y_pred, average='macro')
print('precision:', precision)
recall = recall_score(y_true, y_pred, average='macro')
print('recall:', recall)
f1_score = f1_score(y_true, y_pred, average='macro')
print('f1_score:', f1_score)
输出结果如下：
precision: 0.5
recall: 0.666666666667
f1_score: 0.555555555556
3.2 Micro Average（微平均）
Micro Average（微平均）会考虑到所有类别的贡献，将所有类别的预测结果合并在一起，然后计算整体的性能指标。
Micro-average = (TP + FP) / (TP + TN + FP + FN)
分母就是输入分类器的预测样本个数，分子就是预测正确的样本个数（无论类别）。
对于Micro F1而言，Micro F1 = Micro Recall = Micro Precesion = Accuracy。
【基于sklearn 实现 Micro Average】：
下面给出基于sklearn计算Micro Average（微平均）的样例，将函数中的 average 参数设置为micro (average='micro') 即可。
from sklearn.metrics import precision_score, recall_score, f1_score
y_true = [1, 2, 3]
y_pred = [1, 1, 3]
precision = precision_score(y_true, y_pred, average='micro')
print('precision:', precision)
recall = recall_score(y_true, y_pred, average='micro')
print('recall:', recall)
f1_score = f1_score(y_true, y_pred, average='micro')
print('f1_score:', f1_score)
输出结果如下：
precision: 0.666666666667
recall: 0.666666666667
f1_score: 0.666666666667
3.3 宏平均 vs. 微平均
-
Macro平均：对每个类别的性能指标分别计算平均值，然后再对这些平均值求平均。
– 在Macro平均中，对于每个类别，分别计算查准率、查全率和F1分数，并对这些指标进行简单平均。
– Macro平均给予每个类别相同的权重，不考虑样本数量的差异，因此能够平等对待每个类别。
– Macro平均更适用于每个类别的性能对整体性能均等重要的情况。 -
Micro平均：将所有类别的预测结果合并在一起，然后计算整体的性能指标。
– 在Micro平均中，所有类别的真正例、假正例和假负例的数量总和用于计算查准率、查全率和F1分数。
– Micro平均给予每个样本相同的权重，无论其属于哪个类别，因此对于样本数量不均衡的问题，Micro平均会偏向于样本数量多的类别。
– Micro平均更适用于在不同类别上有明显不均衡样本分布的情况，且更关注整体性能而不是每个类别的个别性能。
总结来说:Macro平均是对每个类别的结果进行独立计算，并对各个类别的结果进行平均，适用于每个类别的性能对整体性能均等重要的情况。而Micro平均是将所有类别的结果合并成一个总体进行计算，适用于样本数量不均衡或关注整体性能的情况。而选择使用哪种平均方法取决于具体的问题和需求。