机器学习常用的评估指标
回归算法常见的评估指标
二分类算法常见的评估指标
1、混淆矩阵(Confuse Matrix)
- (1)若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
- (2)若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
- (3)若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
- (4)若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
2、准确率(Accuracy)
准确率是常用的一个评价指标,但是不适合样本不均衡的情况。
A c c u r a c y = T P + T N T P + T N + F P + F N Accuracy = \frac{TP + TN}{TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN
3、精确率(Precision)
又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。
P r e c i s i o n = T P T P + F P Precision = \frac{TP}{TP + FP} Precision=TP+FPTP
4、召回率(Recall)
又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。
R e c a l l = T P T P + F N Recall = \frac{TP}{TP + FN} Recall=TP+FNTP
5、F1-Score
精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1-Score。
F 1 − S c o r e = 2 1 P r e c i s i o n + 1 R e c a l l = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l F1-Score = \frac{2}{\frac{1}{Precision} + \frac{1}{Recall}} = \frac{2 \cdot Precision \cdot Recall}{Precision+Recall} F1−Score=Precision1+Recall12=Precision+Recall2⋅Precision⋅Recall
6、P-R曲线(Precision-Recall Curve)
P-R曲线是描述精确率和召回率变化的曲线
将样本按照按照预测为正例的概率值从大到小进行排序,从第一个开始,逐个将当前样本点的预测值设置为阈值,有了阈值之后,即可得出混淆矩阵各项的数值,然后计算出P和R,以R为横坐标,P为纵坐标,绘制于图中,即可得出P-R曲线,示意图如下。
当一个模型a的P-R曲线完全包住另一个模型b的P-R曲线时,即可认为a优于b。其他情况下,可以使用平衡点,也即F1值,或者曲线下的面积来评估模型的好坏。
完美二分类数据得到的P-R曲线与坐标轴构成的图形应当是一个正方形。
7、ROC(Receiver Operating Characteristic)
ROC空间将假正例率(FPR)定义为 X 轴,真正例率(TPR)(又叫召回率)定义为 Y 轴。
- 假正例率(FPR):错误预测为正样本(FP)占负样本(TN+FP)的百分比
F P R = F P F P + T N \displaystyle \mathrm FPR = {\frac {\mathrm {FP}} {\mathrm {FP} + \mathrm {TN}}} FPR=FP+TNFP - 真正例率(TPR):正确预测为正样本(TP)占正样本(TP+FN)的百分比
T P R = T P T P + F N \displaystyle \mathrm TPR = {\frac {\mathrm {TP}} {\mathrm {TP} + \mathrm {FN}}} TPR=TP+FNTP
类似的,将样本按照按照预测为正例的概率值从大到小进行排序,从第一个开始,逐渐的将其和其之前的点预测为正例,其他的预测为反例,这样就能计算出TPR和FPR,以FPR为横坐标,TPR为纵坐标,即可绘制出ROC(Receiver Operating Characteristic)曲线,示意图如下。
完美二分类数据得到的ROC应当是一个垂直的曲线。
8、AUC(Area Under ROC Curve)
ROC曲线下面覆盖的面积称为AUC(Area Under ROC Curve)。用于评估模型的好坏,面积的计算可以通过梯形去插值计算,公式和示意图如下:
A U C = 1 2 ∑ i = 1 m − 1 ( x i + 1 − x i ) ⋅ ( y 1 + y i + 1 ) AUC = \frac{1}{2} \sum_{i=1}^{m-1} (x_{i+1}-x_i) \cdot (y_1+y_{i+1}) AUC=21i=1∑m−1(xi+1−xi)⋅(y1+yi+1)
又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。
金融风控预测类常见的评估指标
对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov)
KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于
- ROC曲线将真正例率和假正例率作为横纵轴
- K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。
公式如下:
K S = m a x ( T P R − F P R ) KS=max(TPR-FPR) KS=max(TPR−FPR)
KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。
以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。
KS(%) | 好坏区分能力 |
---|---|
20以下 | 不建议采用 |
20-40 | 较好 |
41-50 | 良好 |
51-60 | 很强 |
61-75 | 非常强 |
75以上 | 过于高,疑似存在问题 |
2、ROC
3、AUC
聚类算法常见的评估指标
scikit-learn具体实现
Scoring | Function | Comment |
---|---|---|
Classification | ||
accuracy | metrics.accuracy_score | |
f1 | metrics.f1_score | for binary targets |
precision etc. | metrics.precision_score | suffixes apply as with ‘f1’ |
recall etc | metrics.recall_score | suffixes apply as with ‘f1’ |
Regression | ||
neg_mean_absolute_error | metrics.mean_absolute_error | |
neg_mean_squared_error | metrics.mean_squared_error |
参考文献
【1】模型评估指标:P-R曲线和ROC曲线
【2】Datawhale零基础入门金融风控 Task1 赛题理解
【3】3.3. Metrics and scoring: quantifying the quality of predictions