模型评估
评价指标Evaluation metrics
分类评价指标

    1 准确率
    2 平均准确率
    3 对数损失Log-loss
    4 基于混淆矩阵的评估度量
        41 混淆矩阵
        42 精确率Precision
        43 召回率Recall
        44 F1-score
    5 AUCArea under the CurveReceiver Operating Characteristic ROC
        TPRTrue Positive Rate
        FPRFalse Positive Rate
        ROC曲线
        AUC

回归评价指标

    1 RMSE
    2 均方差mean squared error
    3 平均绝对误差mean_absolute_error
    4 中值绝对误差Median absolute error
    5 R2 决定系数r2_score

问题
sklearn 评价指标

模型评估

有三种不同的方法来评估一个模型的预测质量：

    estimator的score方法：sklearn中的estimator都具有一个score方法，它提供了一个缺省的评估法则来解决问题。
    Scoring参数：使用cross-validation的模型评估工具，依赖于内部的scoring策略。见下。
    通过测试集上评估预测误差：sklearn Metric函数用来评估预测误差。

评价指标(Evaluation metrics)

评价指标针对不同的机器学习任务有不同的指标，同一任务也有不同侧重点的评价指标。

主要有分类（classification）、回归（regression）、排序（ranking）、聚类（clustering）、热门主题模型（topic modeling）、推荐（recommendation）等。
一、分类评价指标（Evaluation metrics）、

分类有二分类和多分类，二分类主要“是”和“不是”的问题，可以扩展到多分类，如逻辑回归->SoftMax。

1.1 准确率

分类中，使用模型对测试集进行分类，分类正确的样本个数占总样本的比例：

问题：

不同类别样本无区分：各个类平等对待，而实际中会针对不同类有所区分，例如医疗上侧重正例的召回（假阴性：不要漏诊疾病），垃圾邮件侧重垃圾邮件的精度（假阳性：正常邮件不被误分）。
数据不平衡：对于数据分布不平衡情况下，个别类别样本过多，其他类别样本少，大类别主导了准确率的计算。（平均准确率解决此问题）

SKlearn API

from sklearn.metrics import accuracy_score
# y_pred是预测标签
y_pred, y_true=[1,2,3,4], [2,2,3,4]
accuracy_score(y_true=y_true, y_pred=y_pred)

1.2 平均准确率

针对不平衡数据，对n个类，计算每个类别i的准确率，然后求平均：

缺点：某些类别样本数很少，测试集中该类别的准确率方差会很大（统计变量偏离程度：高）。

from sklearn.metrics import average_precision_score
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
average_precision_score(y_true=y_true, y_score=y_pred)

1.3 对数损失（Log-loss）

针对分类输出不是类别，而是类别的概率，使用对数损失函数进行评价。这也是逻辑回归的分类函数，下面是二分类的损失函数。

yi表示第i个样本类别0或1。pi表示其输入类别1的概率。其实就是真实值域预测值得交叉熵，包含了真实分布的熵加上假设与真实分布不同的分布的不确定性，最小化交叉熵，便是最大化分类器的准确率。

from sklearn.metrics import log_loss
y_true, y_pred = [0,0,1,1], [[0.9,0.1],[0.8,0.2],[0.3,0.7],[0.01,0.99]]
print(log_loss(y_true,y_pred))

1.4 基于混淆矩阵的评估度量

1.4.1 混淆矩阵

混淆矩阵通过计算各种分类度量，指导模型的评估。

from sklearn.metrics import confusion_matrix
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
confusion_matrix(y_true=y_true, y_pred=y_pred)

1.4.2 精确率(Precision)

所有分正确的正样本/所有预测为正类的样本数。

1.4.3 召回率(Recall)

所有分正确的正样本/所有的正样本数:

1.4.4 F1-score

精确率和召回率两者一般同时使用，F1-score中和了二者的评估：

sklearn中classification_report可以直接输出各个类的precision recall f1-score support

from sklearn.metrics import classification_report
# y_pred是预测标签
y_pred, y_true =[1,0,1,0], [0,0,1,0]
print(classification_report(y_true=y_true, y_pred=y_pred))

1.5 AUC(Area under the Curve(Receiver Operating Characteristic, ROC))

Auc是ROC(Receiver Operating Characteristic)曲线下的面积。在此再次召唤出混淆矩阵：

import matplotlib.pyplot as plt 
from sklearn.metrics import roc_curve, auc
# y_test：实际的标签, dataset_pred：预测的概率值。
fpr, tpr, thresholds = roc_curve(y_test, dataset_pred)
roc_auc = auc(fpr, tpr)  
#画图，只需要plt.plot(fpr,tpr),变量roc_auc只是记录auc的值，通过auc()函数能计算出来  
plt.plot(fpr, tpr, lw=1, label='ROC(area = %0.2f)' % (roc_auc))
plt.xlabel("FPR (False Positive Rate)")
plt.ylabel("TPR (True Positive Rate)")
plt.title("Receiver Operating Characteristic, ROC(AUC = %0.2f)"% (roc_auc))
plt.show()

from sklearn.metrics import roc_auc_score
# y_test：实际的标签, dataset_pred：预测的概率值。
roc_auc_score(y_test, dataset_pred)

2. 回归评价指标

回归是对连续的实数值进行预测，而分类中是离散值。

2.1 RMSE

RMSE（root mean square error，平方根误差），定义为：

其中，yi是真实值，yi^是预测值，n是样本数量，使用了欧式距离。

缺点：平均值是非鲁棒的，对于异常点敏感，如果某个异常点误差大，整个RMSE就会比较大。

2.2 均方差（mean squared error）

$MSE(y,\hat{y}) = \frac{1}{n}\sum (yi - \hat{yi})^{2}$

from sklearn.metrics import mean_squared_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
mean_squared_error(y_true, y_pred)

2.3 平均绝对误差（mean_absolute_error）

$MAE(y,\hat{y}) = \frac{1}{n_{samples}} \sum_{i=1}^n |y_i - \hat{y_i}|$

from sklearn.metrics import mean_squared_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
mean_squared_error(y_true, y_pred)

2.4 中值绝对误差（Median absolute error）

from sklearn.metrics import median_absolute_error
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
median_absolute_error(y_true, y_pred)

2.5 R2 决定系数（r2_score）

from sklearn.metrics import r2_score
y_true, y_pred = [3, -0.5, 2, 7], [2.5, 0.0, 2, 8]
r2_score(y_true, y_pred)

问题

目标是什么？
使用什么评价指标？
提升多少才算真正的提升？
指标采用平均值，基于评价指标满足高斯分布的假设，那么评价指标是否满足高斯分布

sklearn 评价指标

后记：

在做关于机器学习的项目时，首先要正确分析和预处理数据；然后理清楚问题，选择合适的模型进行求解；最后选择合适的评估指标进行模型、算法、结果的评估。

sklearn中的评价指标介绍(异常检测过程记录)