一.引言

推荐场景下需要使用上述指标评估离、在线模型效果，下面对各个指标做简单说明并通过 spark 程序全部搞定。

二.指标含义

1.TP、TN、FP、FN

搜广推场景下最常见的就是 Ctr 2 分类场景，对于真实值 real 和预测值 pre 分别有 0 和 1 两种可能，从而最终 2x2 产生 4 种可能性：

- TP 真正率对的预测对，即 1 预测为 1，在图中体现为观察与预测均为 Spring

- FP 假正率错的预测对，即 0 预测为 1，在图中体现为 NoSpring 预测为 Spring

- FN 假负率对的预测错，即 1 预测为 0，在图中体现为 Spring 预测为 NoSpring

- TN 真阴率错的预测错，即 0 预测为 0，在图中体现为 NoSpring 预测为 NoSpring

整理后如下图所示：

2.Accuracy、Precision、Recall、F1-Score

根据上面提到的 TP、TN、FP、FN，有了上述几个指标的定义：

- Accuracy 准确率

即不管是0还是1，预测正确即可

$Accuracy=\frac{TP + TN }{TP + FP + FN + TN}$

- Precision 精度

即预测为1的样本中确实为1的样本比例，该指标只管预测为1的样本

$Precsion=\frac{TP}{TP + FP}$

- Recall 召回率

即样本中正样本有多少预测为正，该指标只管真实为1的样本

$Recall=\frac{TP}{TP+FN}$

- F1-Score

平衡分数，用于定义 Precision 与 Recall 的调和平均数

$F_1Score=2\cdot \frac{Precision\cdot Recall}{Precision+Recall}$

- Fβ-Score

平衡分数，相比于 F1 更加灵活的调和平均数

$F_{\beta}Score=(1+\beta^2)\cdot \frac{Precision\cdot Recall}{(\beta^2\cdot Precision)+Recall}$

通过调节 β 参数，可以使指标更偏向于不同的 metrics，β>1 例如 F2-Score 时，Recall 的权重高于 Precision，相反如果 β < 1例如 F0.5-Score 则 Precision 权重高于 Recall，这个把分子拆分开即可轻松得出结论。

3.AUC

AUC（Area Under Curve）被定义为ROC曲线下的面积，针对给定的一批对正负样本，用分类器分别预测一对正负样本，正样本预测概率大于负样本预测概率的概率即对应面积大小。

3.1 常规计算

假定这批样本中存在 M 个正样本，N 个负样本，分类器为 Tk，则 AUC 计算公式如下：

$AUC=\frac{\sum I(P_{positive},P_{Nagative})}{M\cdot N}$

其中 P 的计算根据学习器 Tk：

$P = T_k(x)$

I 为示性函数：

$I(P_{positive}, P_{negative})=\left\{\begin{matrix} 1, P_{positive} > P_{negative} \\ 0.5, P_{positive}=P_{negative}\\ 0, P_{positive}<P_{negative} \end{matrix}\right.$

3.2 快速计算

上面是基础的 AUC 计算公式，由于需要对每一对正负样本预测概率进行比对，而实际场景下 M 与 N 都非常大从而造成运行速度缓慢的问题，优化后公式如下：

$AUC=\frac{\sum_{i\in Positive} rank_i - \frac{M(M+1)}{2}}{M \cdot N}$

简单约分下：

$AUC=\frac{\sum_{i\in Positive} rank_i}{M \cdot N}-\frac{(M+1)}{2N}$

这个公式也比较好理解，由于 AUC 并不关注分数而是关注正负样本的序，因此我们将全部预测样本排序，针对每个正样本，其序就代表了它超过了多少个样本的预测值，针对每个正样本可以得到总的序为：

$\sum _{_i\in Positive} rank_i$

但是由于每一次序的排列中，除了负样本外还有正样本，针对 rank 最高的正样本，其下有 M-1 个正样本，rank 第二高的，其下有 M-2 个正样本，依次类推，共有：

$0+1+...+(M-1) = \frac{(M-1)\cdot M}{2}$

所以需要在 ∑ rank 的基础上再减去 (M-1)·M / 2，至于为什么有公式是 M·(M+1) 有的是 (M-1)·M，这个其实和你计算的序即 rank 是从 0 开始还是从 1 开始，如果从 1 开始，则等差数列求和公式结果就是 M·(M+1) 反之即为 (M-1)·M。

3.3 手推计算

按照 M-1 即从 0 开始的 rank 计算：

$AUC = \frac{5 + 4 + 2}{3 \cdot 3} - \frac{2}{2 \cdot 3}=\frac{11}{9}-\frac{1}{3}=\frac{8}{9}\approx 0.8889$

按照 M+1 即从 1 开始的 rank 计算：

$AUC = \frac{6+5+3}{3\cdot3} - \frac{4}{2 \cdot 3} = \frac{14}{9}-\frac{2}{3}=\frac{8}{9}\approx 0.8889$

最后用最原始的方法计算一下，即将所有组合进行遍历：

$AUC = \frac{I_{0,9} \cdot 3 + I_{0.7}\cdot3+I_{0.55}\cdot2}{3 \cdot 3} = \frac{8}{9} \approx 0.8889$

这里 I 为上面提到的示性函数。

Tips：

这里还有一种特殊情况即有多个正负样本分值相同，此时排序后其 rank 值可以取所有相同分数的 rank 值平均代表其 rank，不过在大数据且 CTR 精度较高条件下，这个 rank 带来的影响可以近似忽略。

三.Spark 实现

1.数据预处理

    val rankResult = inputRdd.map { case (realLabel, preLabel, preScore) => {
      // val preLabel = if (preScore > 0.5) "1" else "-1"

      (realLabel, preLabel, preScore)
    }
    }.filter(_._3 >= 0)

    rankResult.persist(StorageLevel.MEMORY_AND_DISK_SER_2)

原始数据格式为 realLabel 和 preScore，这里可以通过 preScore + 阈值进行推理推断出 preLabel，即可得到三列元组的 RDD。实际计算过程中，你的 RDD 元祖只要有：

- Real Label 真实标签

- Predict Score 模型预测分

两个元素即可。

2.计算 TP、FP、FN、TN

    /*
      计算相关数值
        TP: 真正率 对的预测对
        FP: 假正率 错的预测对
        FN: 假负率 对的预测错
        TN: 真阴率 错的预测错
     */
    val threshold = 0.5
    val dataTP = rankResult.filter(x => x._1 == 1 && x._3 >= threshold).cache()
    val dataFP = rankResult.filter(x => x._1 != 1 && x._3 >= threshold).cache()
    val dataFN = rankResult.filter(x => x._1 == 1 && x._3 < threshold).cache()
    val dataTN = rankResult.filter(x => x._1 != 1 && x._3 < threshold).cache()

    val TP = dataTP.count()
    val FP = dataFP.count()
    val FN = dataFN.count()
    val TN = dataTN.count()
    val total = TP + FN + FP + TN

根据定义计算指标即可：

- TP 真正率对的预测对

- FP 假正率错的预测对

- FN 假负率对的预测错

- TN 真阴率错的预测错

Tips：

这里阈值常规为 0.5，大家也可以根据自己场景的需求进行阈值调整，对于 AUC 而言，其计算只关注序不关注分数，而 TP、TN 这些指标则与阈值分数相关。其次这里一定要加 persist，否则性能会慢很多。

3.计算 Precision、Recall、Accuracy、F1-Score

基于 TP、FP、FN、TN 计算 Precision、Recall 与 Accuracy，最后计算 F1-Score，大家也可以自定义 β，实现 F-β 参数。

    val Precision = if ((TP + FP) > 0) (TP * 1.0) / (TP + FP) else 0.0
    val Recall = if ((TP + FN) > 0) (TP * 1.0) / (TP + FN) else 0.0
    val Accuracy = if (total > 0) (TP + TN) * 1.0 / total else 0.0
    val F1Score = if ((Precision + Recall) > 0.0) (2 * Precision * Recall) / (Precision + Recall) else 0.0

4.计算 AUC

    // sort by predict
    val sorted = rankResult.sortBy(x => x._3)
    val numTotal = sorted.count() // M + N
    val numPositive = rankResult.filter(x => x._1 == 1).count // M
    val numNegative = numTotal - numPositive // N
    val sumRanks = sorted.zipWithIndex().filter(x => x._1._1 == 1).map(x => x._2 + 1).reduce(_ + _)
    val AUC = if (numNegative > 0 & numPositive > 0) {
      sumRanks * 1.0 / numPositive / numNegative - (numPositive + 1.0) / 2.0 / numNegative
    } else 0.0

直接根据 predict 分排序即可，这也再次呼应前面 Tips 提到的，AUC 只关注正负样本的序，最后套用约分后的公式即可：

$AUC=\frac{\sum_{i\in Positive} rank_i}{M \cdot N}-\frac{(M+1)}{2N}$

其中 M = numPositive，N = numNegative。

四.总结

AUC 评估的优点是：

- 对数据不平衡的情况有很好的适应能力，不受正负样本比例影响

- 评估结果简单，易于理解

- 不会受到分类器的阈值选择的影响

AUC 评估的缺点是：

- 不直接给出分类器的分类阈值

- 不适用于多分类问题

针对不同问题，除了 AUC 还有很多指标可供参考，大家需要根据自己的场景需求选择最优的评估指标，或者基于现有指标进行拓展。

Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战