混淆矩阵（Confusion matrix）
对于二分类问题，实际数据可分为正例和反例。根据模型的判别类别和数据的实际类别，可以得到四种结果：真正例（True positive），假正例（False positive），真反例(True negative)，假反例(False negative)。
如果判别类别和实际类别一致，则为真，不一致，则为假，也就是说，真正例的含义为，模型判别的类别和实际的一致，均为正例；而假正例的含义为假的正例：判别为正例，但是是错的（实际为反例）；假反例是假的反例：判别为反例，但判别错了，实际为正例。
用TP、FP、TN、FN来代表对应结果的数量，可得到分类结果的混淆矩阵：
| - | 预测为正 | 预测为负 |
|---|---|---|
| 实际正例 | TP | FN |
| 实际反例 | FP | TN |
可以考虑一个例子，现在有100人，其中男生70人，女生30人。有一个模型用来分类男生和女生。模型判别结果为：男生60人（实际真实为男生的是55人，其余5人是女生），女生40人（实际真实为女生的是25人，另外15人为男生）。那么混淆矩阵可以表示为：
| - | 预测为男 | 预测为女 |
|---|---|---|
| 实际男生 | 55 | 15 |
| 实际女生 | 5 | 25 |
常用评价指标
Accuracy
中文翻译为正确率/精度。
是指所有判别结果中，分类正确的样本数占总样本书的比例。
在混淆矩阵中，TP和TN都属于分类正确的样本，所以，
用上面的男女生的例子来计算Accuracy的话，acc=(55+25)/100=0.80
Precision
中文翻译为精确率/查准率。
是指模型判别为正例的样本中，有多少是真正的正例，所以，
常用场景是“检索出来的信息有多少是用户真正感兴趣的”。
用上面的男女生的例子来计算Precision的话，precision=55/(55+5)=0.917
Recall
中文翻译为召回率/查全率。
是指实际所有正例中，有多少被模型判别为正例，所以
常用场景为“在所有在逃逃犯信息检索中，有多少逃犯能被检测出来”。
用上边的男女生的例子来计算Recall的话，recall=55/(55+15)=0.786
F1值
常用的F1值计算方式为：
用上边男女生的例子来计算的话，F1=（20.9170.786）/（0.917+0.786）=0.846，或者是F1=（2*55）/（100+55-25）=0.846
PR曲线
PR曲线是以precision为纵轴，recall为横轴，绘制的曲线。
PR曲线下面积越大，说明性能越好。
在曲线上，当precision与recall的取值相等时，该点为平衡点(Break-Even Point)。
ROC曲线
ROC全称为“受试者工作特征”。
纵轴是真正例率（TPR），横轴是假正例率（FPR）。
AUC
表示Area under ROC Cureve，是ROC曲线下的面积。
面积越大，则性能越好。
Cost curve 代价曲线
前面的评价标准多在关注TP，其实FP和FN在某些场景下也同样重要。
比如一个医疗场景：癌症诊断分类器将健康病人归类到癌症患者，或者将癌症患者归类为健康病人。这两种情景都是模型的错误分类，但是后一种情况造成的后果更为严重。
所以，为了更好衡量不同错误造成的不同损失，为错误赋予“非均等代价”（unequal cost）。
在计算时，我们要去优化总体代价（total cost）。