首先我们回顾一下评分卡模型的制作步骤
- 数据预处理
- 变量衍生构造
- 变量分箱
- 变量挑选
- 模型参数估计
- 模型校验
- 概率转换为分数
这篇博客我们主要来讨论一下评分卡模型的评价标准，主要有以下三个方面
- 模型的区分度
- 模型的准确度
- 模型的稳定性
下面我们一一从这三个方面来讨论一下模型的评价标准
模型的区分度
评分卡模型的结果需要能对好、坏人群给出一定的区分度，常用方法
（在申请评分卡一般使用KS来检验区分度即可，Divergence和Gini仅作为知识扩展）
- KS（最常用的指标，因为有经验值可以参考），越高越好
- Divergence（无经验值可以参考，应用场景可以是在两个评分卡模型选择时，可以比较两个评分卡模型的优劣），越高越好
- Gini（没有KS用的广，可以用来对比选择评分卡和Divergence用途差不多，多个评分卡选一个），越小越好
模型的准确度（使用AUC指标，AUC>0.7）
刚入行的时候，去评价模型的准确度，我会想到正确率来评估，但是在评分卡的准确度来说是不可通的，错误代价不一样，所以不能简单使用正确率，可以看下面的例子
所以，我们要考虑使用其它指标（AUC），在介绍AUC之前，我们先来了解一下混淆矩阵
混淆矩阵的例子大家可以查看https://blog.csdn.net/songchaomail/article/details/43834741
通过混淆矩阵，我们可以算出
计算出来的这些率有什么用呢？我们来了解一下ROC曲线
横轴：FPR（FPR = FP/(FP+TN)）
纵轴：TPR（TPR = TP/(TP+FN)）
实际上这两个指标分母都是定值，ROC曲线就是不断改变阈值得到不同的点（FPR，TPR），绘制在坐标轴上就得到ROC曲线
理想模型：好人全部预测成好的，坏人全部预测成坏的（0,0）-->（0,1）-->(1,1)
随机模型：类似于抛硬币，这种情况是模型最差的情况
那讲了这么久ROC曲线到底有什么用呢？因为衡量模型准确度的指标AUC是由ROC曲线衍生出来的，AUC可以判断模型的预测能力
AUC的经验参考值如下：
AUC常见阈值
| >0.7 |
模型有很强的准确度 |
| 0.6~0.7 |
模型有一定的准确度 |
| 0.5~0.6 |
模型有较弱的准确度 |
| <0.5 |
模型准确度弱于随机猜测 |
模型的稳定性（对数据的量和数据时间跨度有要求，使用PSI指标，一般要求PSI<25%，PSI越小越好）
模型的稳定性只和样本分数有关，不需要标签不需要表现期
一般模型的稳定性主要为两个方面：
- 在经济比较平稳的时期，使用阶段时候的稳定性
- 使用训练集训练出来的模型要有泛化性，不能用测试集去测试模型很不稳定
指标PSI的介绍：
两组样本要不同，不同可以是时间上的不同或者人群的不同，两组样本分组一致，算各组的占比，之后算PSI值
最后一个疑问就是，如何从概率转换为分数，弄出我们的评分卡模型呢？
评分卡模型概率转换为分数
Base Point主要的意义是是的分数为正，没有实际意义
