**【求助】关于抽样和标准化的问题**

图片说明

抽样可划分 训练集 和 验证集,具体到某一个连续型的数值变量,通过还要经过标准化的过程,这里以0-1标准化为例,描述了三种抽样和标准化的做法思路。这里要指出,三种思路都有问题,因此想请教更好的做法,或者目前信贷建模领域通常的做法。

第1种,总体先抽样,再将训练集和验证集分别进行标准化,问题显而易见,由训练集得出的模型,会与验证集标准化后的数据标准不一致;

第2种,总体先抽样,将训练集标准化,并以标准化后的最大值最小值应用到验证集上,这应该是目前程序种的主流做法,但问题也显而易见,训练集和验证集毕竟是两个数据集,最大值和最小值是不一样的,因此会出现验证集标准化结果超出0-1范围的情况;

第3种,总体先进行标准化,然后在进行抽样,这样的好处是避免了第2种方式的问题,训练集和验证集,在一个标准化的条件下参与建模。但问题依旧,比如新来一批数据,完全有可能在旧总体之外,那么也会出现超出0-1范围的可能。

希望不吝赐教,谢谢

猜你喜欢

转载自blog.csdn.net/swustxxl/article/details/88620430