数据集shuffle的作用

在训练之前,一般均会对数据集做shuffle,打乱数据之间的顺序,让数据随机化,这样可以避免过拟合。

以猫狗分类为例,假如数据集是

Dog,Dog,Dog,... ,Dog,Dog,Dog,Cat,Cat,Cat,Cat,... ,Cat,Cat

所有的狗都在猫前面,如果不shuffle,模型训练一段时间内只看到了Dog,必然会过拟合于Dog,一段时间内又只能看到Cat,必然又过拟合于Cat,这样的模型泛化能力必然很差。

那如果Dog和Cat一直交替,会不会就不过拟合了呢?

Dog,Cat,Dog,Cat,Dog ,Cat,Dog,...

假如目标函数是 :[公式]
使用梯度下降优化 :[公式]
给定权重取值 [公式]
[公式]
和迭代步step的情况下,固定的数据集顺序意味着固定的训练样本,也就意味着权值更新的方向是固定的,而无顺序的数据集,意味着更新方向是随机的。如下图中的A点,如果固定的更新方向是红色箭头方向,则很难收敛到最优点,而如果更新方向是随机的,则有可能就沿着白色箭头方向收敛到最优点。在这里插入图片描述
所以固定的数据集顺序,严重限制了梯度优化方向的可选择性,导致收敛点选择空间严重变少,容易导致过拟合。

猜你喜欢

转载自blog.csdn.net/weixin_43485035/article/details/109907035