pytorch DataLoader相关问题记录

版权声明:任意转载 https://blog.csdn.net/Z609834342/article/details/84377867

问题描述:

1.DataLoader中有一个shuffle参数,意思为在训练中是否打乱数据集,当我在试验中该参数设置为True时,在Mnist中,相对于False对最终的结果很小(略微下降),但是在cifar10中却导致精度大幅下降。

2.在试验中当我运用验证集的时候,用https://am207.github.io/2018spring/wiki/ValidationSplits.html该方法分离训练集和验证集后发现精度相对于用全部数据集(即不使用验证集)训练精度也大幅下降,即使验证集的size很小如100,依然会出现该现象。猜测可能是dataloader中运用sampler参数有问题(该分离方法,并不是生成单独的loader,而是根据sampler中的index调用训练集中的数据)。可选的方法是自己手动先将训练集分离成两部分,然后分别生成dataloarder,这时就不需要设置sampler。一个简单的实例.

猜你喜欢

转载自blog.csdn.net/Z609834342/article/details/84377867