深度神经网络 分布式训练 动手学深度学习v2

GPU到GPU的多条通讯带宽PCIe在63GB/s, GPU到CPU的通信只有一条带宽PCIe在15.75GB/s, 跨机器通信通过内部网络通信速度在于1.25GB/s. 所以优先在GPU内部处理数据，次优先级是传递到CPU，最差优先级是跨机器计算。

SGD Synchronize GD

• 1. batchSize越大，训练的有效性曲线是下降的。batchSize的数据在diverse 多样性的情况下，数据越多，学习到的特征也是更多的，所以训练的有效性会更好。

参考

https://www.bilibili.com/video/BV1jU4y1G7iu?p=1