一个用于分布式DNN训练加速的通用通信调度器

论文：https://i.cs.hku.hk/~cwu/papers/yhpeng-sosp19.pdf

译文：一个用于分布式DNN训练加速的通用通信调度器

摘要

我们提出ByteScheduler，一个用于分布式DNN训练加速的通用通信调度器。ByteScheduler基于我们最基本的分析：通过张量切分和重组来进行传输，可以得到理论上的最优结果，即使真实环境中有调度代价，性能表现也很不错。