前言：ControlNet可以说是Diffusion Models条件生成领域最成功的作品之一，但是ControlNet的额外开销实在是太大了，可训练参数相当于所有预训练参数的近一半。除此之外，ControlNet采用零初始化会导致收敛速度慢，会阻止模块从损失函数接收准确的梯度。ControlNeXt完美解决了ControlNet存在的问题，很可能是下一代条件生成最成功的作品！这篇博客将从代码和原理的角度，全面解析ControlNeXt。
目录
原理讲解
ControlNet的问题
ControlNet额外的分支将延迟增加最多 50%，这对于视频生成尤其重要，因为每一帧都需要处理。此外，可