pytorch之常用的Normalization——Batch/Layer/Instance/Group Normalization

---

一、为什么要Normalization

解决Internal Covariate Shift(ICS)：数据尺度/分布异常，导致训练困难的问题

二、常见的Normalization

1、Batch Normalization(见之前的博客文章)

2、Layer Normalization

总结：Layer Normalization顾名思义是根据每层的神经元来计算该层的均值和方差，也就是每层有自己的均值和方差。

pytorch实现代码

3、Instance Normalization

总结：Instance Normalization是针对图像迁移当中，每个batch中的图片风格是不同的，如果根据一个batch计算均值和方差是有问题的，这里面便根据每张图片的通道来计算均值和方差，也就是计算每张特征图的均值和方差。
pytorch代码实现

说明：Instance Normaliztion有1d/2d/3d的

4、Group Normaliztion

总结：有时候我们在训练过程中，如果batch设置过大的话，GPU和CPU的内存可能不够，但是如果batch较小的话，使用batch normalization的话效果也不好。针对这个问题，便提出了Group Normalization，通过将通道进行分组，分别计算每个组的均值和方差。例如有50个通道，分成两组的话，也就是计算25个通道的均值和方差。
pytorh实现代码

三、Normalization总结

该图很好的说明了每一种Normalization的计算方式的不同，Batch Normalization针对每批数据的特征维度计算均值和方差。Layer Normalization针对每层神经单元计算均值和方差。Instance Normalization对每个通道进行计算均值和方差。Group Normalization针对每组通道进行计算均值和方差。

四、参考

深度之眼pytorch框架班