BN，IN都是这个公式
其中μ和σ是running_mean和running_var
γ和β是weight和bias
这是稍微复杂的写的BN的过程
仿射(affine)指的就是最后一步
如果
affine=False则固定γ=1,β=0，并且不能学习被更新
如果 track_running_stats=True,表示跟踪整个训练过程中的batch的统计特性，得到方差和均值，而不只是仅仅依赖与当前输入的batch的统计特性。相反的，如果track_running_stats=False那么就只是计算当前输入的batch的统计特性中的均值和方差了。
做BN的时候，每个channel都会做BN
Pytorch中的BN和IN(affine仿射, track_running_stats)
猜你喜欢
转载自blog.csdn.net/hxxjxw/article/details/120618446
周排行