参考:https://www.cnblogs.com/jie-dcai/p/5803220.html
参考:https://www.zhihu.com/question/38102762
梯度消失/梯度爆炸的问题:
激活函数选择:
层归一化:
参考:https://www.cnblogs.com/jie-dcai/p/5803220.html
参考:https://www.zhihu.com/question/38102762
梯度消失/梯度爆炸的问题:
激活函数选择:
层归一化: