如何防止softmax函数上溢出(overflow)和下溢出(underflow)

转载出处：https://www.codelast.com/

《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「数值计算」中，谈到了上溢出（overflow）和下溢出（underflow）对数值计算的影响，并以softmax函数和log softmax函数为例进行了讲解。这里我再详细地把它总结一下。

文章来源：https://www.codelast.com/