softmax解释

sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展

以下是Softmax函数的定义:

ln\sum_{i=1}^{n}{e^{x^{i}}}

这个函数与hard max(即大家通常用的max函数)有相似之处,在其中某个x显著大于其他x时,返回值接近这个x,即max

下图为softmax(x, 0)和hardmax(x,0)的图形:

差别就在于softmax是连续可导的,消除了拐点,这个特性在机器学习的梯度下降法等地方非常必要。这也是“soft”的由来


进一步延伸,题主所问的softmax激活函数,实质是soft arg max函数,它的特性也是很soft的,例如:

hard arg max([1,0])=[1,0],而 soft arg max([1,0])=[exp(1),exp(0)]/(exp(1)+exp(0)) = [0.73, 0.27],可解释为各类的概率

sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展

猜你喜欢

转载自blog.csdn.net/u013203733/article/details/80435899
今日推荐