机器学习3:sigmod函数与分类(激活函数的来龙去脉)

sigmod函数:

sigmod函数是常用的激活函数,函数特点如上,用来表示分类概率。表面上看,是因为函数曲线正好可以用来描述概率关系0-1之间,并且有无限趋近的特点;实际上,sigmod函数确实与分类概率存在特定的联系。

具体分析如下:

在bayes分类中,后验概率表示为

$$P(C_{1}|x)=\frac{P(x|C_{1})P(C_{1})} { P(x|C_{1}) P(C_{1}) + P(x|C_{2}) P(C_{2})} \\ =\frac{1}{1 + \frac{P(x|C_{2}) P(C_{2})}{ P(x|C_{1}) P(C_{1})}} \\ =\frac{1}{1+e^{-z}}$$

首先看式(2),经过计算概率分布可以求得$$\frac{P(x|C_{2})P(C_{2})}{P(x|C_{1})P(C_{1})} $$等价于exp(-z)的形式,其中z=wx+b。

因此,机器学习中可以使用线性模型z=wx+b进行分类,由激活函数求得分类时的概率。

下面是公式推导,前方高能,具体过程可忽略,记住z最终可以表示成线性表达式即可。

猜你喜欢

转载自blog.csdn.net/qqqinrui/article/details/84643635
今日推荐