学习机器学习过程中的一些函数及概念

1. 熵&交叉熵

学习机器学习过程中，看到了熵这个概念，在这篇文章中找到了很好理解的解释

https://baijiahao.baidu.com/s?id=1618702220267847958&wfr=spider&for=pc

1.1 熵（entropy）

熵代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。
在上文的例子中，熵就是在最优化策略下, 猜到颜色所需要的问题的个数。

1.2 交叉熵（Cross Entropy）

交叉熵就是在某种策略下, 猜到颜色所需要的问题的个数。
非真实分布时（每个事件的概率不相等），交叉熵最小的就是最优策略。

2. softmax函数

softmax函数，它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在 $(0,1)$之间，并且所有元素的和为1。

2.1 Softmax 与 Sigmoid 的 异同

	Softmax	Sigmoid
公式	$\sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^Ke^{z_k}}\quad$	$S(k) = \frac{1}{1+e^{-x}}\quad$
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	（0,1）
结果之和	一定为1	为某个正数

Sigmoid就是极端情况(类别数为2)下的Softmax