【机器学习】Softmax和Sigmoid

如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?

这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数  k=4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)

如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。

现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?

在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。
http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92


一、共同点

1、取值范围都是0~1区间,表示概率,概率自然是这个取值范围

2、都可以用来作为分类任务的输出层函数

二、不同点

1、sigmod作为输出层函数时解决的二分类任务,输出值是一个小数;除此之外可以用作隐层的激活函数(激活函数是解释神经网络非线性的核心原因)

2、softmax是二分类任务的推广,用于解决多分类问题,输出值是一组小数,有几类就有几个小数,相加为1。


https://blog.csdn.net/sinat_19559525/article/details/80350687


  Softmax Sigmoid
公式  
定义域 一维向量 单个数值
值域 [ 0 , 1 ] ( 0 , 1 )
理解 可以将输出看做是离散的概率分布 非线性映射
任务 多分类 二分类
结果特征

1. 结果是一个一维向量

2. 这个向量的和一定是1

1. 结果是一个数值

2. 为某个正数


再贴几个可以帮助理解的链接:

http://www.mamicode.com/info-detail-2315826.html

https://baijiahao.baidu.com/s?id=1636737136973859154


总结:

如果模型输出为非互斥类别,且可以同时选择多个类别,则采用Sigmoid函数计算该网络的原始输出值。

如果模型输出为互斥类别,且只能选择一个类别,则采用Softmax函数计算该网络的原始输出值。

发布了1106 篇原创文章 · 获赞 122 · 访问量 23万+

猜你喜欢

转载自blog.csdn.net/qq_41289920/article/details/104497511