基于熵的特征提取
一、引言
最近一直在研究自然语言处理、文本分析相关的问题，看了不少论文，数据分析是一个非常有意思的东西，故准备写一些博文来分享近来的一点心得。
先来看一个有意思的例子，假设拥有很多用户手机装有哪些APP的数据，随便列举几个淘宝、美团、美柚、网易彩票等等APP，通过用户手机所安装的app来推测用户的性别，当然前提是预先有了一批数据作为训练集。那么绘制成如下表格（安装了该APP则√，否则×）：
研究的问题明确一下，通过前面7条数据来判断最后一条数据的性别？
一眼扫过，直觉告诉我：
1、是否安装淘宝APP，对预测没有太大作用，因为男女都安装
2、安装美柚和网易彩票，貌似很有区分度，这两个因子“信息量”貌似很大。
信息量大不大，能不能定量计算呢？请接着往下看，系好安全带，我们全速前进咯。
二、熵
对于熵的定义，我百度百科摘了一段，如下：
熵的概念是由德国物理学家克劳修斯于1865年所提出。最初是用来描述“能量退化”的物质状态参数之一，在热力学中有广泛的应用。但那时熵仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释，直到统计物理、信息论等一系列科学理论发展，熵的本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。
最后一句话表名了熵的本质，他是描述一个系统混乱程度的，越是混乱，熵就越高，我们就越难看清真相，在上面的例子中什么信息都不知道的时候，就很难判断最后一条数据的性别。
那么物理学的概念怎么用于信息论的呢？1948年，香农提出了“信息熵”的概念，定义如下：
H(x) = -∑p(xi)log(p(xi)) (i=1,2,…n)
其中：xi表示变量x可能的取值，p(xi)表示变量xi的概率
三、信息增益
信息增益是描述知道了某个因子或者信息，整个系统混沌状态的减少量。
条件熵公式：H(x|y)=-∑p(yi)H(x|y=yi)(i=1,2,…n)
那么信息增益：IG(y)=H(x)-H(x|y)
其中IG(y)表示y因子的信息增益，H(x|y)表示y发生的情况下x的信息熵
四、计算
1、整个预测系统的信息熵
7条信息中3女、4男
H(性别)=-3/7log3/7-4/7log4/7=0.6829
2、知道“美柚”这个信息，预测系统的熵
安装美柚app的有4个，其中女3、男1
不安装美柚app的有3个，其中女0、男3
H(性别|y=安装美柚)=-3/4log3/4-1/4log1/4=0.5623
P(安装美柚)=4/7
P(性别|y=不安装美柚)=-0-3/3*log3/3=0
P(不安装美柚)=3/7
IG(美柚)=0.6829-(0.56324/7+03/7)=0.3610
3、知道“网易体育”这个信息，预测系统的熵
安装网易体育app的有3个，其中女0、男3
不安装网易体育app的有4个，其中女3、男1
P(性别|y=安装网易体育)=-0-3/3*log3/3=0
P(安装网易体育)=3/7
H(性别|y=不安装网易体育)=-3/4log3/4-1/4log1/4=0.5623
P(不安装网易体育)=4/7
IG(网易体育)=0.6829-(0.56324/7+03/7)=0.3610
4、知道“淘宝”这个信息，预测系统的熵
7条数据中7个用户安装淘宝app，3女4男
H(性别|y=安装淘宝)=-3/7log3/7-4/7log4/7=0.6829
P(安装淘宝)=7/7=1
IG(淘宝)=0.6829-0.6829*1=0
果然，知道用户安装淘宝app，对于预测系统而言，信息增益为0，那就是知道淘宝这个因子，预测不了用户的性别，那么这个因子可以排除。网易体育和美柚这个两个因子的信息增益都为0.3610，说明得到了这两个信息，整个系统系统的混沌状态减小了，那么可以作为预测模型的因子。
五、小结
我们经常说“信息量大”，实际上一个信息所携带的信息量是可以定量计算的，这是一个有意思的事情。
在使用诸如朴素贝叶斯、决策树、随机森林等等此类的机器学习算法来训练模型时，往往会需要进行特征提取，那么信息增益可以很好的实现这一点，另外还能达到降维的目的。
最后，我们设想一个这样的场景：有很多文章，文章的类别很多，有教育类、科技类、体育类等等，我们需要做的是把文章归类，以便与检索。由于数据量很大，人工归类不太可能，有没有办法让计算机帮我们做呢？或者让计算机像人一样，读一篇文章，稍微分析一下就知道了文章的类别。最初计算机可能只能识别几个类别，通过对数据的学习，它慢慢的可以识别所有类别了。这是一个挺有趣的问题，请关注第二篇博客《利用机器学习来进行文本分析》。
自己的想法：最后计算出的信息增益的值越大说明特征对结果越重要，应该被提取出来。
快乐源于分享。
作者：dong_lxkm
来源：CSDN
原文：https://blog.csdn.net/dong_lxkm/article/details/80575102
版权声明：本文为博主原创文章，转载请附上博文链接！