信息熵

信息熵：信息的不确定性的大小。一条信息消除的不确定性越大（即熵越大），它蕴含的信息量越大。
信息量：消除不确定性的大小。

比如在数据打标签过程中。
句子1  熵为2.7     标记为A类
句子2  熵为5.0     标记为B类
那么句子2的信息量明显大于句1的信息量。因为句子2的不确定性更大，但它任然能确定它的类别，说明句子2更有价值。

参考《数学之美》第六章。

参考网址：https://www.zhihu.com/question/22178202