信息熵：一条信息的信息量和其不确定性有着直接的关系，比如我们想弄清楚一个非常不确定的事需要大量的信息，可以认为信息量就是不确定性的多少。
比如错过了世界杯，想要猜32个球队哪只是冠军，可以先问是1-16吗，假如猜对了，可以继续问1-8吗，这样就需要五次就可以知道哪个球队是冠军，所以谁是冠军这个信息就是5.
有些人发现可能不需要五次就能猜出来谁是冠军，因为有些球队夺冠的可能性更大一些，因此猜的时候可以把大概率赢的球队分在一边，这样猜测也许三到四次就可以猜出来。当每支球队夺冠的可能性不等时，谁是冠军的信息量比5少，香农指出，它的准确信息量应该是,其中p1,p2...p32是这些球队夺冠的概率，香农把它称为信息熵。
来自《数学之美》