学习笔记
学习书目：《复杂》- 梅拉妮·米歇尔
信息
我认为，熵增定律—热力学第二定律—在自然界的定律中具有至高无上的地位……如果你的理论被发现违背了热力学第二定律，你就一点希望都没有，结局必然是彻底崩塌。 ——爱丁顿爵士
之前的Blog我们提到蚁群搭桥、相互维系的金融市场、干细胞发育成特定器官，这些都是自组织的例子。与通常情形中的有序消退无序增长相反，这里是有序从无序中产生的。
复杂系统科学最关注的问题就是这种逆熵的自组织系统。
不过，在研究自组织系统之前，我们先聊一聊，啥是有序和无序?
许多复杂系统学家用信息的概念来度量有序和无序、复杂性和简单性。免疫学家科恩曾说，复杂系统比简单系统更能接收、存储和利用信息。经济学家哈克写道，进化不仅只会用DNA耍把戏，对所有能处理和存储信息的系统也可以。
但是，信息到底是啥呢?
专业点说，信息描述了一大类现象，从在万维网上通过光纤传送的信号，到大脑中在神经元之间传递的微小分子。复杂系统子无一例外都涉及以各种形式交流和处理信息。
热、能量、熵
对于信息的科学研究始自热力学，热力学描述能量以及其与物质的相互作用。能量大致上可以定义为系统做功的潜力。
打个比方，假设我们的车在路上抛锚了，我把车推到最近的加油站。用物理学的话讲，我做的功等于我推车的力的大小乘以到加油站的距离。在推车的过程中，我体内储存的能量转化成了车的动能，而转化的能量就等于所做的功加上轮子与地面摩擦消耗的热量以及我自己体温升高所耗费的热量。
这个热量损失可以用熵度量。熵是对不能转化成功的能量的度量。熵一词源自另一个古希腊词汇trope, 意思是转化。
在19世纪末，有两条关于能量的定律(热力学定律)被发现了,这些定律所针对的是封闭系统(这种系统没有与外界的能量交换).
第一定律：能量守恒。宇宙中的总能量守恒。能量可以从一种形式转化成另一种形式，比如从体内储存的能量转化成推车的动能加上消耗的热能。但是能量既不能被创生也不能被消灭。
第二定律：熵总是不断增加直至最大。系统总的熵会不断增加，直至可能的最大值；除非通过外部做 功，否则它自身永远也不会减少。
我们可能会注意到，房间不会自己变干净，饮料如果泼到地上，永远也不会回到杯子里。要想将无序变成 有序，就得额外做功。
热力学第二定律被认为是定义了“时间之箭”，因为它证明了存在时间上不可逆的过程, 未来可以定义为熵增的时间方向。有趣的是，热力学第二定律是唯一区分过去和未来的基本物理定律。其他物理定律在时间上都是可逆的。
为什么第二定律会与众不同呢？
这个问题很深奧。就像物理学家罗斯曼所指出的那样，为什么第二定律能区分过去和现在， 而其他自然定律却不能？这也许是物理学中最大的谜团。
西拉德是第一个将熵与信息联系起来的人，这个关联后来成了信息论的基础和复杂系统的关键思想。西拉德认为记录和观察信息的测量行为需要能量，因此必然会产生一定的熵。
然而50年后，数学家班尼特证明，从理论上来说上可以进行任何计算而不用耗费，也就是说测量可以不耗费能量。他还提到了物理学家兰道在20世纪60年代做出的一项发现：并不是测量行为，而是擦除记忆的行为，必然会增加熵。擦除记忆是不可逆的，如果被擦除了，那么一 旦信息没有了，不进行额外的测量就无法恢复。
统计力学
在前面我将熵定义为，对无法做功而只能转换成热的能量的测量。这个熵的概念最初是有克劳休斯于1865年定义的。
数十年后，科学界开始出现一种新的关于热的观念：系统是由分子组成，而热则是分子运动(或者说动能)的产物。这种新观念主要归功于玻尔兹曼 ，他创建了一门新学科，现在被称为统计力学。
统计力学认为宏观尺度上的属性(例如热)是由微观属性产生的(例如无数分子的运动).
想象一下我们房间里充满运动的空气分子。经典力学分析是确定每个分子的位置和速度，以及作用在分子上的力，并根据这些确定每个分子未来的位置和速度。而统计力学的方法则不关心各个分子具体的位置、速度以及未来的变化，而是去预测大量分子整体上的平均位置和速度。
微观态与宏观态
经典力学试图用牛顿定律分析所有的单个微观对象，而热力学则只给出了宏观 现象(热、能量和熵)的定律，没有说明微观分子是这些宏观现象的源头。统计力学则在两个极端之间搭建了一座桥梁，解释了宏观现象是如何从对大量微观对象的整体上的统计产生。
在充满空气的房间中，在任意时刻每个分子都有特定的位置和速度，只是无法具体测量。在统计力学的术语中，特定分子集合在某一时刻的位置和速度称为那个时刻的微观状态。对于充满了随机飞舞的分子的房间，最可能的微观状态类型就是空气分子均匀地充满整个房间。而最不可能的微观状态就是空气分子紧紧地聚到一个地方。这看上去显而易见，但是玻尔兹曼注意到这是因为分子均匀分布的微观状态比聚到一起的微观状态要多得多。
系统的宏观状态就是微观状态的类型，例如房间里分子聚集到一起(我们窒息)相对分子均匀分布(我们能呼吸，)一个宏观状态能对应许多不同的微观状态。温度也是宏观状态，它与许多不同的微观状态相对应，各微观状态的分子平均速度恰好对应相同的温度。
玻尔兹曼将热力学第二定律解释为封闭系统更有可能处于可能性大的宏观状态。玻尔兹曼将宏观状态的熵定义为其对应的微观状态的数量。
以老|虎|机为例，我们都知道老|虎|机中有很多图片，如果我们转老|虎|机得到的图片没有不同，则我们赚钱，如果图片存在不同，则我们输钱。现在假设我们的老|虎|机中有下面5张图片，“樱桃”、“苹果”、“梨子”、“柠檬”、“橙子”。这样就总共有125种可能的组合(微观状态)，其中有5种对应于所有图片都相同(我们赢)的宏观状态，120种对应于图片不完全相同(我们输)的宏观状态。后一种宏观状态的玻尔兹曼熵明显高于前一种。
玻尔兹曼熵遵守热力学第二定律。除非做功，否则玻尔兹曼熵会一直增加，直到到达最大可能熵的宏观状态。
香农信息
香农的信息定义中有一个发送者向接收者发送信息，发送者说的每个词都是香农意义上的信息，电话并不理解所说的词，而只是传送编码声音的电脉冲，香农对信息的定义中完全忽略信息的意义，而只考虑发送者向接收者发送信息的速度。与玻尔兹曼的思想类似，香农将宏观状态（这里是发送者）的信息定义为可以由发送者发送的可能微观状态（可能信息的集合）的数量的函数。
人们有时候将香农的信息量定义描述为接收者在接收信息时体验到的平均惊奇度，其中惊奇意指接收者对于发送源将要传送的信息的不确定度。
总体上，根据香农的理论，信息可以是通信的任何单位，可以是一个字母、一个词、一句话，甚至是一个比特(0 或1)。发送源的熵(信息量)用信息的可能性定义，而与信息的意义无关。
