目录
1-1.随机试验
随机试验:可以在相同条件下重复进行，每次试验的结果不止一个，事先知道所有可能的结果但不确定是哪一个的试验。
举例：重复的抛出一枚均匀的硬币就是一个随机试验，事先知道它的结果，但是不知道究竟是正面还是反面。
1-2.随机事件
定义1：随机试验可能的结果，称为样本空间，它的子集就叫做随机事件。
定义2：在一定条件下，可能发生也可能不发生的事件叫做随机事件。
举例：抛出硬币后可能正面落地，可能反面落地，那么“抛出硬币后正面落地”就是一个随机事件，它可能发生，也可能不发生。
1-3.频率与概率(频率为实际结果，概率是一收敛结果)
频率：n 次重复试验，事件A发生的次数为nA ，则nA/n 就是事件A发生的频率。
概率：当重复试验次数n越来越大时，事件A发生的频率nA/n 就会越来越稳定于一个常数；当试验次数趋向无穷大时，频率就等于这个常数，这个常数就被称为概率。
概率是一个随机事件的固有属性，它代表一个随机事件发生的可能程度，而频率是一个随机事件在一系列试验中发生的结果情况，是一个统计值。
1-4.古典概型（等可能概型）
古典概型：如果一个随机试验的结果有限，并且每一种结果发生的可能性相同，那么这个概率模型就是古典概型，也称为等可能概型。
1-5.条件概率与全概率
条件概率：
P(B|A)=P(AB)/P(A),其中P(A)>0
事件A发生的情况下事件B发生的概率，称为条件概率。
全概率：
P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+…+P(A|Bn)P(Bn)
其中，Bi∩Bj=∅,i≠j,i,j=1,2…n; B1∪B2∪…∪Bn=S.
举例：以变化检测中应用贝叶斯时的全概率为例：
1-6.贝叶斯公式
P(A)为全概率公式，P(Bi)为先验概率公式。
举例：
应用到拼写纠正与垃圾邮件过滤。
对于给定观测数据：P(h|D)->P(h)*P(D|h)/P(D);
这个猜测出现的可能P(h)(先验概率)；这个猜测生成我们的观测数据的可能性P(D|h); 给定观测数据是我们猜测的可能性。
如变化检测中，求给定一个数据X，这个数据是未变化对象的概率是多少。（求后验概率P(wn|X)）
未变化对象的先验概率为P(wn); 在未变化对象wn中观察到对象X的概率为P(X|wn)。
1-7.先验概率与后验概率
先验概率：P(Y)
后验概率：P(Y|X）
先验概率是事前概率，是历史数据统计得到的预判概率；后验概率是一个事件发生后另外一个事件发生的概率，是条件概率。
举例：
根据历史统计数据，这个季节下雨的概率为P(A)，而打雷后下雨的概率为P(A|B) ，前者为先验概率，后者为后验概率。
贝叶斯公式就是一种通过先验概率计算后验概率的方法。
举个例子。
假设我们根据“是否阴天”这个随机变量x（取值为“阴天”或“不阴天”）的观测样本数据,来判断是否会下雨（假设总共只有这两种类别下雨，不下雨）。我们根据经验来判断，比如根据历史数据估，阴天有70%会下雨，也就是说无须观测样本数据就知道下雨的先验概率（Prior Probability）较大。
接着，我们得到了的观测样本数据：“下雨”表现为阴天的 条件概率（或者说这种“可能性”即似然（Likelihood））相比于”不下雨“表现为“阴天”的似然较大。
所以经这次观测之后加强了我们的判断：下雨的后验概率（Posterior Probability）变得比先验概率更大，超过了之前的70%！
反之，则会减弱我们的判断，下雨的后验概率将小于70%。
因此，后验概率包含了先验信息以及观测样本数据提供的后验信息，对先验概率进行了修正，更接近真实情况。
此外，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。
如果我们的目标仅仅是要对所属类别做出一个判别：是“下雨”还是“不下雨”，则无须去计算后验概率的具体数值，只需计算哪个类别的后验概率更大即可。假设下雨和不下雨出现的先验概率相等，则此时类别的判定完全取决于似然和的大小。因此，似然函数（Likelihood，“可能性”）的重要性不是它的具体取值，而是当参数（如类别参数）变化时，函数到底变小还是变大，以便反过来对参数进行估计求解（估计出是还是）。
PS：在面试的时候面到一个问题：问下雨会打雷与打雷要下雨哪个是先验概率，哪个是后验概率？
答：根据“是否打雷”这个随机变量的观测样本，来判断是否下雨。
下雨会打雷这是一个先验概率，因为会是根据以往经验所得，所以为先验概率。
打雷要下雨这是一个后验概率，打雷时要下雨的可能性，是后验概率。（不知道自己说的对不对，可以批评指正）。
1-8.独立事件
相互独立：
设A、B是两个随机事件，如果满足P(AB)=P(A)P(B) ，则称A、B相互独立。
定理1：
设A、B是两个随机事件，且P(A)>0，则A、B相互独立等价于P(B|A)=P(B)。（B发不发生与A无关）
如果两个时间相互独立，那么一个事件是否发生对另一个事件发生没有影响。
定理2：
如果A、B相互独立，则A¯ 与B 、A¯ 与B¯、A与B¯ 均为相互独立事件。
推广到n个事件：
设A1,A2,……,An是n(n≥2) 个事件，如果其中任意多个事件的积事件的概率，都等于各事件的概率之积，则称A1,A2,……,An 相互独立。