概率论的一些基础知识
条件概率
\(P(B|A) = \frac{1}{3}\) 表示的意思为当A发生的时候，B发生的概率
有公式
\[P(B|A) = \frac{P(AB)}{P(A)}\]
\[P(AB) = P(B|A)*P(A)=P(A|B)*P(B)\]
\[ P(A|B) = \frac{P(B|A)*P(A)}{P(B)}\]
全概率公式
\(B_1,B_2,B_3\)……\(B_n\) 为样本空间的S的一个划分则可以得到
\(P(A) = P(A|B_1) + P(A|B_2)+……P(A|B_n)= \sum_{i=0}^{n}\)P(A|B_i)$
贝叶斯公式
\[P(B_i|A) = \frac{P(A|B_i)*P(B_i)}{\sum_{i=0}^{n}$P(A|B_i)}\]
关于贝叶斯公式的几个理解和解释
\[ P(A|B) = \frac{P(B|A)*P(A)}{P(B)}\]
其中P(A)的概率为先验概率，这个在机器学习中通常指的是某个分类出现的概率>
P(B|A)为条件概率，就是在A类中B发生的概率
P(A|B)为后验概率，具体指的含义为：当B事件发生了，这个时候来自A分类的概率是多少。
极大似然估计 maximum-likelihood
原理
利用已知的样本结构，去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：\[D=\{ x_1,x_2,x_3,……x_n \}\]
\[l(\theta)=p(D|\theta)=p(x_1,x_2,x_3……x_N| \theta )=\prod_{i=1}^{n}P(x_i|\theta)\] 就是D的似然函数
ML 中如何求极大似然函数
求使得出现该组样本的概率最大的θ值。
\[ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta)\]
简单的理解，我们就是在已知是\(\theta\) 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。
\[ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta) = argmax (ln(\prod_{i=1}^{N}P(x_i|\theta)))= argmax \sum_{i=1}^{N}ln(P(x_i|\theta))\]