《统计学习方法》——朴素贝叶斯参数的极大似然估计

参考资料：

• 《统计学习方法》李航
• https://www.zhihu.com/question/33959624

Step1. 似然函数

在朴素贝叶斯模型中，我们需要通过训练集确定的参数为 ${\theta }_k=P(y=c_k)$ 和 ${\mu }_{jlk}=P(x^{(j)}=a_{jl}|y=c_k)$

似然函数：
$$\begin{array}{rl}L(\theta ,\mu )& =\prod _{i=1}^{N}P(x_i,y_i)\\ & =\prod _{i=1}^{N}P(y_i)P(x_i|y_i)（乘法公式）\\ & =\prod _{i=1}^N(P(y_i)\prod _{j=1}^{n}P(x_i^{(j)}|y_i))（条件独立假设）\\ & =\prod _{i=1}^N\prod _{k=1}^K(P(y=c_k)\prod _{j=1}^{n}P(x_i^{(j)}|y_i=c_k){)}^{I(y_i=c_k)}\\ & =\prod _{i=1}^N\prod _{k=1}^K({\theta }_k\prod _{j=1}^n\prod _{l=1}^{L_j}{P}^{I(x_i^{(j)}=a_{jl})}(x^{(j)}=a_{jl}|y_i=c_k){)}^{I(y_i=c_k)}\\ & =\prod _{i=1}^N\prod _{k=1}^K({\theta }_k\prod _{j=1}^n\prod _{l=1}^{L_j}{\mu }_{jlk}^{I(x_i^{(j)}=a_{jl})}{)}^{I(y_i=c_k)}\end{array}$$
其中，$N$ 为样本数，$n$ 为 $X$ 的维数，$L_j$为 $X^{(j)}$ 可能的取值数量，$K$ 为 $Y$ 可能的取值数量。

取对数：
$$\begin{array}{rl}l(\theta ,\mu )& =\sum _{i=1}^N\sum _{k=1}^{K}I(y_i=c_k)(\log {\theta }_k+\sum _{j=1}^n\sum _{l=1}^{L_j}I(x_i^{(j)}=a_{jl})\log {\mu }_{jlk})\end{array}$$

Step2. 求${\theta }_k$

利用拉格朗日乘数法引入约束条件$\sum _{k=1}^K{\theta }_k=1$，得：
$$\begin{array}{r}F(\theta ,\mu ,\lambda )=\sum _{i=1}^N\sum _{k=1}^{K}I(y_i=c_k)(\log {\theta }_k+\sum _{j=1}^n\sum _{l=1}^{L_j}I(x_i^{(j)}=a_{jl})\log {\mu }_{jlk})+\lambda (\sum _{k=1}^K{\theta }_k-1)\end{array}$$

对 $F$ 求偏导并令偏导数为 $0$ ，得：
$$\begin{array}{rl}{\theta }_k& =-\frac{\sum _{i=1}^{N}I(y_i=c_k)}{\lambda }\\ \sum _{k=1}^K{\theta }_k& =-\frac{N}{\lambda }=1\end{array}$$
其中，$N_k$ 为样本中 $Y=c_k$ 的数量。联立上面的两个方程，得：
$$\begin{array}{r}{\theta }_k=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N}\end{array}$$

Step3. 求${\mu }_{lk}$

利用拉格朗日乘数法引入约束条件$\sum _{l=1}^{L_j}{\mu }_{lk}=1$，得：
$$\begin{array}{r}F(\theta ,\mu ,\lambda )=\sum _{i=1}^N\sum _{k=1}^{K}I(y_i=c_k)(\log {\theta }_k+\sum _{j=1}^n\sum _{l=1}^{L_j}I(x_i^{(j)}=a_{jl})\log {\mu }_{jlk})+\lambda (\sum _{l=1}^{L_j}{\mu }_{lk}-1)\end{array}$$

对 $F$ 求偏导并令偏导数为 $0$ ，得：
$$\begin{array}{rl}{\mu }_{jlk}& =-\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{\lambda }\\ \sum _{l=1}^{L_j}{\mu }_{lk}& =-\frac{\sum _{i=1}^{N}I(y_i=c_k)}{\lambda }=1\end{array}$$
联立上面两个方程，得：
$$\begin{array}{r}{\mu }_{jlk}=\frac{\sum _{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{\sum _{i=1}^{N}I(y_i=c_k)}\end{array}$$