李航-统计学习方法-习题-第九章

版权声明：本文转载自 张晨的专栏（http://blog.csdn.net/zc123456zzc）, 转载请保留本声明！ https://blog.csdn.net/zc123456zzc/article/details/83244025

9.2 证明引理 9.2.
引理 9.2 若 $\widetilde P_\theta(Z)=P(Z|Y,\theta)$，则
$F(\widetilde P, \theta)=logP(Y|\theta)$.
证明：
$\begin{aligned} F(\widetilde P, \theta) &= E_{\widetilde P}[logP(Y,Z|\theta)]+H(\widetilde P) \\ &= E_{\widetilde P}[logP(Y,Z|\theta)]-E_{\widetilde P}log\widetilde P(Z) \\ &= \sum_ZlogP(Y,Z|\theta)\widetilde P_\theta(Z) - \sum_Zlog\widetilde P(Z)\widetilde P(Z) \\ &= \sum_ZlogP(Y,Z|\theta)P(Z|Y,\theta)- \sum_ZlogP(Z|Y,\theta)P(Z|Y,\theta) \\ &= \sum_ZP(Z|Y,\theta)(logP(Y,Z|\theta)-logP(Z|Y,\theta)) \\ &= \sum_ZP(Z|Y,\theta)log\dfrac{P(Y,Z|\theta)}{P(Z|Y,\theta)} \\ &= \sum_ZP(Z|Y,\theta)logP(Y|\theta) \\ &= logP(Y|\theta)\sum_ZP(Z|Y,\theta) \\ &= logP(Y|\theta)\cdot1 \\ &= logP(Y|\theta) \end{aligned}$
证毕.