最大似然函数，琴生不等式

1.最大似然函数定义

Y={y1,y2,…yn}
p(y1,y2,…yn)=p(y1)p(y2)…p(yn)
即y1,y2,…yn为独立同分布

似然函数：
likelihood= $\prod_{j=1}^{N}p(y_i)$
$L_\delta=\prod_{j=1}^{N}p_\delta(y_i)$
$L_\delta=\prod p_{\delta}(y_j)=\prod_{j=1}^{N}\sum_zp_{\delta}(y_j|z)p_{\delta}(z)$
$lnL=\sum_{j=1}^{N}ln\sum_zp_{\delta}(y_i|z)p_{\delta}(z)$
对数中有加和项时难以求到解析解，只能求得近似最优解。

2.琴生不等式

凹函数：
$f(\frac{1}{2}(x_1+x_2))\geq \frac{1}{2}(f(x_1)+f(x_2))$
$f(\sum w_ix_i)\geq w_if(x_i)$
$f(Ex)\geq E(f(x))$

凸函数：
$f(\frac{1}{2}(x_1+x_2))\leq \frac{1}{2}(f(x_1)+f(x_2))$
KaTeX parse error: Expected 'EOF', got '\l' at position 15: f(\sum w_ix_i)\̲l̲ ̲eq w_if(x_i)
$f(Ex)\leq E(f(x))$

3.根据琴生不等式可以求解最大似然函数。