似然函数和最大似然估计

1 最大似然估计
最大似然估计，以我的理解，就是找到一个最优参数$\theta$，使得观测到已知样本的可能性最大，是一种反推方法。

对于随机变量$X$，观测到一组相互独立的n维样本$x_1,x_2...x_n$。若$X$在某一取值$x_i$处的概率密度为$f_X(x_i|\theta )$，那么随机变量$X$取值为这一组样本的概率密度为

$$\begin{array}{r}{f}_X(x|\theta )=f_X(x_1,x_2...x_n|\theta )=\prod _{i=1}^{n}f(xi|\theta )\end{array}$$

似然估计函数：$L(\theta |x)=f_X(x|\theta )$。在得到了$L(\theta |x)$后，我们想找出的最优参数(即最大似然参数) ${\hat{\theta }}_{MV}$就是那个能让$L(\theta |x)$取到最大值的参数，为什么是最大值我们稍后通过例子可以推断出。

$$\begin{array}{r}{\hat{\theta }}_{MV}={\mathrm{argmax}}_{\theta }L(\theta |x)\end{array}$$

如果一个函数一阶可导，二阶倒数<0，那么这一定是一个凸函数，函数的最大值就是在一阶倒数=0时候的取值。
$$\begin{array}{r}\{\begin{array}{lr}\frac{\partial L(\theta |x)}{\partial \theta }=0& \\ & \\ \frac{{\partial }^{2}L(\theta |x)}{\partial {\theta }^2}<0& \end{array}\end{array}$$

2 举例

上面都是理论和结论，为了更好地理解最大似然估计，举一个例子。假设有一枚均匀的硬币，扔到正面和反面的概率都为0.5。现在扔了2次硬币，都是正面。从概率学的角度上讲，扔一枚硬币2次都是正面的概率为0.5*0.5=0.25.

第一次	第二次	概率
正	正	0.25
正	反	0.25
反	正	0.25
反	反	0.25

现在假设我们不知道硬币是否均匀，也不知道扔到正反面的概率分别为多少，令随机变量X为扔到正面的次数，假设扔到正面的概率为$\theta$，那么扔到反面的概率为$1-\theta$, 那么似然函数为：
$$\begin{array}{r}L(\theta |x)=f_X(x|\theta )=\prod _{i=1}^{n}f(xi|\theta )=C_n^{a}P(X=正面{)}^{a}P(X=负面{)}^{n-a}=C_n^a{\theta }^a(1-\theta {)}^{n-a}\end{array}$$

$\theta$的取值在$0,1$之间。当观测到扔2次硬币均为正面时，似然函数的值为$C_2^2{\theta }^2(1-\theta {)}^0={\theta }^2$。由于$L(\theta |x)={\theta }^2$是一个凹函数，使得似然函数最大的${\hat{\theta }}_{MV}$的值是1。也就是说，在观察到连续两次扔硬币都是正面朝上的情况下，我们认为硬币投掷时正面朝上的概率为1是最合理的。

合理并不代表正确，这仅是在当前观测条件下最好的预测。当样本数量较大时，例如扔1000次硬币，观察正反两面朝上的情况，求出的${\hat{\theta }}_{MV}$会越来越接近真实值1/2。