机器学习——认识最大似然估计

最大似然估计

1.问题引出

最大似然估计是一个重要而普遍的求估计量的方法。如果刚开始学这个的同学直接去百度词条看概述，可能还是不太明白其含义。所以我将用一个例子来说明这个方法：

如图：有两个相同盒子，甲中有太阳99个，月亮1个；乙中有太阳1个，月亮99个。现在，从一个盒子中取出一个玩具，取出的玩具是月亮。
问：月亮是从哪个盒子中取出的？
大家的第一想法就是：“这个月亮是从乙盒中取出的”，这个经验符合人们的经验事实。这里面的“最像”就是“最大似然”的意思，这种想法就叫“最大似然原理”。
总结一下：

最大似然估计的目的就是：已知样本结果，反推最有可能（最大概率）导致这样结果的参数值。

1.1 算法概念

 “模型已定，参数未知”
 给定：模型（参数全部或者部分未知），样本集。
 估计：模型的未知参数。

1.2 算法前提

所有的采样都要服从独立同分布。

2.求解最大似然函数

mL估计（最大似然估计）：求使得出现该组样本的概率最大的θ值。

实际中为了便于分析，定义了对数似然函数：


（1）未知参数只有一个（θ为标量）
在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：
等价于
（2）未知参数有多个（θ为向量）
则θ可表示为具有S个分量的未知向量：

记梯度算子：

若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

3. 总结

求最大似然估计量 的一般步骤；

（1） 写出似然函数；
（2） 对是函数取对数
（3） 求导数
（4） 解方程

重点难点

（1） 函数理解；
（2） 函数公式理解；
（3） 求解函数步骤；

个人学习记录，希望对同学们有用，但是由于能力和时间有限，如果有错误望读者纠正，谢谢！

认识最大似然估计