1） 极/最大似然估计 MLE
给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大：
其中
就是似然函数，表示在参数
下出现观测数据的概率。我们假设每个观测数据是独立的，那么有
为了求导方便，一般对目标取log。 所以最优化对似然函数等同于最优化对数似然函数：
举一个抛硬币的简单例子。 现在有一个正反面不是很匀称的硬币，如果正面朝上记为H，方面朝上记为T，抛10次的结果如下：
求这个硬币正面朝上的概率有多大？
很显然这个概率是0.2。现在我们用MLE的思想去求解它。我们知道每次抛硬币都是一次二项分布，设正面朝上的概率是，那么似然函数为：
x=1表示正面朝上，x=0表示方面朝上。那么有：
求导：
令导数为0，很容易得到：
也就是0.2 。
总结一下：求极大似然函数估计值的一般步骤
（1） 写出似然函数；
（2） 对似然函数取对数，并整理；
（3） 求导数；
（4） 解似然方程 。