首先聊聊题外话,很久没有写博客了,一直喜欢用本子来记录学习过程,但是这样会有一个很大的弊端,就是本子保存不了多久,最后还是选择以博客的方式来记录所学的东西。这样复习起来都会方便一些。我现在是一名在校生,以后学习的新东西尽量都会记录下来,有相同经历的朋友可以关注一下,一起交流。
最大似然估计
最大似然估计是在已知样本分布,且已知数据的分布模型,只是不知道模型的具体参数的情况下,用来估计参数的一种方法。方法的目的是寻找这样一组参数,能使得在这些参数下产生已知样本点的概率是最大的。
下面先举一个通俗的例子,再举一个具体的实例来说明这个问题(这样我以后看起来也会容易懂一点)。
通俗的例子
两个人玩掷骰子游戏,一共玩了十把,每一把都是甲赢,赢就算了,他每次掷的骰子都是两个6,然后乙就输了很多钱,当乙的朋友知道这件事后就说,甲肯定输出老千了。这样的小故事我们生活中会遇到吧,那么这个例子与最大似然估计有什么关系呢?其实乙的朋友根据甲乙双方进行的十局游戏来判定甲出老千,就是一种最大似然估计估计的思想。
在公平的条件下,出现这种结局的概率是(1/36)^10。
在不公平的条件下,出现这种结局的概率就要大的多了。(80%或90%等)
根据结局推算出甲出老千,这就是一种最大似然的思维。
具体的例子
现在有一组样本(x1,x2,…xn),已知样本满足正态分布N,参数为则出现系列样本的概率可以写成为
在这里将这个概率写为似然函数,记为:
最大似然的目的在这里就要体现出来了,就是要求一组参数使得似然函数最大(也就是在这组参数下出现这些样本的概率最大),下面就是求最大值点的问题了。
求导:
解得:
总结
以上是最大似然的浅层理解,总结一下求最大似然估计量的一般步骤:
- 写似然函数
- 对似然函数取对数(乘积形式不好求导)
- 求导数
- 解方程
PS:我们此处讨论的是概率模型是已知 的,但是在实际情况中,这种概率模型是不知道的,需要我们根据样本的特征的假设,假设概率模型很重要,估计的不好将对结果产生很大偏差。