似然函数与概率密度函数的区别

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012284960/article/details/72859171

条件概率密度$p(\boldsymbol{x}|\theta)$与似然函数$p(\boldsymbol{x};\theta)$有着千丝万缕的关系，两者所表示的意义不同，但是大多数情况下，两者数值上是相等的（量纲不等）。而在有些时候，两者数值又是不等的。

1. 引入

现代估计理论在许多设计用来提取信息的电子信号处理系统中随处可见，这些系统包括雷达信号处理、声纳、蜂窝网络等。

在所有的这些系统中，我们都将面对根据连续时间波形（观测数据）提取参数的问题，由于使用数字计算机来采样并储存连续时间波形，因此该问题就等价于从离散时间波形或一组数据集中提取参数的问题。从数学概念上来说，我们有$N$个数据的数据集$\boldsymbol{x}=\left\{{x[0], x[1], \cdots,x[N-1]}\right\}$, 它与未知参数$\theta$有关，我们希望根据数据来确定$\theta$，定义如下的估计量

$$\begin{align} \hat{\theta}=\text{g}(\boldsymbol{x}) \end{align}$$
其中 $\text{g}$表示 $\mathbb{R}^N\rightarrow \mathbb{R}$的映射，这就是 参数估计问题。

2. 问题描述

那么如何从根据观测量来确定估计量呢？ 在确定好的估计量时，第一步就是建立数学模型。由于数据固有的随机性，我们用它的概率密度函数（Probability density function，PDF）来描述它，即$p(x[0],x[1],\cdots,x[N-1]; \theta)$，或$p(\boldsymbol{x};\theta)$。这是一个以$\theta$为未知参数的函数，即我们有一族（cluster）PDF，其中的每一个PDF由于$\theta$的不同而不同。因此，我们使用“分号”来表示这种关系。注意，这里的自变量是$\theta$。此外，$\theta$可以是单变量，也可以是多变量。

为了方便理解，我们假设是单变量的情况，并且$\theta$与观测量$\boldsymbol{x}$之间的关系表示如下

$$\begin{align} p(x[0];\theta)=\frac{1}{\sqrt{2\pi \sigma^2}}\exp\left[{-\frac{1}{2\sigma^2}(x[0]-\theta)^2}\right] \end{align}$$
如图所示，由于 $\theta$的值不同影响 $x[0]$的概率。因此，我们可以根据观测到 $x[0]$的值能够推断出 $\theta$的值。比如，若 $x[0]$在 $\theta_1$附近，那么 $\theta=\theta_1$更为合理。

基于这样的PDF的估计是经典估计中的一种。然而，在实际系统中，我们通常会掌握一些未知参数的先验信息（prior information），比如$\theta$的范围，又或者$\theta$的先验概率密度。若已知$\theta$的范围，我们可以对原来的$\theta$进行截短，来提高估计精度。若已知$\theta$的先验概率密度$p(\theta)$，我们可以通过贝叶斯公式，用联合PDF进行描述

$$\begin{align} p(\boldsymbol{x},\theta)=p(\boldsymbol{x}|\theta)p(\theta) \end{align}$$

注意，这里的条件概率密度。而不是似然函数。那么两者有什么区别呢？

• $p(\boldsymbol{x}|\boldsymbol{\theta})$，表示在$\boldsymbol{\theta}$发生的条件下$\boldsymbol{x}$的概率，即在$\theta$发生的情况下，关于$\boldsymbol{x}$的概率密度函数（Probability）。
• $p(\boldsymbol{x};\boldsymbol{\theta})$，表示给定$\boldsymbol{x}$，关于未知参数$\boldsymbol{\theta}$的函数，即似然函数（likelihood）。

Remarks: 也就是说，$p(\boldsymbol{x}|\boldsymbol{\theta})$是固定$\boldsymbol{\theta}$关于$\boldsymbol{x}$的函数；$p(\boldsymbol{x};\boldsymbol{\theta})$表示给定$\boldsymbol{x}$，关于$\boldsymbol{\theta}$的函数。两者想要表达的意义不是一样的，但有时候，两者的数值是相等的，以下给出证明。

3. Example:

对于$x=\theta +w$，其中$w\sim p_{w}(w)$，分别求$p(x;\theta)$，$p(x|\theta)$。

• 若$\theta$与$w$相互独立
  

  $$\begin{align} p(x|\theta)&=\frac{p_{x,\theta}(x,\theta)}{p(\theta)}\\ &=\frac{p_{w,\theta}(x-\theta,\theta)}{p(\theta)}\\ &=\frac{p_w(x-\theta)p(\theta)}{p(\theta)}\\ &=p_w(x-\theta) \end{align}$$
  显然，此时$p(x;\theta)=p(x|\theta)$。

• 若$\theta$与$w$不满足相互独立的关系
  

  $$\begin{align} p(x|\theta)&=\frac{p_{x,\theta}(x,\theta)}{p(\theta)}\\ &=\frac{p_{w,\theta}(x-\theta,\theta)}{p(\theta)}\\ &=\frac{p_{w|\theta}(x-\theta)p(\theta)}{p(\theta)}\\ &=p_{w|\theta}(x-\theta) \end{align}$$
  很显然，由于$\theta$与$w$不满足相互独立关系，因此$p_{w|\theta}(x-\theta)\ne p_w(x-\theta)$，即$p(x;\theta)\ne p(x|\theta)$。

Remarks: 从上面的例子可以看出，似然函数与概率密度函数并不一定相等，但在满足相互独立的条件下的时候，数值上的相等的。注意两者的 “量纲” 是不同的。

4. Application: maximum likelihood estimator (MLE)

• 系统模型（system model）
  对于线性高斯模型（Linear Gaussian model, LGM）
  

  $$\begin{align} \boldsymbol{y}=\boldsymbol{H}\boldsymbol{x}+\boldsymbol{w} \end{align}$$
  其中$\boldsymbol{x}\in \mathbb{R}^n$是未知信号，其先验概率$p(\boldsymbol{x})$已知，$\boldsymbol{w}$是高斯噪声项，并且有$\boldsymbol{w}\sim \mathcal{N}(\boldsymbol{0},\boldsymbol{\Lambda})$，$\boldsymbol{H}\in \mathbb{R}^{m\times n}$是观测矩阵，$\boldsymbol{y}\in \mathbb{R}^m$是观测向量。

• 最大似然估计（maximum likelihood estimator, MLE）
  由于系统，满足独立假设，因此对于该系统，概率密度与似然函数在数值上是相等的，即$p(\boldsymbol{y};\boldsymbol{x})=p(\boldsymbol{y}|\boldsymbol{x})$，该系统的似然函数表示为
  

  $$\begin{align} p(\boldsymbol{y};\boldsymbol{x})=\frac{1}{\sqrt{2\pi\det(\boldsymbol{\Lambda})}} \exp\left[{-\frac{1}{2}(\boldsymbol{y}-\boldsymbol{Hx})^T\boldsymbol{\Lambda}^{-1}(\boldsymbol{y}-\boldsymbol{Hx})}\right] \end{align}$$
  进一步地，该系统的最大似然估计表示为
  $$\begin{align} \hat{\boldsymbol{x}}_{\text{ml}}=\underset{\boldsymbol{x}}{\arg \max} \ p(\boldsymbol{y};\boldsymbol{x}) \end{align}$$
  若$\boldsymbol{x}$是离散随机变量，且有取值集合$\mathcal{S}$，即$\boldsymbol{x}\in \mathcal{S}$，并且集合长度$|\mathcal{S}|=L$，那么最大似然估计的计算复杂度为$\mathcal{O}(L^n)$，显然，当系统规模很大时，最大似然估计的计算复杂度是非常巨大的。
  若$\boldsymbol{x}$是连续随机变量，我们可以通过导数工具，寻找其最值点
  $$\begin{align} \frac{\partial \ln p(\boldsymbol{y};\boldsymbol{x})}{\partial \boldsymbol{x}}=(\boldsymbol{y}-\boldsymbol{Hx})^T\boldsymbol{\Lambda}^{-1}\boldsymbol{H} \end{align}$$
  这里利用的是，对函数取对数不改变函数单调性。
  令偏导为0，得到
  $$\begin{align} \hat{\boldsymbol{x}}_{\text{ml}}=\left({\boldsymbol{H}^T\boldsymbol{\Lambda}^{-1}\boldsymbol{H}}\right)^{-1}\boldsymbol{H}^{T}\boldsymbol{\Lambda}^{-1}\boldsymbol{y} \end{align}$$

Remarks: 通过对似然函数求偏导所得到的估计器为$p(\boldsymbol{y};\boldsymbol{x})$的驻点，不一定就是似然函数的最值点。前提条件是$p(\boldsymbol{y};\boldsymbol{x})$是凸函数（Convex function）。