线性高斯模型中如何将Y的高斯PDF转变成X的高斯PDF

符号声明：
（1） $\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})$ 表示随机矢量 $\boldsymbol{x}$ 是服从均值为 $\boldsymbol{\mu}$ 、协方差矩阵为 $\boldsymbol{\Sigma}$ 的高斯PDF的高斯矢量。
（2）粗体字表示矢量或者矩阵，如 $\boldsymbol{x}$ 表示 $N$ 维矢量。
（3） $\mathcal{N}(\boldsymbol{\boldsymbol{\mu}},\boldsymbol{\Sigma})$ 表示均值为 $\boldsymbol{\mu}$ 、协方差矩阵为 $\boldsymbol{\Sigma}$ 的多元高斯分布。
（4）’ $\propto$ ’，表示正比于，如 $x\propto y$ 表示 $x=ay$ ， $a$ 为常数。

回顾：矢量高斯分布
假设 $\boldsymbol{x}\sim \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})$ ，则 $\boldsymbol{x}$ 的概率密度表示如下

p X (x) = 1 ( 2 π ) N / 2 det ( Σ ) - - - - - - \sqrt exp [- 1 2 (x - μ) T Σ - 1 (x - μ)]

$\begin{align} p_{\boldsymbol{X}}(\boldsymbol{x})=\frac{1}{(2\pi)^{N/2}\sqrt{\det(\boldsymbol{\Sigma})}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right] \end{align}$

定理：对于任意的 $\boldsymbol{A}\in \mathbb{R}^{M\times N}$ ， $\boldsymbol{A}^+$ 存在且唯一。（ $\boldsymbol{A}^+$ 为Moore-penrose逆）
若 $M>N$ ，则 $\boldsymbol{A}^+=(\boldsymbol{A}^+\boldsymbol{A})^{-1}\boldsymbol{A}^T$ ，有 $\boldsymbol{A}^+\boldsymbol{A}=\mathbf{I}_N$
若 $M<N$ ，则 $\boldsymbol{A}^+=\boldsymbol{A}^T(\boldsymbol{A}\boldsymbol{A}^T)^{-1}$ ，有 $\boldsymbol{A}\boldsymbol{A}^+=\mathbf{I}_M$ 。

对于线性高斯模型

y = H x + w

$\begin{align} \boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w} \end{align}$
其中，

x∈RN $\boldsymbol{x}\in \mathbb{R}^N$ ，

H∈RM×N $\boldsymbol{H}\in \mathbb{R}^{M\times N}$ ，

w∼N(0,Σ) $\boldsymbol{w}\sim \mathcal{N}(\boldsymbol{0}, \boldsymbol{\Sigma})$ 。
Case 1:

M>N $M>N$ 时，该模型的似然函数为

p (y | x) = N (y | H x, Σ) \propto exp [- 1 2 (y - H x) T Σ - 1 (y - H x)] \propto exp [- 1 2 (- 2 y T Σ - 1 H x + x T H T Σ - 1 H x)] = exp [- 1 2 (- 2 y T (Σ - 1 H (H T Σ - 1 H) - 1 H T) Σ - 1 H x + x T H T Σ - 1 H x)] = exp [- 1 2 (x - (H T Σ - 1 H) - 1 H T Σ - 1 y) T (H T Σ - 1 H) x] \propto N (x | (H T Σ - 1 H) - 1 H T Σ - 1 y, (H T Σ - 1 H) - 1)

$\begin{align} p(\boldsymbol{y}|\boldsymbol{x})&=\mathcal{N}(\boldsymbol{y}|\boldsymbol{Hx},\boldsymbol{\Sigma})\\ &\propto \exp \left[{-\frac{1}{2}(\boldsymbol{y}-\boldsymbol{Hx})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{y}-\boldsymbol{Hx})}\right]\\ &\propto \exp \left[{-\frac{1}{2}\left({-2\boldsymbol{y}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{Hx}+\boldsymbol{x}^T\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{Hx}}\right)}\right]\\ &=\exp\left[{-\frac{1}{2}\left(-2\boldsymbol{y}^T(\boldsymbol{\Sigma}^{-1}\boldsymbol{H}(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})^{-1}\boldsymbol{H}^T)\boldsymbol{\Sigma}^{-1}\boldsymbol{Hx}+\boldsymbol{x}^T\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{Hx}\right)}\right]\\ &=\exp \left[{-\frac{1}{2}(\boldsymbol{x}-(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})^{-1}\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{y})^T(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})\boldsymbol{x}}\right]\\ &\propto \mathcal{N}(\boldsymbol{x}|(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})^{-1}\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{y},(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})^{-1}) \end{align}$
Case 2:

M<N $M<N$ 时

p (y | x) = N (y | H x, Σ) \propto exp [- 1 2 (y - H x) T Σ - 1 (y - H x)] = exp [- 1 2 ((H H +) (y - H x)) T Σ - 1 ((H H +) (y - H x))] = exp [- 1 2 (x - H + y) T H T Σ - 1 H (x - H + y)] \propto N (x | H + y, (H T Σ - 1 H) - 1)

H−1 $\boldsymbol{H}^{-1}$ 是

H $\boldsymbol{H}$ 的广义逆矩阵，即

H+=(HTH)−1HT $\boldsymbol{H}^{+}=(\boldsymbol{H}^T\boldsymbol{H})^{-1}\boldsymbol{H}^T$ 。

线性高斯模型中如何将Y的高斯PDF转变成X的高斯PDF

猜你喜欢