正态分布

关于正态分布的由来，在文章《正态分布的前世今生》中写的很清楚，正态分布是由二项分布而来。正态分布的密度形式首次发现是在棣莫弗-拉普拉斯中心极限定理中。读者可以通过以下几个链接深入了解正态分布的含义
正态分布的前世今生（上）
正态分布的前世今生（下）
为什么正态分布如此常见

棣莫弗-拉普拉斯中心极限定理
设随机变量 $X_n(n=1,2,\cdots)$ 服从参数为 $n,p（0<p<1）$ 的二项分布，则对于任意 $x$ ，有

\begin{aligned} (1) & lim_{n \to \infty} P {\frac{X_{n} - n p}{\sqrt{n p (1 - p)}} \leq x} = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π}} \exp (- \frac{t^{2}}{2}) d t = Φ (x) \end{aligned}

$\begin{align} \underset{n\rightarrow \infty}{\lim} \text{P}\left\{{\frac{X_n-np}{\sqrt{np(1-p)}}\leq x}\right\}=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}}\exp \left({-\frac{t^2}{2}}\right)\text{d}t=\Phi(x) \end{align}$
从该定理中可以看出，当

n \to \infty

$n\rightarrow \infty$ 时候，可以用二项分布趋于高斯分布。我们可以通过棣莫弗-拉普拉斯中心极限定理来计算二项分布的概率。

设随机变量随机变量 $X$ 服从正态分布（高斯分布） $X\sim \mathcal{N}(\mu,\sigma_2^2)$ ，则其概率密度函数表示为

\begin{aligned} (2) & p (x) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [- \frac{(x - μ)^{2}}{2 σ}] \end{aligned}

$\begin{align} p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[{-\frac{(x-\mu)^2}{2\sigma}}\right] \end{align}$

多元正态分布

设 $X,Y$ 为独立同分布的随机变量，且 $X\sim \mathcal{N}(0,1)$ 。则 $X,Y$ 的联合分布为

\begin{aligned} (3) & p (x, y) = p (x) p (y) = \frac{1}{2 π} \exp (- \frac{1}{2} (x^{2} + y^{2})) \end{aligned}

$\begin{align} p(x,y)=p(x)p(y)=\frac{1}{2\pi}\exp(-\frac{1}{2}(x^2+y^2)) \end{align}$
设

z = [X, Y]^{T}

$\mathbf{z}=[X,Y]^T$ ，则有

\begin{aligned} (4) & p (z) = \frac{1}{π} \exp (- \frac{1}{2} z^{T} z) = \frac{1}{π} \exp (- \frac{1}{2} tr (z z^{T})) \end{aligned}

$\begin{align} p(\boldsymbol{z})=\frac{1}{\pi}\exp (-\frac{1}{2}\boldsymbol{z}^T\boldsymbol{z})=\frac{1}{\pi}\exp (-\frac{1}{2}\text{tr}(\boldsymbol{z}\boldsymbol{z}^T)) \end{align}$
令

z = A (x - μ)

$\mathbf{z}=\boldsymbol{A}(\mathbf{x}-\boldsymbol{\mu})$ ，该线性变换的雅可比行列式为

\begin{aligned} (5) & J = | A | \end{aligned}

$\begin{align} J=|\boldsymbol{A}| \end{align}$
代入

z

$\mathbf{z}$ 的概率公式中有,

\begin{aligned} (6) & p (x) = \frac{| A |}{π} \exp [- \frac{1}{2} (x - μ)^{T} A^{T} A (x - μ)] \end{aligned}

$\begin{align} p(\boldsymbol{x})=\frac{|\boldsymbol{A}|}{\pi}\exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{A}^T\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{\mu})}\right] \end{align}$
令

Σ^{- 1} = A^{T} A

$\boldsymbol{\Sigma}^{-1}=\boldsymbol{A}^T\boldsymbol{A}$ ，则

\begin{aligned} (7) & p (x) = \frac{1}{\sqrt{| Σ |} 2 π} \exp [- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)] \end{aligned}

$\begin{align} p(\boldsymbol{x})=\frac{1}{\sqrt{|\boldsymbol{\Sigma}|}2\pi}\exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right] \end{align}$
若

x

$\mathbf{x}$ 的维数是

n

$n$ ，则有

\begin{aligned} (8) & p (x) = \frac{1}{\sqrt{| Σ |} (2 π)^{n / 2}} \exp [- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)] \end{aligned}

$\begin{align} p(\boldsymbol{x})=\frac{1}{\sqrt{|\boldsymbol{\Sigma}|}(2\pi)^{n/2}}\exp \left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right] \end{align}$

矩阵正态分布

设随机矢量 $\mathbf{x}\in \mathbb{R}^n$ 服从多元高斯分布 $\mathbf{x}\sim \mathcal{N}(\boldsymbol{0},\mathbf{I})$ ，随机矢量 $\mathbf{y}$ 与 $\mathbf{x}$ 独立同分布，则 $\mathbf{x},\mathbf{y}$ 的联合概率密度为

\begin{aligned} (9) & p (x, y) = \frac{1}{(2 π)^{n}} \exp [- \frac{1}{2} (x^{T} x + y^{T} y)] \end{aligned}

$\begin{align} p(\mathbf{x},\mathbf{y})=\frac{1}{(2\pi)^n}\exp\left[{-\frac{1}{2}(\mathbf{x}^T\mathbf{x}+\mathbf{y}^T\mathbf{y})}\right] \end{align}$
令

Z = [x, y]

$\mathbf{Z}=[\mathbf{x},\mathbf{y}]$ ，则有

\begin{aligned} (10) & p (Z) = \frac{1}{(2 π)^{n}} \exp [- \frac{1}{2} tr (Z Z^{T})] \end{aligned}

$\begin{align} p(\mathbf{Z})=\frac{1}{(2\pi)^n}\exp\left[{-\frac{1}{2}\text{tr}(\mathbf{Z}\mathbf{Z}^T)}\right] \end{align}$
设

Z = A (X - M) B

$\mathbf{Z}=\boldsymbol{A}(\mathbf{X}-\boldsymbol{M})\boldsymbol{B}$ , 其中

A \in R^{n \times n}, B \in R^{2 \times 2}

$\boldsymbol{A}\in \mathbb{R}^{n\times n}, \boldsymbol{B}\in \mathbb{R}^{2\times 2}$ 。其雅可比行列式为

\begin{aligned} (11) & J = | A |^{n} | B |^{2} \end{aligned}

$\begin{align} J=|\boldsymbol{A}|^n|\boldsymbol{B}|^2 \end{align}$
关于上式的详细解释参见附录A。
因此

\begin{aligned} (12) & p (X) & = \frac{1}{(2 π)^{n}} | A |^{n} | B |^{2} \exp [- \frac{1}{2} tr (A (X - M) {B B}^{T} (X - M)^{T} A^{T})] \\ (13) & = \frac{1}{(2 π)^{n}} | A |^{n} | B |^{2} \exp [- \frac{1}{2} tr (A^{T} A (X - M) {B B}^{T} (X - M)^{T})] \end{aligned}

$\begin{align} p(\boldsymbol{X})&=\frac{1}{(2\pi)^n}|\boldsymbol{A}|^n|\boldsymbol{B}|^2\exp\left[{-\frac{1}{2}\text{tr}(\boldsymbol{A}(\boldsymbol{X}-\boldsymbol{M})\boldsymbol{BB}^T(\boldsymbol{X}-\boldsymbol{M})^T\boldsymbol{A}^T)}\right]\\ &=\frac{1}{(2\pi)^n}|\boldsymbol{A}|^n|\boldsymbol{B}|^2\exp\left[{-\frac{1}{2}\text{tr}(\boldsymbol{A}^T\boldsymbol{A}(\boldsymbol{X}-\boldsymbol{M})\boldsymbol{BB}^T(\boldsymbol{X}-\boldsymbol{M})^T)}\right] \end{align}$
令

Ω^{- 1} = A^{T} A

$\boldsymbol{\Omega}^{-1}=\boldsymbol{A}^T\boldsymbol{A}$ ，

Σ^{- 1} = {B B}^{T}

$\boldsymbol{\Sigma}^{-1}=\boldsymbol{BB}^T$ ，则

\begin{aligned} (14) & p (X) = \frac{1}{(2 π)^{n}} | Ω |^{- n / 2} | Σ |^{- 2 / 2} \exp [- \frac{1}{2} tr (Ω^{- 1} (X - M) Σ^{- 1} (X - M)^{T})] \end{aligned}

$\begin{align} p(\boldsymbol{X})=\frac{1}{(2\pi)^n}|\boldsymbol{\Omega}|^{-n/2}|\boldsymbol{\Sigma}|^{-2/2}\exp\left[{-\frac{1}{2}\text{tr}(\boldsymbol{\Omega}^{-1}(\boldsymbol{X}-\boldsymbol{M})\boldsymbol{\Sigma}^{-1}(\boldsymbol{X}-\boldsymbol{M})^T)}\right] \end{align}$
若

Z

$\boldsymbol{Z}$ 有

p

$p$ 列，则

\begin{aligned} (15) & p (X) = \frac{1}{(2 π)^{n p}} | Ω |^{- n / 2} | Σ |^{- p / 2} \exp [- \frac{1}{2} tr (Ω^{- 1} (X - M) Σ^{- 1} (X - M)^{T})] \end{aligned}

$\begin{align} p(\boldsymbol{X})=\frac{1}{(2\pi)^{np}}|\boldsymbol{\Omega}|^{-{n}/2}|\boldsymbol{\Sigma}|^{-p/2}\exp\left[{-\frac{1}{2}\text{tr}(\boldsymbol{\Omega}^{-1}(\boldsymbol{X}-\boldsymbol{M})\boldsymbol{\Sigma}^{-1}(\boldsymbol{X}-\boldsymbol{M})^T)}\right] \end{align}$

附录 A

设线性变换 $\boldsymbol{Y}=\boldsymbol{AX}$ , 其中 $\boldsymbol{X}\in \mathbb{R}^{m\times n}$ , $\boldsymbol{A}\in \mathbb{R}^{m\times m}$

\begin{aligned} (16) & vec (Y) = vec (A X) = (I_{n} \otimes A) vec (X) \end{aligned}

$\begin{align} \text{vec}(\boldsymbol{Y})=\text{vec}(\boldsymbol{AX})=(\mathbf{I}_n \otimes \boldsymbol{A})\text{vec}(\boldsymbol{X}) \end{align}$
因此该线性变换的雅可比行列式为

\begin{aligned} (17) & J = | I_{n} \otimes A | = | A |^{n} \end{aligned}

$\begin{align} J=|\mathbf{I}_n \otimes \boldsymbol{A}|=|\boldsymbol{A}|^{n} \end{align}$
设置线性变换

Y = X B

$\boldsymbol{Y}=\boldsymbol{XB}$ ，其中

X \in R^{m \times n}

$\boldsymbol{X}\in \mathbb{R}^{m\times n}$ ,

B \in R^{n \times n}

$\boldsymbol{B}\in \mathbb{R}^{n\times n}$

\begin{aligned} (18) & vec (Y) = vec (X B) = (B^{T} \otimes I_{m}) vec (X) \end{aligned}

$\begin{align} \text{vec}(\boldsymbol{Y})=\text{vec}(\boldsymbol{XB})=(\boldsymbol{B}^T\otimes \mathbf{I}_m)\text{vec}(\boldsymbol{X}) \end{align}$
因此该线性变换的雅可比行列式为

\begin{aligned} (19) & J = | B^{T} \otimes I_{m} | = | B |^{m} \end{aligned}

$\begin{align} J=|\boldsymbol{B}^T\otimes \mathbf{I}_m|=|\boldsymbol{B}|^{m} \end{align}$

矩阵正态分布

正态分布

多元正态分布

矩阵正态分布

附录 A

猜你喜欢