随机过程基础(2)---多维随机变量常用性质、随机过程的引入

(本文随机过程部分代码源自《随机信号分析与处理》，罗鹏飞等著，清华大学出版社)

二维随机变量分布函数和概率密度
二维随机变量的联合概率密度通过如下方式定义: $f_{XY}(x,y)$且 $\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f_{XY}(x,y)dxdy=1$可以想象，二维随机变量的联合概率密度占据了三维空间，曲面与xy平面围成的体积为1.类似地，联合cdf表示事件{X <= x，Y <= y}发生的可能性。 $F_{XY}(x,y)=P(X\le x,Y\le y)=\int_{-\infty}^{y}\int_{-\infty}^{x}f_{XY}(x,y)dxdy$cdf中较重要的性质是 $F_{XY}(x,\infty)=F_X(x)$cdf对x、y求二阶混合偏导数得到 $f_{xy}=\frac{d^2}{dxdy}(F_{XY}(x,y))$例如，要画二维正态随机变量 $f_{X1X2}(x_1 ,x_2)=\frac{1}{2\pi\sigma_{X_1}\sigma_{X_2}\sqrt{1-r^2}}exp\{-\frac{1}{2(1-r^2)}[\frac{(x_1-m_{X_1})^2}{\sigma^2_{X_1 }}+\frac{(x_2-m_{X_2})^2}{\sigma^2_{X_2 }}]-\frac{2r(x_1-m_{X_1})(x_2-m_{x_2})}{\sigma_{X_1}\sigma_{X_2}}\}$的联合概率密度，取mu = [0 0] sigma = [0.25 0.01; 0.01 1]，(必须为正定对称阵)
matlab添加颜色_caxis

x1 = -3:0.2:3;
x2 = -3:0.2:3;
[X1,X2] = meshgrid(x1,x2);
X = [X1(:) X2(:)];

mu = [0 0];
sigma = [0.25 0.01; 0.01 1];
y = mvnpdf(X,mu,sigma);
y = reshape(y,length(x2),length(x1));
surf(x1,x2,y)
caxis([min(y(:))-0.5*range(y(:)),max(y(:))])
axis([-3 3 -3 3 0 0.4])
xlabel('x1')
ylabel('x2')
zlabel('Probability Density')

mvn函数中的sigma指联合正态分布的协方差矩阵，上面那串长式可以用矩阵表示为 $f_X(\textbf X)=\frac{1}{2\pi |\textbf K|^{\frac{1}{2}}}exp[-\frac{1}{2}(\textbf x - \textbf m)^T\textbf K^{-1}(\textbf x - \textbf m)]$这里的K就是sigma $\textbf K=\begin{pmatrix}\sigma^2_{X_1}&r \sigma_{X_1}\sigma_{X_2}\\ r\sigma_{X_1}\sigma_{X_2}&\sigma^2_{X_2}\end{pmatrix}$运行出来：

同理画出cdf。

 p = mvncdf(X,mu,sigma);
Z = reshape(p,length(x2),length(x1));
surf(X1,X2,Z)

边缘分布
对于离散变量， $p_X(x_i)=\sum_{j}p(x_i,y_j)$p_Y亦然。边缘概率，无论变量离散或连续，可统一写作期望值（expected value）形式 $p_X(x)=\int_{y}p_{X|Y}(x|y)p_Y(y)dy=E_Y[p_{X|Y}(x|y)]$上式理解成由LOTUS的公式 $E_Y[f(Y)]=\int_y f(y)p_Y(y)dy$演化来，这里是对Y的所有可能取值下x发生的概率的积分(对于离散随机变量是求和)。利用边缘分布可以判断两随机变量之间是否独立：两随机变量独立，当且仅当联合概率密度等于边缘概率密度乘积。

在matlab中计算边缘分布：例如，验证联合正态分布的边缘分布(不论两者是否相关)是正态的：
matlab创建函数句柄，参见matlab_createFunctionHandle
边缘分布求解积分号内的函数写作

fx = @(t)arrayfun(@(x)integral(@(y)f(x,y),-inf,inf),t)

matlab求积分参见integral
同时作用于数组中变量，避免无谓循环的arrayfun函数参见arrayfun
完整实现如下：

%为便于传参，没有用矩阵表示，直接用了那串长式
BivariateNormalPDF = @(x,y,mux,sigmax,muy,sigmay,rho) ...
  exp(-(((x-mux)/sigmax).^2 ...
       + ((y-muy)/sigmay).^2 ...
       - 2*rho*((x-mux).*(y-muy)/(sigmax*sigmay)) ...
       )/(2*(1-rho*rho)) ...
     )/(2*pi*sigmax*sigmay*sqrt(1-rho*rho));%原始函数
f = @(x,y)BivariateNormalPDF(x,y,3,1,1,2,0.5);
fx = @(x)integral(@(y)f(x,y),-inf,inf,'ArrayValued',true);
x = -2:0.1:8;
plot(x,fx(x));
integral(fx,-inf,inf)%边缘分布全域积分是1

x = -2:0.1:8;
plot(x,fx(x),'o','linewidth',2);
integral(fx,-inf,inf)

可见，即使rho不为0，边缘分布也是正态的。

期望
期望定义为 $E[g(x,y)]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f_{XY}(x,y)dxdy$对于离散的数组等，mean()通常求出来有时候可以近似为期望。probablyDistribution_mean
将上述积分式写成函数句柄，是

fx = @(x,y)integral2(@(y)g(x,y).*f(x,y),-inf,inf,-inf,inf)

二重积分，参见integral2
混合原点矩和混合中心矩
混合原点矩写作 $m_{nk}=E[X^nY^k]=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}X^nY^kf_{XY}(x,y)dxdy$理解成一组数据相对偏离原点的程度的量度。上式是n+k阶矩的一种情况。一阶矩，就是联合概率密度的重心，写作 $m_{01}=E[Y],m_{10}=E[X]$二阶矩写作 $m_{02}=E[Y^2],m_{20}=E[X^2],m_{11}=E[XY]$其中m₁₁可以表示两变量的相关性。如果E[XY]=E[X]E[Y]，称XY(线性)不相关(不一定独立)。如果E[X]E[Y]=0，称两随机变量正交。

扫描二维码关注公众号，回复： 10639224 查看本文章

混合中心矩写作 $mc_{nk}=E[(X-\mu_X)^n(Y-\mu_Y)^k]$ $=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(X-\mu_X)^n(Y-\mu_Y)^kf_{XY}(x,y)dxdy$理解成偏离样本中心的程度。同原点矩，可以有一阶中心矩、二阶中心矩。
其中，二阶中心矩 $mc_{11}=E[XY]-\mu_X\mu_Y$就是协方差(C_XY)顺便得到相关系数 $\rho=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$
matlab中仍有现成的函数cov来求协方差。链接说明中的协方差矩阵，指对n维随机变量 $X = (X_1,X_2,...,X_N)^T$每两个随机变量之间的协方差构成的矩阵，即 $c=(c_{ij})_{m\times n=}=\begin{pmatrix}c_{11}&c_{12}&c_{13}&...&c_{1n}\\c_{21}&c_{22}&c_{23}&...&c_{2n}\\...&&&...\\c_{n1}&c_{n2}&c_{n3}&...&c_{nn}\end{pmatrix}$它是一个对称非负定矩阵。例如，第一个示例程序中，

A = [5 0 3 7; 1 -5 7 3; 4 9 8 10];
C = cov(A)

结果是

例如，C₁₂的8.33是[5 1 4]和[0 -5 9]的协方差。
求随机变量函数的分布
这个公式常用，写作 $f_{Y_1Y_2}(y_1,y_2)=f_{X_1X_2}(x_1,x_2)|J|$J是雅可比行列式。
可以从此推出一个比较有用的性质：两个独立随机变量之和的概率密度是两个概率密度的卷积，若Y₁=X₁+X₂，Y₂=X₁-X₂推作： $x_1=(y_1+y_2)/2$ $x_2=(y_1-y_2)/2$Jacobi行列式 $J=\frac{\partial(x_1,x_2)}{\partial(y_1,y_2)}=\begin{vmatrix}\frac{1}{2}&\frac{1}{2}\\\frac{1}{2}&-\frac{1}{2}\end{vmatrix}=-\frac{1}{2}$这里跳了一步，跳过的是用随机变量函数公式将Y₁Y₂的联合概率写成X₁X₂的联合概率密度。变量替换、令u=(y₁+y₂)/2 $f_{Y_1}(y_1)=\int_{-\infty}^{+\infty}f_{X_1X_2}(u,y_1-u)du$如果两者独立、将联合概率密度乘开，就得到 $f_{Y_1}(y_1)=f_{X_1}(y_1)*f_{X_2}(y_1)$
以下是matlab求最简单的卷积的过程。具体过程参照《信号与系统》。

clear all;
x=[0 0 0 0 0 0 0 0 0 0 2 2 2 2 2 2 2 2 2 2 2 0];
y=[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0];
z=conv(x,y);
n=1:1:53;
plot(n,z,'g','linewidth',3);title('convolved output');
xlabel('time');ylabel('amplitude');

常见的信号建模方法
以后使用这些方法结合实例处理信号，这里只粗略地写。信号建模分为参数检验和非参数检验。非参数检验是指不对信号的生成过程做任何假设，局限性在于它对信号范围外的自相关估计是0；另外，事先假设每N样本具有周期性，这是它的两个固有缺点。而参数检验能够外推自相关性质，计算预测系数后可以推知样本后信号的情况。

AR模型：常用于语音处理，也用在经济学、天气预报等。将原信号通过转移函数含有极、零点的线性系统(就像一层神经网络)，对输出数据进行建模。系统转移函数同时有极零点的模型叫ARMA，例如 $H(Z)=\frac{\sum_{k=0}^Mb_kZ^{-k}}{1+\sum_{k=0}^Na_kZ^{-k}}$只含极点的叫AR $H(Z)=\frac{1}{1+\sum_{k=0}^Na_kZ^{-k}}$只含零点的叫MA $\sum_{k=0}^Mb_kZ^{-k}$（参考信号与系统Z变换部分）

随机过程的引入
随机过程指的是每次进行某个试验(比方说观察股市的变化、某放电过程电流的变化)都得到一个研究对象关于时间t的函数，但是每次得到的函数都不一样（一样的就叫确定过程），并且我们还不知道下一次实验这个函数又是什么样。把这种实验对应发生的过程叫做随机过程。

从上面看出，有两个不确定，一个是时间，一个是第几次的实验。把这两个确定，就会得到一个确定的值。细看来，随机过程分为四类：

连续性随机过程：时间和状态都连续的随机过程。例如，电路系统中三极管会产生热噪声，正弦波振荡器通过LC谐振回路前的信号的取值是连续的(比如，可能落在5mV到15mV之间任何值)，每次振荡都能画出小电压随连续时间的变化函数，它们互不相同，肉眼看不出关系。这是连续性随机过程。
随机序列：时间离散而状态连续的随机过程。例如，随机相位信号 $X(n)=cos(w_0n+\phi)$Φ是(-pi,pi)上均匀分布的随机变量。n表明时间是离散的，只能取1,2,…。但是由于Φ任意取，X(n,t)可能落到[-1,1]上任意值，所以它的状态是连续的。
离散型随机过程：时间连续而状态离散的随机过程。例如半二元传输信号

 N = 200;
ind = find(rand(N,1)>0.5);
z(1:N)=1;
z(ind)=-1; stairs(1:25,z(1:25),'r','linewidth',2);
axis([0 25 -1.5 1.5]);

表示一秒投一次硬币，投到正面这秒的值就是1，投到反面这秒的值就是-1

可以看出，时间连续，但状态离散。
离散随机序列：时间和状态都离散的随机过程。如，某人每个月熬夜的天数，状态取离散值0~31，时间每个月统计一次，是离散的。

无论在什么领域，时间的离散往往是抽样带来的。状态的离散往往是对某连续量进行量化(如机件的尺寸精度)或对某结果进行分类(如掷骰子的两种状态)得来的。

可预测过程和不可预测过程
例如，上面描述的随机相位信号，一旦某次实验中确定了Φ值，就可以推断以后所有时刻的样本函数。这叫可预测过程。再例如，上面描述的电路热噪声，即使某次实验进行了很长时间，还是无法预测将来时刻热噪声的函数是什么样的，这叫不可预测过程。