平稳AR模型的统计性质

平稳AR模型的统计性质

上一次写到了AR模型的定义以及其平稳性判定方法,这次介绍一下平稳AR模型具有的统计性质。

均值

假如 A R ( p ) AR(p) AR(p)模型是平稳的,在等式两边取期望,可得到:
E x t = E ( ϕ 0 + ϕ 1 x t − 1 + . . . + ϕ p x t − p + ϵ t ) = μ Ex_t=E(\phi_0+\phi_1x_{t-1}+...+\phi_px_{t-p}+\epsilon_t)=\mu Ext=E(ϕ0+ϕ1xt1+...+ϕpxtp+ϵt)=μ

方差

要计算 A R ( p ) AR(p) AR(p)模型的方差,需要借助于Green函数。有关于Green函数的知识,在AR模型中方差计算——Green函数文章中有做介绍。
可得到Green函数的递推公式为:
G j = { 1 , j = 0 ∑ k = 0 j ϕ k ′ G j − k , j ≥ 1 G_j=\begin{cases}1, j=0 \\ \sum_{k=0}^j\phi_k^{'} G_{j-k},j \geq 1 \end{cases} Gj={ 1,j=0k=0jϕkGjk,j1
A R ( p ) AR(p) AR(p)模型可用Green函数表达为:
x t = G ( B ) ϵ t x_t=G(B)\epsilon_t xt=G(B)ϵt
式中 G ( B ) = G 0 + G 1 B + G 2 B 2 + . . . G(B)=G_0+G_1B+G_2B^2+... G(B)=G0+G1B+G2B2+...
展开可得
x t = G 0 ϵ t + G 1 B ϵ t + G 2 B 2 ϵ t + . . . = G 0 ϵ t + G 1 ϵ t − 1 + G 2 ϵ t − 2 + . . . x_t=G_0\epsilon_t+G_1B\epsilon_t+G_2B^2\epsilon_t+...=G_0\epsilon_t+G_1\epsilon_{t-1}+G_2\epsilon_{t-2}+... xt=G0ϵt+G1Bϵt+G2B2ϵt+...=G0ϵt+G1ϵt1+G2ϵt2+...
由于 V a r ( ϵ i ) = σ 2 , ∀ i = 1 , 2 , 3 , 4... Var(\epsilon_i)=\sigma^2,\forall i=1,2,3,4... Var(ϵi)=σ2,i=1,2,3,4...
两边同取方差,可得:
V a r ( x t ) = ∑ j = 0 ∞ G j 2 σ ϵ 2 Var(x_t)=\sum_{j=0}^\infty G_j^2\sigma_\epsilon^2 Var(xt)=j=0Gj2σϵ2

自协方差函数

  时间序列中的协方差函数与数理统计中的协方差有类似之处。数理统计中引入协方差是为了度量两个随机事件的相互影响的程度,对于两个不同的随机变量X,Y,其协方差公式为:
C o v ( X , Y ) = E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] Cov(X,Y)=E[(X-E(X))(Y-E(Y))] Cov(X,Y)=E[(XE(X))(YE(Y))]
  而自协方差函数度量的是同一事件在两个不同时期的相关程度,对于时间序列 { x t } , \{x_t\}, { xt}任取 t , s ∈ T t,s \in T t,sT,其自协方差公式为:
γ ( t , s ) = E ( X t − μ t ) ( X s − μ s ) = E ( X t X s − X t μ s − X s μ t − μ s μ t ) \gamma(t,s)=E(X_t-\mu_t)(X_s-\mu_s)=E(X_tX_s-X_t\mu_s-X_s\mu_t-\mu_s\mu_t) γ(t,s)=E(Xtμt)(Xsμs)=E(XtXsXtμsXsμtμsμt)

= E ( X t X s ) − E ( X t μ s ) − E ( X s μ t ) − E ( μ s μ t ) =E(X_tX_s)-E(X_t\mu_s)-E(X_s\mu_t)-E(\mu_s\mu_t) =E(XtXs)E(Xtμs)E(Xsμt)E(μsμt)
  而对于中心化的 A R ( p ) AR(p) AR(p)模型而言, E μ i = 0 , ∀ i ∈ T E\mu_i=0,\forall i \in T Eμi=0,iT,所以中心化AR§模型的自协方差函数为: γ t − s = E ( X t X s ) \gamma_{t-s}=E(X_tX_s) γts=E(XtXs)
简记为 γ ( t − s ) = E ( X t X s ) \gamma(t-s)=E(X_tX_s) γ(ts)=E(XtXs)
特别的: γ 0 = V a r ( X t ) \gamma_0=Var(X_t) γ0=Var(Xt)
  对于中心化平稳 A R ( p ) AR(p) AR(p)模型
x t = ϕ 1 x t − 1 + ϕ 2 x t − 2 + ϕ 3 x t − 3 . . . + ϕ p x t − p + ϵ t x_t=\phi_1x_{t-1}+\phi_2x_{t-2}+\phi_3x_{t-3}...+\phi_p x_{t-p}+\epsilon_t xt=ϕ1xt1+ϕ2xt2+ϕ3xt3...+ϕpxtp+ϵt两边同时乘以 x t − k ( ∀ k ≥ 1 ) x_{t-k}(\forall k \geq 1) xtk(k1),并两边求期望,可得:
γ k = ϕ 1 γ k − 1 + ϕ 2 γ t − 2 + . . . + ϕ p γ k − p + E ( ϵ t x t − k ) \gamma_k=\phi_1\gamma_{k-1}+\phi_2\gamma_{t-2}+...+\phi_p\gamma_{k-p}+E(\epsilon_tx_{t-k}) γk=ϕ1γk1+ϕ2γt2+...+ϕpγkp+E(ϵtxtk)
A R ( p ) AR(p) AR(p)模型的限制条件可知: E ( ϵ t x t − k ) = 0 E(\epsilon_tx_{t-k})=0 E(ϵtxtk)=0
所以 A R ( p ) AR(p) AR(p)模型的自协方差函数的递推公式为:
γ k = ϕ 1 γ k − 1 + ϕ 2 γ t − 2 + . . . + ϕ p γ k − p \gamma_k=\phi_1\gamma_{k-1}+\phi_2\gamma_{t-2}+...+\phi_p\gamma_{k-p} γk=ϕ1γk1+ϕ2γt2+...+ϕpγkp

自相关系数

自相关系数与相关系数类似,相关系数的公式为:
c o r ( X , Y ) = C o v ( X , Y ) V a r ( X ) V a r ( Y ) cor(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}} cor(X,Y)=Var(X) Var(Y) Cov(X,Y)
自相关系数的公式为:
ρ k = γ k γ 0 \rho_k=\frac{\gamma_k}{\gamma_0} ρk=γ0γk
在自相关函数递推公式同时除以 γ 0 \gamma_0 γ0可得到自相关系数递推公式:
ρ k = ϕ 1 ρ k − 1 + ϕ 2 ρ t − 2 + . . . + ϕ p ρ k − p \rho_k=\phi_1\rho_{k-1}+\phi_2\rho_{t-2}+...+\phi_p\rho_{k-p} ρk=ϕ1ρk1+ϕ2ρt2+...+ϕpρkp

自相关系数的性质

对于平稳 A R ( p ) AR(p) AR(p)模型,其自相关系数有两个显著性质:
(1)拖尾性
可以看出自相关系数递推公式是p阶齐次差分方程,可得到其解为
ρ k = ∑ i = 1 p c i λ i k \rho_k=\sum_{i=1}^pc_i\lambda_i^k ρk=i=1pciλik其中 λ i \lambda_i λi A R ( p ) AR(p) AR(p)模型特征方程对应得特征根, c 1 , c 2 , . . . , c p c_1,c_2,...,c_p c1,c2,...,cp为任意常数且不全为0。
具体可写成 ρ 1 = c 1 λ 1 \rho_1=c_1\lambda_1 ρ1=c1λ1 ρ 2 = c 1 λ 1 2 + c 2 λ 2 2 \rho_2=c_1\lambda_1^2+c_2\lambda_2^2 ρ2=c1λ12+c2λ22 ρ 3 = c 1 λ 1 3 + c 2 λ 2 3 + c 3 λ 3 3 \rho_3=c_1\lambda_1^3+c_2\lambda_2^3+c_3\lambda_3^3 ρ3=c1λ13+c2λ23+c3λ33 . . . ... ...
从上式中可以看出,由于 c 1 , c 2 , . . . , c p c_1,c_2,...,c_p c1,c2,...,cp不全为0,所以无论k为多大, ρ k \rho_k ρk始终会存在非零值,画自相关系数图就可以发现,自相关图右侧类似一个尾巴,因此这个性质叫做拖尾性。

示例

对于AR(2)模型 x t = ϕ 1 x t − 1 + ϕ 2 x t − 2 + ϵ t x_t=\phi_1x_{t-1}+\phi_2x_{t-2}+\epsilon_t xt=ϕ1xt1+ϕ2xt2+ϵt绘制其自相关图如下图所示:
相关代码如下:

import random
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf, plot_pacf
data_2 = [5,3]
for i in range(1,1000):
    res_2 = data_2[i]-0.2*data_2[i-1]+random.random()
    data_2.append(res_2)
plot_acf(data_2,lags=20)

(2)指数衰减
由上可知 ρ 1 = c 1 λ 1 \rho_1=c_1\lambda_1 ρ1=c1λ1 ρ 2 = c 1 λ 1 2 + c 2 λ 2 2 \rho_2=c_1\lambda_1^2+c_2\lambda_2^2 ρ2=c1λ12+c2λ22 ρ 3 = c 1 λ 1 3 + c 2 λ 2 3 + c 3 λ 3 3 \rho_3=c_1\lambda_1^3+c_2\lambda_2^3+c_3\lambda_3^3 ρ3=c1λ13+c2λ23+c3λ33 . . . ... ...
由于 ∣ λ ∣ < 1 |\lambda|<1 λ<1,因此随着k增大时, ρ k \rho_k ρk会迅速衰减,并且是以指数的速度进行衰减。

短期相关性

平稳序列自相关系数以指数衰减的性质,在自相关图上的性质表现为迅速衰减到0附近波动,这种现象就称为平稳序列的短期相关性。
短期相关性通常来看,就是近期的序列值对现值的影响显著,而间隔久的过去值对现值的影响小。

偏自相关系数

由自相关系数公式可以得出, ρ k \rho_k ρk的值不单纯只与 x t x_t xt x t − k x_{t-k} xtk的值相关,还与 x t − 1 , x t − 2 , . . . x_{t-1},x_{t-2},... xt1xt2...有关,为了能够单纯得出 x t x_t xt x t − k x_{t-k} xtk之间的关系,引入偏自相关系数(pacf)的概念。

定义

对于平稳序列 { x t } \{x_t\} { xt},所谓滞后k偏自相关系数,是指在给定中间k-1个随机变量 x t − 1 , x t − 2 , . . . , x t − k + 1 x_{t-1},x_{t-2},...,x_{t-k+1} xt1,xt2,...,xtk+1的条件下, x t − k x_{t-k} xtk x t x_{t} xt影响的度量,可表达为:
ρ x t , x t − k ∣ x t − 1 , . . . , x t − k + 1 = E [ ( x t − E ^ x t ) ] [ ( x t − k − E ^ x t − k ) ] E [ ( x t − k − E ^ x t − k ) 2 ] \rho_{x_{t},x_{t-k}|x_{t-1},...,x_{t-k+1}}=\frac{E[(x_t-\hat{E}x_t)][(x_{t-k}-\hat{E}x_{t-k})]}{E[(x_{t-k}-\hat{E}x_{t-k})^2]} ρxt,xtkxt1,...,xtk+1=E[(xtkE^xtk)2]E[(xtE^xt)][(xtkE^xtk)]
式中 E ^ x t = E [ x t ∣ x t − 1 , . . . , x t − k + 1 ] \hat{E}x_t=E[x_t|x_{t-1},...,x_{t-k+1}] E^xt=E[xtxt1,...,xtk+1]
E ^ x t − k = E [ x t − k ∣ x t − 1 , . . . , x t − k + 1 ] \hat{E}x_{t-k}=E[x_{t-k}|x_{t-1},...,x_{t-k+1}] E^xtk=E[xtkxt1,...,xtk+1]

计算

对于 A R ( p ) AR(p) AR(p)模型而言:
x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ϕ 3 x t − 3 . . . + ϕ p x t − p + ϵ t x_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+\phi_3x_{t-3}...+\phi_p x_{t-p}+\epsilon_t xt=ϕ0+ϕ1xt1+ϕ2xt2+ϕ3xt3...+ϕpxtp+ϵt
x t − 1 , x t − 2 , . . . , x t − k + 1 x_{t-1},x_{t-2},...,x_{t-k+1} xt1,xt2,...,xtk+1条件下对两边取期望,可得到:
E ^ x t = ϕ 0 + ϕ 1 x t − 1 + ϕ 2 x t − 2 + ϕ 3 x t − 3 + . . . + ϕ p E ^ x t − p \hat Ex_t=\phi_0+\phi_1x_{t-1}+\phi_2x_{t-2}+\phi_3x_{t-3}+...+\phi_p \hat Ex_{t-p} E^xt=ϕ0+ϕ1xt1+ϕ2xt2+ϕ3xt3+...+ϕpE^xtp

两式相减,可得
x t − E ^ x t = ϕ p ( x t − p − E ^ x t − p ) x_t-\hat Ex_t = \phi_p(x_{t-p}-\hat Ex_{t-p}) xtE^xt=ϕp(xtpE^xtp)
两边同乘 x t − p − E ^ x t − p x_{t-p}-\hat Ex_{t-p} xtpE^xtp,并取期望:
E [ ( x t − E ^ x t ) ( x t − p − E ^ x t − p ) ] = E [ ϕ p ( x t − p − E ^ x t − p ) 2 ] = ϕ p E [ ( x t − p − E ^ x t − p ) 2 ] E[(x_t-\hat Ex_t)(x_{t-p}-\hat Ex_{t-p})] = E[\phi_p(x_{t-p}-\hat Ex_{t-p})^2]=\phi_pE[(x_{t-p}-\hat Ex_{t-p})^2] E[(xtE^xt)(xtpE^xtp)]=E[ϕp(xtpE^xtp)2]=ϕpE[(xtpE^xtp)2]
所以有 ρ x t , x t − k ∣ x t − 1 , . . . , x t − k + 1 = E [ ( x t − E ^ x t ) ] [ ( x t − k − E ^ x t − k ) ] E [ ( x t − k − E ^ x t − k ) 2 ] = ϕ p \rho_{x_{t},x_{t-k}|x_{t-1},...,x_{t-k+1}}=\frac{E[(x_t-\hat{E}x_t)][(x_{t-k}-\hat{E}x_{t-k})]}{E[(x_{t-k}-\hat{E}x_{t-k})^2]}=\phi_p ρxt,xtkxt1,...,xtk+1=E[(xtkE^xtk)2]E[(xtE^xt)][(xtkE^xtk)]=ϕp
即在AR§模型中,其延迟p阶偏自相关系数 p a c f ( p ) = ϕ p pacf(p)=\phi_p pacf(p)=ϕp
需要求 k k k阶的偏自相关系数,则可以使用 x t − 1 , . . . , x t − k x_{t-1},...,x_{t-k} xt1,...,xtk对{x_t}作自回归拟合,即:
x t = ϕ k 1 x t − 1 + ϕ k 2 x t − 2 + . . . + ϕ k k x t − k x_t=\phi_{k1}x_{t-1}+\phi_{k2}x_{t-2}+...+\phi_{kk}x_{t-k} xt=ϕk1xt1+ϕk2xt2+...+ϕkkxtk
两边同乘 x t − l x_{t-l} xtl,并求期望,可得:
ρ l = ϕ k 1 ρ l − 1 + ϕ k 2 ρ l − 2 + . . . + ϕ k k ρ l − k \rho_l=\phi_{k1}\rho_{l-1}+\phi_{k2}\rho_{l-2}+...+\phi_{kk}\rho_{l-k} ρl=ϕk1ρl1+ϕk2ρl2+...+ϕkkρlk
l = 1 , 2 , . . . , k l=1,2,...,k l=1,2,...,k时,可得到如下方程组:
{ ρ 1 = ϕ k 1 ρ 0 + ϕ k 2 ρ 1 + . . . + ϕ k k ρ k − 1 ρ 2 = ϕ k 1 ρ 1 + ϕ k 2 ρ 0 + . . . + ϕ k k ρ k − 2 ρ 3 = ϕ k 1 ρ 2 + ϕ k 2 ρ 1 + . . . + ϕ k k ρ k − 3 . . . ρ k = ϕ k 1 ρ k − 1 + ϕ k 2 ρ k − 2 + . . . + ϕ k k ρ 0 \begin{cases} \rho_1=\phi_{k1}\rho_{0}+\phi_{k2}\rho_{1}+...+\phi_{kk}\rho_{k-1}\\ \rho_2=\phi_{k1}\rho_{1}+\phi_{k2}\rho_{0}+...+\phi_{kk}\rho_{k-2}\\ \rho_3=\phi_{k1}\rho_{2}+\phi_{k2}\rho_{1}+...+\phi_{kk}\rho_{k-3}\\ .\\ .\\ .\\ \rho_k=\phi_{k1}\rho_{k-1}+\phi_{k2}\rho_{k-2}+...+\phi_{kk}\rho_{0} \end{cases} ρ1=ϕk1ρ0+ϕk2ρ1+...+ϕkkρk1ρ2=ϕk1ρ1+ϕk2ρ0+...+ϕkkρk2ρ3=ϕk1ρ2+ϕk2ρ1+...+ϕkkρk3...ρk=ϕk1ρk1+ϕk2ρk2+...+ϕkkρ0
该方程被称为Yule-Walker方程组,解该方程可解得 ϕ k k \phi_{kk} ϕkk的值,其值为 p a c f ( k ) = ϕ k k pacf(k)=\phi_{kk} pacf(k)=ϕkk
此方程可通过克拉默法则求解,即:
ϕ k k = D k D \phi_{kk}=\frac {D_k} {D} ϕkk=DDk,其中 D = [ ρ 0 ρ 1 . . . ρ k − 1 ρ 1 ρ 0 . . . ρ k − 2 . . . . . . . . . . . . ρ k − 2 ρ k − 2 . . . ρ k − 2 ] D=\begin{bmatrix} \rho_0 & \rho_1 & ... & \rho_{k-1} \\ \rho_1 & \rho_0 & ...& \rho_{k-2} \\ ...&...&...&...&\\ \rho_{k-2} & \rho_{k-2} &...& \rho_{k-2} \\ \end{bmatrix} D= ρ0ρ1...ρk2ρ1ρ0...ρk2............ρk1ρk2...ρk2
D k = [ ρ 0 ρ 1 . . . ρ 1 ρ 1 ρ 0 . . . ρ 2 . . . . . . . . . . . . ρ k − 1 ρ k − 2 . . . ρ k ] D_k=\begin{bmatrix} \rho_0 & \rho_1 & ... & \rho_{1} \\ \rho_1 & \rho_0 & ...& \rho_{2} \\ ...&...&...&...&\\ \rho_{k-1} & \rho_{k-2} &...& \rho_{k} \\ \end{bmatrix} Dk= ρ0ρ1...ρk1ρ1ρ0...ρk2............ρ1ρ2...ρk

例子

如AR(2)模型: x t = x t − 1 + 0.5 x t − 2 x_t=x_{t-1}+0.5x_{t-2} xt=xt1+0.5xt2
p a c f ( 2 ) = ϕ 22 = ϕ 2 = 0.5 pacf(2)=\phi_{22}=\phi_2=0.5 pacf(2)=ϕ22=ϕ2=0.5
p a c f ( 1 ) pacf(1) pacf(1)使用Yule-Walker方程组求解,其Yule-Walker方程组为 ρ 1 = ϕ 11 ρ 0 \rho_1=\phi_{11}\rho_0 ρ1=ϕ11ρ0,而 ρ 0 = 1 \rho_0=1 ρ0=1,可得到 p a c f ( 1 ) = ϕ 11 = ρ 1 pacf(1)=\phi_{11}=\rho_1 pacf(1)=ϕ11=ρ1
p a c f ( j ) = 0 , j > = 2 pacf(j)=0,j>=2 pacf(j)=0,j>=2,综上,可得到AR(2)模型的偏自相关系数为
ϕ k k = { ϕ 1 1 − ϕ 2 , k = 1 ϕ 2 , k = 2 0 , k ≥ 3 ( A R 模型中偏自相关系数的截尾性 ) \phi_{kk}=\begin{cases} \frac{\phi_1}{1-\phi_2}&,k=1\\ \phi_2&,k=2\\ 0&,k\geq3(AR模型中偏自相关系数的截尾性) \end{cases} ϕkk= 1ϕ2ϕ1ϕ20,k=1,k=2,k3(AR模型中偏自相关系数的截尾性)

偏自相关系数的截尾性

通过Yule-Walker方程组,我们可计算任意阶偏自相关系数的值。
先写出Yule-Walker方程组的矩阵形式,即
[ ρ 0 ρ 1 . . . ρ k − 1 ρ 1 ρ 0 . . . ρ k − 2 . . . . . . . . . . . . ρ k − 1 ρ k − 2 . . . ρ 0 ] [ ϕ 1 ϕ 2 . . . ϕ k ] = [ ρ 1 ρ 2 . . . ρ k ] \begin{bmatrix} \rho_0 & \rho_1 & ... & \rho_{k-1} \\ \rho_1 & \rho_0 & ...& \rho_{k-2} \\ ...&...&...&...&\\ \rho_{k-1} & \rho_{k-2} &...& \rho_{0} \\ \end{bmatrix}\begin{bmatrix}\phi_1\\\phi_2\\...\\\phi_k\\ \end{bmatrix}=\begin{bmatrix}\rho_1\\\rho_2\\...\\\rho_k\\ \end{bmatrix} ρ0ρ1...ρk1ρ1ρ0...ρk2............ρk1ρk2...ρ0 ϕ1ϕ2...ϕk = ρ1ρ2...ρk
令$\xi =[\rho_1,\rho_2,…,\rho_k]^T,\eta_i = [\rho_{i-1},\rho_{i-2},…,\rho_{k-i}]^T,i=1,2,…,k $
ξ = ϕ 1 η 1 + ϕ 2 η 2 + . . . + ϕ k η k \xi = \phi_1\eta_1+\phi_2\eta_2+...+\phi_k\eta_k ξ=ϕ1η1+ϕ2η2+...+ϕkηk
k > p k>p k>p时, D k = [ ρ 0 ρ 1 . . . ρ k − 1 . . . ρ 1 ρ 1 ρ 0 . . . ρ k − 2 . . . ρ 2 . . . . . . . . . . . . . . . . . . ρ k − 1 ρ k − 2 . . . ρ 0 . . . ρ k ] = [ η 1 , η 2 , . . . , η k , . . . , ξ ] D_k=\begin{bmatrix} \rho_0 & \rho_1 & ... & \rho_{k-1}& ... &\rho_{1} \\ \rho_1 & \rho_0 & ...& \rho_{k-2} & ... &\rho_{2} \\ ...&...&...&...&...&...&\\ \rho_{k-1} & \rho_{k-2} &...& \rho_0& ...&\rho_{k} \\ \end{bmatrix}=[\eta_1,\eta_2,...,\eta_k,...,\xi] Dk= ρ0ρ1...ρk1ρ1ρ0...ρk2............ρk1ρk2...ρ0............ρ1ρ2...ρk =[η1,η2,...,ηk,...,ξ]
由于 ξ \xi ξ可由 η 1 , , η 2 , . . . , η k \eta_1,,\eta_2,...,\eta_k η1,,η2,...,ηk线性表示,所以 D k D_k Dk列向量线性相关,即 ∣ D k ∣ = 0 |D_k|=0 Dk=0
所以 ϕ k k = 0 , k ≥ p + 1 \phi_{kk}=0,k \ge p+1 ϕkk=0,kp+1

猜你喜欢

转载自blog.csdn.net/white_socks/article/details/126289850
今日推荐