ARCH模型

自回归条件异方差(Autoregressive Conditional Heteroscedasticity Model, ARCH)
恩格尔和克拉格(Kraft, D., 1983)在分析宏观数据时，发现这样一些现象:时间序列模型中的扰动方差稳定性比通常假设的要差。恩格尔的结论说明在分析通货膨胀模型时，大的及小的预测误差会大量出现，表明存在一种异方差，其中预测误差的方差取决于后续扰动项的大小。
从事于股票价格、通货膨胀率、外汇汇率等金融时间序列预测的研究工作者，曾发现他们对这些变量的预测能力随时期的不同而有相当大的变化。预测的误差在某一时期里相对地小，而在某一时期里则相对地大，然后，在另一时期又是较小的。这种变异很可能由于金融市场的波动性易受谣言、政局变动、政府货币与财政政策变化等等的影响。从而说明预测误差的方差中有某种相关性。
为了刻画这种相关性，恩格尔提出ARCH模型。
ARCH的主要思想是时刻 $t$的 $u_t$的方差( $=\sigma_t^2$)依赖于 $t-1$时刻残差平方的大小，即依赖于 $u_{t-1}^2$。
ARCH自回归条件异方差模型条件:
在时间序列中，给出不同的时点的样本(对于不同时点的观测值)，得到残差的方差是不同的，故方差随时间给出的条件而变化，即异方差。

ARCH 模型的定义
$k-变量回归模型：$
$y_t=\gamma_0+\gamma_1x_{1t}+\cdots+\gamma_kx_{kt}+u_t\qquad(1)$
并假设在时刻 $t-1$所有信息已知的条件下，扰动项 $u_t$的分布是：
$u_t\sim N(0,\alpha_0+\alpha_1u_{t-1}^2)\qquad(2)$
即 $u_t$遵循以0为均值， $\alpha_0+\alpha_1u_{t-1}^2$为方差的正态分布。
由于 $u_t$的方差依赖于时刻 $t-1$期的平方扰动项，
所以我们称其为 $ARCH(1)$过程： $var(u_t)=\sigma_t^2=\alpha_0+\alpha_1u_{t-1}^2$
一个 $ARCH(p)$过程可以写为：
$\sigma_t^2=\alpha_0+\alpha_1u_{t-1}^2+\alpha_2u_{t-2}^2+\cdots+\alpha_pu_{t-p}^2\qquad(3)$
如果扰动项没有自相关，就会有：
$H_0:var(u_t)=\sigma^2=\alpha_0$
且 $\alpha_1=\alpha_2=\cdots=\alpha_p=0$
从而得到误差方差同方差的情形。
恩格尔曾表明，容易通过以下的回归去检验上述虚拟假设:
$\hat{u}_t^2=\hat{\alpha}_0+\hat{\alpha}_1u_{t-1}^2+\hat{\alpha}_2u_{t-2}^2+\cdots+\hat{\alpha}_pu_{t-p}^2\qquad(4)$
其中， $\hat{u}_t$表示从原始回归模型(1)估计得到的OLS残差。

ARCH 模型的导出
$y_t=b_0+b_1x_{1,t}+b_2x_{2,t}+\cdots+u_t$

$E(u_t)=0$

$E(u_tu_s)=\begin{cases}\sigma^2,t=s\\0,t≠s\end{cases}$

注意： $u_t$是一个白噪声，其无条件方差是一个常数。但是 $u_t$的条件方差随时间而变化，假设 $u_t^2$服从 $AR(1)$过程（模型的名称来源），
$u_t^2=\alpha_0+\alpha_1u_{t-1}^2+w_t$

ARCH(q) 模型的表示
$y_t=b_0+b_1x_{1,t}+b_2x_{2,t}+\cdots+u_t\qquad u_t\sim N(0,\sigma_t^2)\\ \sigma_t^2=\alpha_0+\alpha_1u_{t-1}^2+\alpha_2u_{t-2}^2+\cdots+\alpha_qu_{t-q}^2$

或者：
$u_t=v_t\sigma_t,v_t\sim N(0,1)\\ \sigma_t^2=\alpha_0+\alpha_1u_{t-1}^2+\alpha_2u_{t-2}^2+\cdots+\alpha_qu_{t-q}^2$

或者：
$u_t\sim N(0,h_t)\\ \sigma_t^2=\alpha_0+\alpha_1u_{t-1}^2+\alpha_2u_{t-2}^2+\cdots+\alpha_qu_{t-q}^2$

ARCH(q) 模型：
$y_t=x_t\beta+\varepsilon_t\qquad(1)$

的无条件方差是常数，但是其条件分布为：
$\varepsilon_t|\psi_{t-1}\sim N(0,\sigma_t^2)\qquad(2)\\ \sigma_t^2=w+\alpha_1\varepsilon_{t-1}^2+\alpha_2\varepsilon_{t-2}^2+\cdots+\alpha_q\varepsilon_{t-q}^2\qquad(2)$

其中， $\psi_{t-1}$是信息集。
方程(1)是均值方程（mean equation）。
$\sigma_t^2$条件方差，含义是基于过去信息的一期预测方差。
方程(2)是条件方差方程（conditional variance equation）。

利用条件方差证明无条件方差是常数：
证明： 利用方差分解公式， $Var(X)=Var_Y(E(X|Y))+E_Y(Var(X|Y))$
由于 $\varepsilon_t|\psi_{t-1}\sim N(0,\sigma_t^2)$，所以条件均值为0，条件方差为 $\sigma_t^2$。
那么， $Var(\varepsilon_t)=E(Var_{\psi_{t-1}}(\varepsilon_t|\psi_{t-1}))=E\sigma_t^2$。
则有： $Var(\varepsilon_t)=E(w+\alpha_1u_{t-1}^2+\alpha_2u_{t-2}^2+\cdots+\alpha_qu_{t-q}^2)$
$\Rightarrow Var(\varepsilon_t)=w+\alpha_1E\varepsilon_{t-1}^2+\alpha_2E\varepsilon_{t-2}^2+\cdots+\alpha_qE\varepsilon_{t-q}^2)$
$\Rightarrow Var(\varepsilon_t)=\frac{w}{1-\alpha_1-\alpha_2-\alpha_q}$
说明， $\varepsilon_t\sim N(0,\frac{w}{1-\alpha_1-\alpha_2-\alpha_q})$

ARCH(q) 模型的平稳性条件
在 $ARCH(1)$模型中，观察参数 $\alpha$的含义：
当 $\alpha\to1$， $Var(\varepsilon_t)\to\infty$
$\alpha\to0$，退化为传统情形， $\varepsilon_t\sim N(0,w)$
$ARCH(q)$模型的平稳性条件： $\sum\alpha_i<1$(这样才能得到有限方差)。