Markov简单理解（完结）

一、马尔科夫性（无后效性）

一旦Markov链的初始分布给定，其未来统计特性就完全由现在状态的转移概率决定，与其过去相互独立。

二、一步转移概率

通常以转移矩阵的方式给出，如
$P=(p_{ij})=\left[ \begin{matrix} p_{00} & p_{01} & ...\\ p_{10} & p_{11} & ...\\ ... & ... & ... & \\ \end{matrix} \right]$
其每一行表示现在状态，每一列表示下一时刻可能的状态，如 $p_{01}$表示当前是0状态转移为1的状态的概率。
每行的转移概率和为1。

三、n步转移概率

n步转移概率的转移矩阵可以计算矩阵 $P^n=(p_{ij}^{(n)})$得到。

四、状态的分类和性质

1. 若存在 $n\ge0$使得 $P_{ij}^{(n)}>0$，则称状态 $i$可达状态 $j$；
2. 若 $j$也同时可达 $i$，则称 $i$， $j$互通；
3. 互通是一种等价关系，有自返性（ $i$和 $i$互通）、对称性、传递性；
4. 将任何两个互通的状态归为一类，若一个马尔可夫链只存在一个类则称它是不可约的，否则称为可约的;
5. 若集合 $\{n:n\ge1,p_{ii}^{(n)}>0\}$非空，则称它的最大公约数 $d=d(i)$为状态 $i$的周期；
6. 若状态 $i,j$同属一类，则 $d(i)=d(j)$；
7. 常返性：若状态经有限步后首次回到原状态的概率和为1，即该状态不会有概率转移出该类，则称该状态为常返状态，否则为非常返状态。同一类的状态有相同的常返性。