随机过程学习笔记1：泊松过程

随机过程的一般概念

随机过程： $T$是 $(-\infty,\infty)$的子集，对于每个 $t\in T$， $X_t$是随机变量，则称随机变量的集合 $\{X_t|t\in T\}$是随机过程， $T$是随机过程的 $\underline{指标集}$
随机过程的观测或实现：对每个 $t\in T$，都得到了 $X_t$的观测值 $x_t$，称 $\{x_t|t\in T\}$是 $\{X_t|t\in T\}$是随机过程的一次实现或一次观测
轨迹或轨道：当 $T$是 $[0,\infty)$或 $(-\infty,\infty)$时， $\{X_t|t\in T\}$的一次观测又称为是一条轨道或一条轨迹
时间序列： $T=N$或 $T=Z$时，随机过程又称为时间序列

计数过程的一般概念

计数过程:用来描述一段时间内发生的某类事件的次数的随机过程，计数过程 $\{N(t)\}$定义为： $N(t)$是 $(0,t]$时间内某事件发生的次数，满足：
(1)对 $t\ge 0$， $N(t)$是取非负整数值的随机变量
(2) $t\ge s$时， $N(t)\ge N(s)\ge 0$
(3) $N(t)-N(s)$表示 $(s,t]$时间段内该事件发生的次数
(4) $N(t)$的轨迹是单调不减右连续的阶梯函数
举例：计数过程可以表示某段时间内收到的手机短信数，某段时间内到达某个车站的乘客数目，某段时间内商场经理收到商品质量的投诉数，某段时间内股票市场股票成交的次数

独立增量性：对于计数过程 $\{N(t)\}$，如果任取 $0<t_1<t_2<\cdots<t_n$，随机变量 $N(t_1),N(t_2)-N(t_1),\cdots,N(t_n)-N(t_{n-1})$是相互独立的，则称计数过程 $\{N(t)\}$具有独立增量性，该计数过程称为独立增量过程

平稳增量性：如果对计数过程 $\{N(t)\}$，对任何的非负实数 $s$，随机变量
$N(t_2)-N(t_1),N(t_2+s)-N(t_1+s)$同分布，则称该计数过程具有平稳增量性，该计数过程称为平稳增量过程

泊松过程

泊松过程的定义

泊松过程 称满足以下条件的计数过程 $\{N(t)\}$是强度为 $\lambda$的泊松过程：
(1) $\{N(t)\}$是满足 $N(0)=0$的独立增量过程和平稳增量过程
(2) $N(t)$满足参数为 $\lambda t$的泊松分布

强度的含义： $EN(t)=\lambda t$，故单位时间内发生的平均事件数为 $\frac{EN(t)}{t}=\lambda$因此，强度的实际含义是单位时间内发生时间的平均次数

等价定义：如果计数过程 $\{N(t)\}$满足：
(1) $N(0)=0$
(2) $\{N(t)\}$是独立增量过程和平稳增量过程
(3) $\{N(t)\}$满足普通性，即： $\begin{cases} P(N(h)=1)=\lambda h+o(h)\\ P(N(h)\ge 2)=o(h) \end{cases}$则 $\{N(t)\}$是强度为 $\lambda$的泊松过程（通俗地讲是，在极短的时间内，发生一次时间的概率同时间几乎成正比，几乎不可能发生两次或以上事件）

证：
令 $f_0(h)=P\{N(h)=0\}=1-P\{N(h)=1\}-P\{N(h)\ge 2\}=1-\lambda h+o(h)$，则当 $\Delta h>0$时 $\begin{aligned} &f_0(h+\Delta h)=P\{N(h+\Delta h)=0\}\\=&P\{N(h)=0,N(h+\Delta h)-N(h)=0\}\\ =&P\{N(h)=0\}P\{N(\Delta h)=0\}\\ =&f_0(h)f_0(\Delta h) \end{aligned}$上式的第二个等号，可以从两个角度理解
第一个角度，计数过程的取值都是非负整数，且满足单调性， $\Delta h>0$，而 $N(h+\Delta h)=N(h)+N(h+\Delta h)-N(h)$，由于 $N(h),N(h+\Delta h)-N(h)$都取非负整数值，两者之和为零的充要条件是两者均为0，如果 $\Delta h<0$
第二个角度，从计数过程的定义来看， $(0,h+\Delta h]$这段时间内没有任何事件发生的充要条件当然是 $(0,h],(h,h+\Delta h]$时间段内都没有任何事件发生，这两段时间内只要有任何一段发生了一次事件，那么 $(0,h+\Delta h]$这段时间内都至少会发生1次事件
于是，当 $\Delta h>0$时，就有 $f_0(h+\Delta h)-f_0(h)=[f_0(\Delta h)-1]f(h)=[-\lambda \Delta h+o(\Delta h)]f_0(h)$两边除以 $\Delta h$，再令 $\Delta h\to 0^+$，即可证得 $f(h)$的右导数存在，并且 $f_0^{+}(h)=-\lambda f_0(h)$如果 $\Delta h<0$，那么 $f_0(h)=f_0(h+\Delta h)f_0(-\Delta h)$因此 $f_0(h+\Delta h)-f_0(h)=f_0(h+\Delta h)[1-f_0(-\Delta h)]=f_0(h+\Delta h)[-\lambda \Delta h+o(\Delta h)]$由上式不难得出 $\displaystyle \lim_{\Delta \to 0^-}f_0(h+\Delta h)=f(h)$，两边除以 $\Delta h$，再令 $\Delta h\to 0^-$，即可证得 $f(h)$的左导数也存在，并且 $f^{-}_0(h)=-\lambda f_0(h)$故 $f(h)$在 $h=0$处可导，且满足微分方程 $f_0^\prime(h)=-\lambda f_0(h)$方程的通解为 $f_0(h)=Ce^{-\lambda h}$令 $h=0$， $f_0(h)=1$，故 $C=1$，从而得到 $P\{N(h)=0\}=e^{-\lambda h}$。接下来就可以求解 $P\{N(h)=1\}$，同样地，我们令 $f_1(h)=P\{N(h)=1\}$，当 $\Delta h>0$时 $f_1(h+\Delta h)=f_1(h)f_0(\Delta h)+f_1(\Delta h)f_0(h)$因此 $\begin{aligned} &f_1(h+\Delta h)-f_1(h)=f_1(h)[f_0(\Delta h)-1]+f_1(\Delta h)f_0(h)\\ =&f_1(h)[-\lambda \Delta h +o(\Delta h)]+[\lambda \Delta h+o(\Delta h)]e^{-\lambda h} \end{aligned}$两边除以 $\Delta h$，令 $\Delta \to 0^+$，即可证得 $f_1(h)$在 $h$处存在右导数，并且 $f^+_1(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$如果 $\Delta h<0$，有 $\begin{aligned} &f_1(h+\Delta h)-f(h)\\ =&f_1(h+\Delta h)[1-f_0(-\Delta h)]-f_1(-\Delta h)f_0(h+\Delta h)\\ =&[-\lambda \Delta h +o(\Delta h)]f_1(h+\Delta h)-[-\lambda \Delta h+o(\Delta h)]f_0(h+\Delta h) \end{aligned}$同理可得 $f_1^{-}(h)$存在，并且 $f_1^{-}(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$于是 $f_1(h)$在 $h$处可导，并且满足微分方程 $f_1^\prime(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$同时 $f_1(0)=0$，方程组的通解为 $f_1(h)=\lambda h e^{-\lambda h}+Ce^{-\lambda h}$由 $f_1(0)=0$，得到 $C=0$， $f_1(h)=\lambda h e^{-\lambda h}$，接下来我们用数学归纳法完成接下来的证明，假设对 $k\le n$，都有 $P\{N(h)=k\}=\frac{(\lambda h)^k}{k!}e^{-\lambda h}$我们来求 $f_{n+1}(h)=P\{N(h)=n+1\}$，我们这里设 $f_k(h)=\frac{(\lambda h)^k}{k!}e^{-\lambda h},k=1,\cdots,n$，同样地，当 $\Delta h>0$时，有 $f_{n+1}(h+\Delta h)=\sum_{k=0}^{n+1}f_k(h)f_{n+1-k}(\Delta h)$故 $f_{n+1}(h+\Delta h)-f_{n+1}(h)=f_{n+1}(h)(1-f_0(\Delta h))+\sum_{k=0}^nf_k(h)f_{n+1-k}(\Delta h)$两边除以 $\Delta h$，再令 $\Delta h\to 0^+$，可证得 $f_{n+1}(h)$在 $h$处右导数存在，并且 $f_{n+1}^{+}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$模仿上面的证明，可以证得 $f_{n+1}$在 $h$处左导数也存在，并且 $f_{n+1}^{-}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$故 $f_{n+1}^\prime(h)=\lambda f_{n+1}(h)+\frac{\lambda^{n+1}h^n}{n!}e^{-\lambda h}$该微分方程的通解为 $f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}+C e^{-\lambda h}$再由 $f_{n+1}(0)=0$，得 $C=0$，故 $f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}$由归纳法，对任意的 $n=1,2,\cdots$，就有 $P\{N(h)=n\}=\frac{(\lambda t)^n}{n!}e^{-\lambda t}$故 $\{N(t)\}$是泊松过程

泊松呼叫流、等待时间、年龄、寿命

先给出这几个概念，再给出他们的分布。假设对 $\{N(t)\}$对应的事件流，第一次事件发生的时间点为 $S_1$， $S_2$， $S_3$， $\cdots$，我们将其画在时间轴上，即

泊松呼叫流：计数过程 $\{N(t)\}$对应的各事件发生的时刻 $\{S_n\}$， $\{S_n\}$是单调递增的非负时间序列，由泊松呼叫流的一次实现可以得到 $\{N(t)\}$的一次实现，由于 $N(t)$的含义是在 $(0,t]$内发生的事件的次数，故我们只需要数 $(0,t]$时间内有多少个 $S_i$，如果 $N(t)=n$说明： $S_n\le t$， $S_{n+1}>t$，我们得到以下的基本关系式
$\{N(t)< n\}=\{S_n>t\}\\ \{N(t)=n\}=\{S_n\le t < S_{n+1}\}$
等待时间：即相邻两次事件发生的时间间隔，即 $X_i=S_{i}-S_{i-1},i=1,2,\cdots$，这里定义 $S_0=0$
年龄和寿命：我们把 $S_1,S_2,\cdots$想象成更换某种零件的时间点，具体地讲，在0时刻第一个零件开始运作，在 $S_1$时刻第一个零件损坏，立即更换上第二个零件，在 $S_2$时刻，第二个零件损坏，立即更换上第三个零件，以此类推。假设 $N(t)=n$，此时已经更换了 $n$次零件，即此时运作的是机器的第 $n+1$个零件，那么 $S_n$是这个零件开始运作的时刻， $S_{n+1}$是这个零件损坏的时刻，那么，这个零件的年龄是 $t-S_n$，剩余寿命是 $S_{n+1}-t$，将 $n$换成 $N(t)$，年龄就是 $t-S_{N(t)}$，寿命就是 $S_{N(t)+1}-t$，前者我们记为 $A(t)$，后者我们记为 $R(t)$

呼叫流的联合分布

现在我们来求呼叫流 $(S_1,\cdots,S_n)$的分布，首先求单个 $S_n$的分布：实际上 $\{S_n\le t\}=\{N(t)\ge n\}$，于是就得到 $S_n$的分布函数 $F_n(t)=\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}$求导即可得到其密度函数 $\begin{aligned} p_n(t)=&\sum_{k=n}^\infty k\frac{\lambda^k t^{k-1}}{k!}e^{-\lambda t}-\lambda\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}\\ =&\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k-1}}{(k-1)!}e^{-\lambda t}-\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k}}{k!}e^{-\lambda t}\\ =&\frac{\lambda^n}{\Gamma(n)}t^{n-1}e^{-\lambda t} \end{aligned}$可见 $S_n$服从伽马分布，参数为 $n,\lambda$，其均值为 $\frac{n}{\lambda}$，接下来我们来求 $(S_1,S_2,\cdots,S_n)$的联合分布：我们假设其分布函数为 $F(s_1,s_2,\cdots,s_n)=P\{S_1\le s_1,S_2\le s_2,\cdots,S_n\le s_n\}$如果 $i<j$,但 $s_i>s_j$，那么 $\begin{aligned} &P\{S_1\le s_1,\cdots,S_i>s_i,\cdots,S_j\le s_j,\cdots,S_n\le s_n\}\\ =&P\{S_1\le s_1,\cdots,S_{i-1}\le s_{i-1},S_{i+1}\le s_{i+1},\cdots ,S_n\le s_n\}-\\ &F(x_1,x_2,\cdot,x_n)=0 \end{aligned}$两边对 $x_1,\cdots,x_n$依次求偏导，则 $p(x_1,\cdots,x_n)=0$因此，我们假设 $s_1\le s_2\le s_3\cdots\le s_n$，我们求分布函数 $F(s_1,\cdots,s_n)$，以 $n=2$为例， $s_1< s_2$，则 $\begin{aligned} F(s_1,s_2)=&P\{S_1\le s_1,S_2\le s_2\}\\ =&P\{S_2\le s_2\}-P\{S_1>s_1,S_2\le s_2\} \end{aligned}$而事件 $\{S_1>s_1,S_2\le s_2\}$相当于在 $(0,s_1]$段事件发生了0次， $(s_1,s_2]$段事件至少发生了两次，有 $\begin{aligned} P\{S_1>s_1,S_2\le s_2\}=&P\{N(s_1)=0,N(s_2)-N(s_1)\ge 2\}\\ =&P\{N(s_1)=0\}P\{N(s_2-s_1)\ge 2\}\\ =&e^{-\lambda s_1}(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda(s_2-s_1)}\\ =&(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda s_2} \end{aligned}$则密度函数 $p(s_1,s_2)=\frac{\partial^2}{\partial s_1\partial s_2}F(s_1,s_2)=\lambda^2e^{-\lambda s_2}$因此 $(S_1,S_2)$的密度函数为 $p(s_1,s_2)=\lambda^2e^{-\lambda s_2}I_{s_1<s_2}$，再求 $n=3$的情形，设 $s_1< s_2< s_3$，那么 $\begin{aligned} F(s_1,s_2,s_3)=&P\{S_1\le s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2\}+\\ &P\{S_1>s_1,S_2\le s_2,S_3>s_3\} \end{aligned}$从下图可以看出 $\{S_1>s_1,S_2\le s_2,S_3>s_3\}=\{N(s_1)=0,N(s_2)-N(s_1)=2,N(s_3)-N(s_2)=0\}$
故 $\begin{aligned} &P\{S_1>s_1,S_2\le s_2,S_3>s_3\}\\ =&P\{N(s_1)=0\}P\{N(s_2)-N(s_1)=2\}P\{N(s_3)-N(s_2)=0\}\\ =&e^{-\lambda s_1}\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda(s_2-s_1)}e^{-\lambda(s_3-s_2)}=\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda s_3} \end{aligned}$同样地方法可以得到 $(S_1,S_2,S_3)$的密度函数为 $p(s_1,s_2,s_3)=\lambda^3e^{-\lambda s_3}I_{s_1<s_2<s_3}$ $n=2$及 $n=3$情形已经给出求 $(S_1,\cdots,S_n)$的一般方法，当 $n=2k+1$， $s_1<s_2<\cdots<s_{2k}$时，首先，比较容易求出的是以下概率 $\begin{aligned} &G_k(s_1,s_2,\cdots,s_{2k})\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\}\\ =&\prod_{i=1}^nP\{N(s_{2i-1})-N(s_{2i-2})=0\}.\prod_{i=1}^{n-1}P\{N(s_{2i})-N(s_{2i-1})=2\}\\ \times&P\{N(s_{2k})-N(s_{2k-1})\ge 2\}\\ =&\prod_{i=1}^{n-1}\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}} \end{aligned}$其中规定 $s_0=0$，先对 $s_1,\cdots,s_{2k-2}$依次求偏导 $\frac{\partial^{2k-2}}{\partial s_1\partial s_2\cdots\partial s_{2k-2}}G_k=\lambda^{2k-2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}}$这样对其余两个变元求偏导就轻松很多，具体过程不再详述，最终得到 $\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k=(-1)^k\lambda^{2k}e^{-\lambda s_{2k}}$现在，我们令 $\begin{aligned} G_1(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}\\ G_2(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,S_5\le s_5,\cdots,S_{2k}\le s_{2k}\}\\ \cdots\\ G_i(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,\cdots,S_{2i-1}>s_{2i-1},S_j\le s_j,n\ge j>2i-1\}\\ \cdots\\ G_k(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\} \end{aligned}$于是 $F(s_1,s_2,\cdots,s_n)=P\{S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}-G_1(s_1,\cdots,s_n)\\ G_1(s_1,\cdots,s_n)=P\{S_1>s_1,S_2\le s_2,S_4\le s_4,\cdots,S_{2k}\le s_{2k}\}-G_2(s_1,\cdots,s_n)\\ \cdots$这样看 $F$和 $G_k$的偏导数的关系应该是 $\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}F=(-1)^k\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k$从而得到 $(S_1,\cdots,S_{2k})$的联合密度应该是 $p(s_1,\cdots,s_n)=\lambda^{2k}e^{-\lambda s_{2k}}I_{0<s_1<\cdots<s_{2k}}$当 $n$为奇数的时候也进行类似的讨论，就得到 $(S_1,\cdots,S_n)$的联合密度为 $p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$
总结： $\{S_n\}$是强度为 $\lambda$的泊松过程 $\{N(t)\}$的呼叫流，则
(1) $S_n$服从 $\Gamma(n,\lambda)$
(2) $(S_1,\cdots,S_n)$的联合密度为 $p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$

呼叫流的条件分布

下面给定 $N(t)=n$的条件， $(S_1,\cdots,S_n)$的分布：
按照条件概率的定义 $P(S_1\le s_1,\cdots,S_n \le s_n|N(t)=n)=\frac{P\{S_i\le s_i,i=1,2,\cdots,n,N(t)=n\}}{P\{N(t)=n\}}$同非条件的联合分布的讨论一样，如果 $(s_1,\cdots,s_n)$不满足 $0<s_1<\cdots<s_n<t$，则对 $s_1,\cdots,s_n$依次求偏导等于0，因此我们假设 $0<s_1<\cdots<s_n<t$。如果 $n=2k$，比较容易求解的一个概率是 $P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}$我们把这些时刻画在时间轴上

这样，如何求解这个概率值就一目了然了，这个事件等价于在 $(0,s_1]$段事件发生了0次，在 $(s_1,s_2]$段事件发生了2次， $(s_2,s_3]$段事件发生了0次， $(s_3,s_4]$段事件发生了2次， $\cdots$，在 $(s_{2k-1},s_{2k}]$段事件发生了两次，在 $(s_{2k},t]$事件发生了0次。因此 $\begin{aligned} &G(s_1,\cdots,s_n)\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}\\ =&\prod_{i=1}^{k}(\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}e^{-\lambda(s_{2i}-s_{2i-1})}) \prod_{i=1}^ke^{-\lambda(s_{2i-1}-s_{2i-2})}.e^{-\lambda(t-s_{2k})}\\ =&\prod_{i=1}^k[\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}]e^{-\lambda t} \end{aligned}$其对 $s_1,\cdots,s_{2k}$依次求偏导，得到 $\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}G=(-1)^k\lambda^{2k}e^{-\lambda t}$类似于非条件分布的讨论，令 $F(s_1,\cdots,s_n)=P\{S_1\le s_1,\cdots,S_n\le s_n,N(t)=n\}$，就有 $\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}F=\lambda^{2k}e^{-\lambda t}$于是，在给定 $N(t)=n$条件下，条件密度为 $p(s_1,\cdots,s_n)=\frac{\lambda^{2k}e^{-\lambda t}}{\frac{(\lambda t)^{2k}}{(2k)!}e^{-\lambda t}}=\frac{(2k)!}{t^{2k}}=\frac{n!}{t^n}I_{0<s_1<\cdots<s_n<t}$当 $n$为奇数时讨论也类似，得到的条件密度函数也是上式。实际上，这也是来自均匀分布 $U(0,t)$的样本 $U_1,\cdots,U_n$的顺序统计量 $U_{(1)},\cdots,U_{(n)}$的联合分布。也就是说，在给定 $N(t)=n$的条件下，这 $n$个事件发生的时间点在 $(0,t]$内均匀分布，再进行一个排列就得到 $S_1,\cdots,S_n$。

结论： $S_1,S_2,\cdots,S_n|N(t)=n$与 $U_{(1)},\cdots,U_{(n)}$同分布，其中 $U_{(1)},\cdots,U_{(n)}$是来自均匀分布 $U(0,t)$的样本的顺序统计量。

等待时间的分布

有了 $(S_1,\cdots,S_n)$的联合分布，就可以得到等待时间 $(X_1,\cdots,X_n)$的联合分布，对变换 $\begin{cases} S_1=X_1\\ S_2=X_1+X_2\\ S_3=X_1+X_2+X_3\\ \cdots\\ S_n=X_1+X_2+X_3+\cdots+X_n \end{cases}$有 $\frac{\partial(S_1,\cdots,S_n)}{\partial(X_1,\cdots,X_n)}=1$则 $(X_1,\cdots,X_n)$的密度函数为 $\begin{aligned} &p(x_1,x_2,\cdots,x_n)=|\frac{\partial(S_1,\cdots,S_n)}{\partial(X_1,\cdots,X_n)}|\lambda^ne^{-\lambda\sum_{k=1}^nx_k}\prod_{k=1}^n I_{x_k>0}\\ =&\lambda^ne^{-\lambda\sum_{k=1}^nx_k}\prod_{k=1}^n I_{x_k>0} \end{aligned}$故 $X_1,\cdots,X_n$相互独立，都服从参数为 $\lambda$的指数分布，反过来，如果给定相互独立且服从参数为 $\lambda$的指数分布的随机变量序列 $X_1,\cdots,X_n,\cdots$，令 $\displaystyle T_n=\sum_{k=1}^nX_k,n=1,2,\cdots$，显然 $\{T_n,n=1,2,\cdots\}$和 $\{S_n,n=1,2,\cdots\}$同分布。所谓同分布即任取有限个正整数 $t_1<\cdots<t_k$，随机向量 $(T_{t_1},T_{t_2},\cdots,T_{t_k})$和 $(S_{t_1},S_{t_2},\cdots,S_{t_k})$同分布，定义计数过程 $N^\prime(t)=\sum_{n=1}^\infty I\{T_{n}\le t\}$则 $\{N^\prime(t)\}$是强度为 $\lambda$的泊松过程

年龄和寿命的分布

年龄：记为 $A(t)$，定义为 $A(t)=t-S_{N(t)}$
寿命：记为 $R(t)$，定义为 $R(t)=S_{N(t)+1}-t$

我们先来求寿命的分布： $\{R(t)\le s\}$等价于在 $[t,t+s]$这段时间内至少发生了一次时间，因此 $P\{R(t)\le s\}=P\{N(t+s)-N(t)\ge 1\}=\sum_{n=1}^\infty \frac{(\lambda s)^n}{n!}e^{-\lambda s}$两边求导，得到密度函数为 $p_{R}(s)$为 $p_R(s)=\lambda \sum_{n=0}^\infty\frac{(\lambda s)^{n-1}}{(n-1)!}e^{-\lambda s}-\lambda \sum_{n=1}^\infty \frac{(\lambda s)^n}{n!}e^{-\lambda s}=\lambda e^{-\lambda s}$于是 $R(t)$服从参数为 $\lambda$的指数分布

再来求年龄的分布：此时年龄有一个最大值 $t$，因此，年龄的分布应当是 $P\{A(t)\le s\}=\begin{cases} 0&s\le 0\\ 1-e^{-\lambda s}&0<s< t\\ 1&s\ge t \end{cases}$ $A(t)$分布函数在 $s=t$处有一个跳跃

并且 $A(t)$和 $R(t)$是相互独立的，只要考察 $P\{A(t)\le u,R(t)\le v\}$如果 $u\ge t$，那么 $\{A(t)\le u\}=\Omega$因此 $\{A(t)\le u,R(t)\le v\}=P\{R(t)\le v\}$故 $P\{A(t)\le u,R(t)\le v\}=P\{A(t)\le u\}P\{R(t)\le v\}$如果 $0<u<t,v>0$，则 $\{A(t)\le u,R(t)\le v\}=\{N(t-u,t]\ge 1,N(t,t+v]\ge 1\}$因此 $P\{A(t)\le u,R(t)\le v\}=P\{N(t-u,t]\ge 1\}P\{(t,t+v]\ge 1\}$由此可以验证 $P\{A(t)\le u,R(t)\le v\}=P\{A(t)\le u\}P\{R(t)\le v\}$其他情况等式左右两边都为0，故等式也成立，这就说明了 $A(t)$和 $R(t)$是相互独立的。假设 $N(t)$表示某零件的更换次数， $R(t)$表示现在正在工作的零件的剩余寿命， $A(t)$表示现在正在工作的零件的，那么 $X(t)=R(t)+A(t)$表示当前工作零件的使用寿命。显然 $X(t)$的期望满足 $EX(t)=ER(t)+EA(t)>EA(t)=\frac{1}{\lambda}$而 $EX_n=\frac{1}{\lambda}$也就是说，当前正在工作的零件的平均使用寿命比所有零件的平均使用寿命要长。可以理解为：平均使用寿命长的零件在 $t$时刻被我们碰到的概率比其他零件要高。

总结：
(1) $R(t)$服从参数为 $\lambda$的指数分布
(2) $A(t)$的分布函数为 $P\{A(t)\le s\}=\begin{cases} 0&s\le 0\\ 1-e^{-\lambda s}&0<s< t\\ 1&s\ge t \end{cases}$(3) $R(t)$和 $A(t)$相互独立

泊松过程的汇合与分流

泊松过程的汇合

在某个公交车站，乘坐 $A$线路的乘客以强度为 $\lambda_1$的泊松过程 $\{N_1(t)\}$到达，乘坐 $B$线路的乘客以强度为 $\lambda_2$的泊松过程 $\{N_2(t)\}$到达，并且两个乘客流是独立的，令 $N(t)=N_1(t)+N_2(t)$，我们下面证明 $N(t)$也是一个泊松过程：
(1)首先， $N(0)=N_1(0)+N_2(0)=0$
(2)其次，我们要验证 $\{N(t)\}$具有独立增量性：
对任意的 $0<t_1<t_2<\cdots<t_n$，对 $i=1,2,\cdots,n$，令 $Z_i=N(t_{i})-N(t_{i-1})=N_1(t_{i})+N_2(t_i)-N_1(t_{i-1})-N_2(t_{i-1})$，再令 $X_i=N_1(t_{i})-N_1(t_{i-1}),Y_i=N_2(t_i)-N_2(t_{i-1})$，由于 $(X_1,X_2,\cdots,X_n)$和 $(Y_1,Y_2,\cdots,Y_n)$是相互独立的， $(X_1,\cdots,X_n)$是相互独立的， $(Y_1,\cdots,Y_n)$的相互独立的，可以推得 $(X_1,X_2,\cdots,X_n,Y_1,Y_2,\cdots,Y_n)$是相互独立的，而 $X_i$和 $Y_i$也是相互独立的，从而 $(X_1,Y_1),(X_2,Y_2),\cdots,(X_n,Y_n)$是相互独立的，从而 $Z_1,Z_2,\cdots,Z_n$是相互独立的。这就证得 $\{N(t)\}$的独立增量性。
(3)其次，对任意的 $t>0,s> 0$， $N_1(t+s)-N_1(t)$服从参数为 $\lambda_1s$的泊松分布， $N_2(s+t)-N_2(t)$服从参数为 $\lambda_2s$的泊松分布，且两者相互独立，因此，由泊松分布的可加性， $N(s+t)-N(t)$服从参数为 $(\lambda_1+\lambda_2)s$的泊松分布

结论： $\{N_1(t)\}$服从强度为 $\lambda$的泊松过程， $\{N_2(t)\}$服从强度为 $\mu$的泊松过程，两个泊松过程独立， $N(t)=N_1(t)+N_2(t)$， $\{N(t)\}$服从强度为 $\lambda+\mu$的泊松过程

泊松过程的分流

假设乘客以强度 $\lambda$的泊松流到达一个车站，一个乘客到达后，以概率 $p$乘坐A线，概率 $1-p$乘坐B线，不同乘客选择乘坐线路的决定是相互独立的，在 $(0,t]$时间内乘坐A线的乘客数记为 $N_1(t)$，B线的乘客记为 $N_2(t)$，如何求解 $N_1(t)$和 $N_2(t)$的分布呢？

直观分析：在 $[0,t]$时间段内，平均有 $\lambda t$个乘客到达车站，那么，从平均意义上讲，平均有 $p\lambda t$个乘客乘坐A线，平均有 $(1-p)\lambda t$个乘客乘坐B线，如果两个过程都是泊松过程，相当于将强度按 $p:1-p$进行了分流，分成了两个泊松过程，因而称为泊松过程的分流。

数学表述：如何在数学上表述 $N_1(t)$和 $N_2(t)$，首先， $\{N(t)\}$是一个强度为 $\lambda$的泊松过程，对于乘客 $i$， $Y_i$为其是否选择乘坐 $A$线，如果其选择乘坐A线， $Y_i=1$，否则等于0，并且由于不同乘客之间的线路选择是独立的，故 $Y_1,Y_2,\cdots,Y_n,\cdots$独立同分布，都服从两点分布 $B(1,p)$，并且我们还要求 $\{Y_n\}$与 $\{N(t)\}$独立，那么，就应该有 $N_1(t)=\sum_{i=0}^{N(t)}Y_i\\ N_2(t)=\sum_{i=0}^{N(t)}(1-Y_i)$这里设 $Y_0=0$

验证两者都是泊松过程：
(1)首先，由于 $N(0)=0$，故 $N_1(0)=0$
(2)其次，对 $t\ge 0$， $s>0$，我们来求 $N_1(t+s)-N_1(t)$的分布，按照定义 $N_1(t+s)-N_1(t)=\begin{cases} \sum_{j=N(t)+1}^{N(t+s)}Y_j&N(t+s)>N(t)\\ 0&N(t+s)=N(t) \end{cases}$对假设 $k=0$，在 $N(t)=n,N(t+s)=m,m> n$的条件下，由独立性可得 $\begin{aligned} &P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{n+1}^{m}Y_j=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{n+1}^{m}Y_j=k\} =(1-p)^{m-n} \end{aligned}$即这个条件概率只与 $m-n$有关，同理， $m=n$时 $P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}=1$则 $\begin{aligned} &P\{N_1(t+s)-N_1(t)=0\}\\ =&\sum_{n=0}^\infty\sum_{m=n}^\infty P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}P\{N(t)=n,N(t+s)=m\}\\ =&\sum_{n=0}^\infty\sum_{m=n}^\infty (1-p)^{m-n}P\{N(t)=n,N(t+s)=m\}\\ =&\sum_{n=0}^\infty\sum_{k=0}^\infty (1-p)^k P\{N(t)=n,N(t+s)=n+k\}\\ =&\sum_{k=0}^\infty(1-p)^k\sum_{n=0}^\infty P\{N(t)=n,N(t+s)-N(t)=k\}\\ =&\sum_{k=0}^\infty(1-p)^k P\{N(t+s)-N(t)=k\}\\ =&\sum_{k=0}^\infty(1-p)^k \frac{(\lambda s)^k}{k!} e^{-\lambda s}=e^{-p\lambda s} \end{aligned}$类似地可以证明 $k=1,2,\cdots$，有 $P\{N_1(t+s)-N_1(t)=k\}=\frac{(p\lambda s)^k}{k!}e^{-p\lambda s}$(3)只需要验证独立增量性即可证得 $\{N_1(t)\}$是泊松过程：
对 $m> n$，对 $t\ge 0,s>0$，条件概率 $\begin{aligned} &P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{j=n+1}^m Y_j=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{j=n+1}^m Y_j=k\}=P\{\sum_{j=1}^{m-n}Y_j=k\} \end{aligned}$对 $m\ge n$， $P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}$也只与 $m-n$和 $k$有关，于是，我们定义 $g(m-n,k)=P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}$故 $P\{N_1(t+s)-N_1(t)=k|N(t),N(t+s)\}=g(N(t+s)-N(t),k) \quad a.s.$对 $0\le t_1\le t_2 \le \cdots t_m$，对任意的非负整数 $n_1,n_2,\cdots,n_m$，以及任意的非负整数 $0=k_0\le k_1 \le k_2\le \cdots \le k_m$，有 $\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m|\\ &N(t_1)=k_1,N(t_2)=k_2,\cdots,N(t_m)=k_m\}\\ =&P\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i,i=1,2,\cdots,m|N(t_1)=k_1,N(t_2)=k_2,\cdots,N(t_m)=k_m\}\\ =&P\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i,i=1,2,\cdots,m\}\\ =&\prod_{i=1}^mP\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i\}\\ =&\prod_{i=1}^mg(k_i-k_{i-1},n_i) \end{aligned}$故 $\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m| N(t_1),N(t_2),\cdots,N(t_m)\}\\ =&\prod_{i=1}^mg(N(t_i)-N(t_{i-1}),n_i) \end{aligned}$取期望，即可得 $\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m\}\\ =&\prod_{i=1}^m Eg(N(t_i)-N(t_{i-1}),n_i)\\ =&\prod_{i=1}^m P\{N_1(t_{i})-N_1(t_{i-1})=n_i\} \end{aligned}$故独立增量性成立，从而 $\{N_1(t)\}$是强度为 $p\lambda$的泊松过程，由于 $\{1-Y_n\}$也与 $\{N(t)\}$独立，且独立同分布，均服从 $B(1,1-p)$，故同理也可以得到 $\{N_2(t)\}$是强度为 $(1-p)\lambda$的泊松过程。

验证 $\{N_1(t)\}$和 $\{N_2(t)\}$是两个独立的泊松过程：
对任意的 $0=t_0\le t_1< t_2<\cdots <t_m$，任取 $m$个非负整数 $n_1\le n_2\cdots\le n_m$及 $m$个非负整数 $k_1\le k_2\le\cdots\le k_m$，规定 $n_0=k_0=0$，下面我们证明： $\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)=n_i,i=1,2,\cdots,m\}P\{N_2(t_i)=k_i,i=1,2,\cdots,m\} \end{aligned}$实际上 $\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1},N(t_i)-N(t_{i-1})=n_i+k_i-n_{i-1}-k_{i-1},i=1,2\cdots,m\} \end{aligned}$令 $N_i=n_i+k_i-n_{i-1}-k_{i-1},i=1,2,\cdots,m$，应该有 $N_i\ge n_{i}-n_{i-1},i=1,2,\cdots,m$，则 $\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1},N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m,N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m\}P\{N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\} \end{aligned}$其中第三个等号利用的是 $\{Y_n\}$与 $\{N(t)\}$的独立性，并且对 $i=1,2,\cdots,m$，规定当 $N_i=N_{i-1}$时，此时当然有 $n_i-n_{i-1}=0$， $\displaystyle\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=0$，那么， $\displaystyle P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1}\}=1=C_{N_i}^{n_i-n_{i-1}}p^{n_i-n_{i-1}}(1-p)^{k_i-k_{i-1}}$，这里规定 $C_0^0=1=\frac{0!}{0!0!}$。因此 $\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m\}P\{N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\} \\=&\prod_{i=1}^m\frac{N_i!}{(n_i-n_{i-1})!(k_i-k_{i-1})!}p^{n_i-n_{i-1}}(1-p)^{k_i-k_{i-1}}.\\ &\prod_{i=1}^m\frac{[\lambda(t_i-t_{i-1})^{N_i}]}{N_i!}e^{-\lambda(t_i-t_{i-1})}\\ =&\prod_{i=1}^m P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1}\}P\{N_2(t_i)-N_2(t_{i-1})=k_i-k_{i-1}\} \end{aligned}$这就证得了 $(N_1(t_1),N_1(t_2),\cdots,N_1(t_m))$和 $(N_2(t_1),N_2(t_2),\cdots,N_2(t_m))$是相互独立的，不难证明，这等价于两个泊松过程是相互独立的。

泊松过程的统计推断

以事件数估计强度

以到达时刻估计事件数

泊松过程的推广

复合泊松过程

非时齐泊松过程