概率论与数理统计复习笔记

概率: $P(X)\in [0,1]$; $P(\Omega )=1$; $A_i\cap A_j=\varnothing (i\ne j;i,j=1,2,...)⟹P({\sum }_{i=1}^{\infty }{A}_i)={\sum }_{i=1}^{\infty }P(A_i)$.
$P(A+B)=P(A)+P(B)-P(AB);P(A-B)=P(A)-P(AB);P(AB)=P(A)P(B|A),P(A)\ne 0.$
两两独立: $P(AB)=P(A)P(B)$, $P(AC)=P(A)P(B)$, $P(BC)=P(B)P(C)$.
相互独立: $A,B,C$ 两两独立, $P(ABC)=P(A)P(B)P(C)$.

分布函数: $F(x)\in [0,1]$; $F(-\infty )=0$, $F(+\infty )=1$; $F(x_0)=F(x_0+0)$; $\forall x_1<x_2$ s.t. $F(x_1)\le F(x_2)$.
概率密度: $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$; $f(x)=F^{\prime }(x)$, 在 $x$ 处连续时.

$X\sim f(x),Y=g(X)⟹F_Y(y)={\int }_{g(x)\le y}f(x)\mathrm{d}x,f_Y(y)=F_Y^{\prime }(y).$
$y=g(x)$ 可导且严格单调    ⟹    f Y ( y ) = f [ g − 1 ( y ) ] ∣ [ g − 1 ( y ) ] ′ ∣ ,   y ∈ ( α , β ) ;   { α , β } = { g ( − ∞ ) , g ( + ∞ ) } \implies f_Y(y)=f[g^{-1}(y)]|[g^{-1}(y)]'|,\ y\in(\alpha,\beta);\ \{\alpha,\beta\}=\{g(-\infty),g(+\infty)\} ⟹fY​(y)=f[g−1(y)]∣[g−1(y)]′∣, y∈(α,β); { α,β}={ g(−∞),g(+∞)}.

联合分布函数: $F(x,y)\in [0,1]$; $F(-\infty ,x)=F(-\infty ,y)=F(-\infty ,-\infty )=0$, $F(+\infty ,+\infty )=1$; $F(x_0,y)=F(x_0+0,y)$, $F(x,y_0)=F(x,y_0+0)$; $\forall x_1<x_2,y_1<y_2$ s.t. $F(x_1,y_2)+F(x_2,y_1)\le F(x_1,y_1)+F(x_2,y_2)$.
联合概率密度: $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)\mathrm{d}u\mathrm{d}v$; $f(x,y)=\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}$, 在 $(x,y)$ 处连续时.
边缘分布函数: $F_X(x)=F(x,+\infty )$, $F_Y(y)=F(+\infty ,y)$.
条件概率密度: $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$, $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$.
$X,Y$ 独立 $⟺f(x,y)=f_X(x,y)f_Y(x,y)$.

$(X,Y)\sim f(x,y),Z=g(X,Y)⟹F_Z(z)={\iint }_{g(x,y)\le z}f(x,y)\mathrm{d}x\mathrm{d}y,f_{Z}z=F_Z^{\prime }(z)$.
卷积: $X,Y$ 相互独立, $Z=aX+bY(b\ne 0)⟹f_Z(z)=\frac{1}{|b|}{\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(\frac{z-ax}{b})$.
最值: { X i } i = 1 n \{X_i\}_{i=1}^n { Xi​}i=1n​ 相互独立, F max ⁡ { X i } i = 1 n ( u ) = P { max ⁡ { X i } i = 1 n ≤ u } = ∏ i = 1 n F X i ( u ) F_{\max\{X_i\}_{i=1}^n}(u)=P\{\max\{X_i\}_{i=1}^n\leq u\}=\prod_{i=1}^n F_{X_i}(u) Fmax{ Xi​}i=1n​​(u)=P{ max{ Xi​}i=1n​≤u}=∏i=1n​FXi​​(u), F min ⁡ { X i } i = 1 n ( v ) = P { min ⁡ { X i } i = 1 n ≤ v } = 1 − ∏ i = 1 n [ 1 − F X i ( v ) ] F_{\min\{X_i\}_{i=1}^n}(v)=P\{\min\{X_i\}_{i=1}^n\leq v\}=1-\prod_{i=1}^n [1-F_{X_i}(v)] Fmin{ Xi​}i=1n​​(v)=P{ min{ Xi​}i=1n​≤v}=1−∏i=1n​[1−FXi​​(v)].

期望: $X\sim f(x)$, $\mathrm{E}X={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$.
$Y=g(X)⟹\mathrm{E}Y={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x$.
$Z=g(X,Y)⟹\mathrm{E}Z={\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y$.
$\mathrm{E}(aX\pm bY+c)=a\mathrm{E}X\pm b\mathrm{E}Y+c$.

方差: $\mathrm{D}X=\mathrm{E}[(X-\mathrm{E}X{)}^2]=\mathrm{E}(X^2)-(\mathrm{E}X{)}^2$.
$\mathrm{D}(aX\pm bY+c)=a^2\mathrm{D}X+b^2\mathrm{D}Y\pm 2ab\mathrm{Cov}(X,Y)$.

协方差: $\mathrm{Cov}(x,y)=\mathrm{E}[(X-EX)(Y-EY)]=\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y)$.
$X,Y$ 不相关 $⟺\mathrm{Cov}(X,Y)=0$.
$\mathrm{Cov}(X,X)=\mathrm{D}X$; $\mathrm{Cov}(X,C)=0$.
$\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$; $\mathrm{Cov}(X_1\pm X_2,Y)=\mathrm{Cov}(X_1,Y)+\mathrm{Cov}(X_2,Y)$.

相关系数: ${\rho }_{xy}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{D}X\mathrm{D}Y}}$.
$|{\rho }_{xy}|\le 1$.
${\rho }_{xy}=1⟺\exists a>0,b$ s.t. P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{ Y=aX+b}=1.

原点矩: $\mathrm{E}(X^k)$; 期望为一阶原点矩
中心矩: $\mathrm{E}[(X-\mathrm{E}X{)}^k]$; 方差为二阶中心矩.
混合原点矩: $\mathrm{E}(X^k{Y}^l)$.
混合中心矩: $\mathrm{E}[(X-\mathrm{E}X{)}^k(Y-\mathrm{E}Y{)}^l]$; 协方差为二阶混合中心矩.

分布	分布列/概率密度	期望	方差
0-1 分布	$$\begin{gathered} p^k(1-p{)}^{1-k} \\ k=0,1;p\in (0,1) \end{gathered}$$	$p$	$p(1-p)$
二项分布 $B(n,p)$	$$\begin{gathered} \left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k} \\ k=1,2,...,n;p\in (0,1) \end{gathered}$$	$np$	$np(1-p)$
几何分布 $G(p)$	$$\begin{gathered} (1-p{)}^{k-1}p \\ k\in \mathbb{N};p\in (0,1) \end{gathered}$$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
超几何分布 $H(N,M,n)$	$$\begin{gathered} \left(\genfrac{}{}{0ex}{}{M}{k}\right)\left(\genfrac{}{}{0ex}{}{N-M}{n-k}\right)/\left(\genfrac{}{}{0ex}{}{N}{n}\right) \\ k\in \mathbb{N},k\le n,k\le M \\ M,N,n\in {\mathbb{N}}_{+};M\le N,n\le N \end{gathered}$$	$\frac{nM}{N}$	$\frac{nM(N-n)(N-M)}{N^2(N-1)}$
泊松分布 $P(\lambda )$	$\frac{{\lambda }^k}{k!}{e}^{-\lambda }$	$\lambda$	$\lambda$
均匀分布 $U(a,b)$	$\{\begin{array}{ll}\frac{1}{b-a},& a<x<b\\ 0,& x\le a\vee x\ge b\end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 $E(\lambda )$	$\{\begin{array}{ll}0,& x\le 0\\ \lambda e^{-\lambda x},& x>0\end{array}(\lambda >0)$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态分布 $N(\mu ,{\sigma }^2)$	1 2 π σ exp ⁡ { − ( x − μ ) 2 2 σ 2 } \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} 2π ​σ1​exp{ −2σ2(x−μ)2​}	$\mu$	${\sigma }^2$

均匀分布: $F(x)=\{\begin{array}{ll}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array}$.
指数分布: $F(x)=\{\begin{array}{ll}0,& x<0\\ 1-e^{-\lambda x},& x\ge 0\end{array}$; P { X > s + t ∣ X > s } = P { X > t }   ( s , t ≥ 0 ) P\{X>s+t|X>s\}=P\{X>t\}\ (s,t\geq 0) P{ X>s+t∣X>s}=P{ X>t} (s,t≥0).

切比雪夫: $\mathrm{E}X,\mathrm{D}X$ 存在时, $\forall ϵ>0$ s.t. P { ∣ X − E X ∣ < ϵ } ≥ 1 − D X ϵ 2 P\{|X-{\rm E}X|<\epsilon\}\geq 1-\frac{ {\rm D}X}{\epsilon^2} P{ ∣X−EX∣<ϵ}≥1−ϵ2DX​ 或 P { ∣ X − E X ∣ ≥ ϵ } > D X ϵ 2 P\{|X-{\rm E}X|\geq\epsilon\}>\frac{ {\rm D}X}{\epsilon^2} P{ ∣X−EX∣≥ϵ}>ϵ2DX​.
依概率收敛: { X n } n = 1 ∞ \{X_n\}_{n=1}^\infty { Xn​}n=1∞​, $\forall ϵ>0$ s.t. lim ⁡ n → ∞ P { ∣ X n − a ∣ < ϵ } = 1 \lim_{n\to\infty}P\{|X_n-a|<\epsilon\}=1 limn→∞​P{ ∣Xn​−a∣<ϵ}=1, 记为 $X_n\stackrel{P}{⟶}a$.
伯努利: $f_A$ 为任意多次独立重复试验中事件 $A$ 发生的频率, $p_A$ 为每次试验中事件 $A$ 发生的概率 $⟹f_A\stackrel{P}{⟶}{p}_A$.
切比雪夫: { X n } n = 1 ∞ \{X_n\}_{n=1}^\infty { Xn​}n=1∞​ 相互独立, { E X n } n = 1 ∞ \{ {\rm E}X_n\}_{n=1}^\infty { EXn​}n=1∞​ 存在, { D X n } n = 1 ∞ \{ {\rm D}X_n\}_{n=1}^\infty { DXn​}n=1∞​ 存在且一致有界 $⟹\bar{X}\stackrel{P}{⟶}\overline{\mathrm{E}X}$.
辛钦: { X n } n = 1 ∞ \{X_n\}_{n=1}^\infty { Xn​}n=1∞​ 独立同分布, { E X n } n = 1 ∞ = μ    ⟹    X ˉ ⟶ P μ \{ {\rm E}X_n\}_{n=1}^\infty=\mu\implies\bar{X}\stackrel{P}{\longrightarrow}\mu { EXn​}n=1∞​=μ⟹Xˉ⟶P​μ.
林德伯格-列维: { X n } n = 1 ∞ \{X_n\}_{n=1}^\infty { Xn​}n=1∞​ 独立同分布, { E X n } n = 1 ∞ = μ \{ {\rm E}X_n\}_{n=1}^\infty=\mu { EXn​}n=1∞​=μ, { D X n } n = 1 ∞ = σ 2 > 0    ⟹    P { X ˉ − μ σ / n ≤ x } → Φ ( x ) \{ {\rm D}X_n\}_{n=1}^\infty=\sigma^2>0\implies P\{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\leq x\}\to\Phi(x) { DXn​}n=1∞​=σ2>0⟹P{ σ/n ​Xˉ−μ​≤x}→Φ(x).
棣莫弗-拉普拉斯: { X i } n = 1 ∞ ∼ B ( n , p )    ⟹    P { X n − n p n p ( 1 − p ) ≤ x } → Φ ( x ) \{X_i\}_{n=1}^\infty\sim B(n,p)\implies P\{\frac{X_n-np}{\sqrt{np(1-p)}}\leq x\}\to\Phi(x) { Xi​}n=1∞​∼B(n,p)⟹P{ np(1−p) ​Xn​−np​≤x}→Φ(x)

样本均值: $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$; $\mathrm{E}\bar{X}=\mathrm{E}X$, $\mathrm{D}\bar{X}=\frac{1}{n}\mathrm{D}X$.
样本方差: $S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X})$; $\mathrm{E}(S^2)=\mathrm{D}X$ - 无偏修正/自由度为 $n-1$.
样本原点矩: $A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$.
样本中心矩: $B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i^k-\bar{X})$.

矩估计: A k = E ( X k ) = μ k ( { θ i } i = 1 m ) A_k={\rm E}(X^k)=\mu_k(\{\theta_i\}_{i=1}^m) Ak​=E(Xk)=μk​({ θi​}i=1m​).
极大似然估计: max ⁡ ∏ i = 1 n f ( X i ; { θ i } i = 1 m ) \max{\prod_{i=1}^nf(X_i;\{\theta_i\}_{i=1}^m)} max∏i=1n​f(Xi​;{ θi​}i=1m​).
无偏性: $\mathrm{E}\hat{\theta }=\theta$.
有效性: 无偏时, min ⁡ { D θ ^ i } i = 1 k \min\{ {\rm D}\hat{\theta}_i\}_{i=1}^k min{ Dθ^i​}i=1k​.
一致性: $\forall ϵ>0$ s.t. lim ⁡ n → ∞ P { ∣ θ ^ n − θ ∣ < ϵ } = 1 \lim_{n\to\infty}P\{|\hat{\theta}_n-\theta|<\epsilon\}=1 limn→∞​P{ ∣θ^n​−θ∣<ϵ}=1.

上 $\alpha$ 分位点: P { X > F α } = ∫ F α + ∞ f ( x ) d x = α P\{X>F_\alpha\}=\int_{F_\alpha}^{+\infty}f(x)\mathrm{d}x=\alpha P{ X>Fα​}=∫Fα​+∞​f(x)dx=α.
正态分布: $X\sim N(\mu ,{\sigma }^2)$, $F(x)=\Phi (\frac{x-\mu }{\sigma })$.
$\varphi (x)=\varphi (-x)$, 即 $\Phi (x)+\Phi (-x)=1$.
P { X ≤ μ − a } = P { X ≥ μ + a } P\{X\leq\mu-a\}=P\{X\geq\mu+a\} P{ X≤μ−a}=P{ X≥μ+a}; P { ∣ X ∣ ≥ a } = 2 Φ ( a ) − 1 P\{|X|\geq a\}=2\Phi(a)-1 P{ ∣X∣≥a}=2Φ(a)−1.
${\chi }^2$ 分布: { X i } i = 1 n ∼ N ( 0 , 1 ) \{X_i\}_{i=1}^n\sim N(0,1) { Xi​}i=1n​∼N(0,1) 相互独立, $X={\sum }_{i=1}^n{X}_i^2\sim {\chi }^2(n)$.
$\mathrm{E}X=n$, $\mathrm{D}X=2n$.
$X_1\sim {\chi }^2(n_1)$, $X_2\sim {\chi }^2(n_2)⟹X_1+X_2\sim {\chi }^2(n_1+n_2)$.
$t$ 分布: $X\sim N(0,1)$, $Y\sim {\chi }^2(n)$ 相互独立, $t=\frac{X}{\sqrt{Y/n}}\sim t(n)$.
$f(x)=f(-x)$, 即 $F(x)+F(-x)=1$; $t(n)\approx N(0,1)$, $t\to \infty$.
$F$ 分布: $X\sim {\chi }^2(n_1)$, $Y\sim {\chi }^2(n_2)$ 相互独立, $F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$.
$1/F\sim F(n_2,n_1)$; $t^2\sim F(1,n)$.

单个正态总体: $X\sim N(\mu ,{\sigma }^2)$, $\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
$⟹U=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
$⟹{\chi }^2=\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}={\sum }_{i=1}^n(\frac{X_i-\mu }{\sigma }{)}^2\sim {\chi }^2(n)$
$⟹{\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}={\sum }_{i=1}^n(\frac{X_i-\mu }{\sigma }-\frac{\bar{X}-\mu }{\sigma }{)}^2={\sum }_{i=1}^{n-1}{Z}_i^2\sim {\chi }^2(n-1)$
$⟹t=\frac{\bar{X}-\mu }{S/\sqrt{n}}=\frac{(\bar{X}-\mu )/(\sigma /\sqrt{n})}{\sqrt{[(n-1)S^2]/[(n-1){\sigma }^2]}}\sim t(n-1)$.

两个正态总体: $X\sim N({\mu }_1,{\sigma }_1)$, $Y\sim N({\mu }_2,{\sigma }_2)$ 相互独立.
$U=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }_1^2/n_1+{\sigma }_2^2/n_2}}\sim N(0,1)$.
$V=\frac{(n-1)S_1^2}{{\sigma }_1^2}+\frac{(n-1)S_2^2}{{\sigma }_2^2}\sim {\chi }^2(n_1+n_2-2)$.
$t=\frac{U}{\sqrt{V/(n_1+n_2-2)}}\sim t(n_1+n_2-2)$.
$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1+n_2-2)$

区间估计: 构造分布 W = W ( { X i } i = 1 n ; { θ i } i = 1 m ; θ ^ ) W=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\hat{\theta}) W=W({ Xi​}i=1n​;{ θi​}i=1m​;θ^), 由上 $\alpha$ 分位点(即 $1-\alpha$ 置信水平)求解 $\hat{\theta }$ 取值范围.
双侧置信区间: P { F 1 − α 2 < W < F α 2 } = 1 − α P\{F_{1-\frac{\alpha}{2}}<W<F_\frac{\alpha}{2}\}=1-\alpha P{ F1−2α​​<W<F2α​​}=1−α.
单侧置信区间: P { W < F 1 − α } = 1 − α P\{W<F_{1-\alpha}\}=1-\alpha P{ W<F1−α​}=1−α 及 P { W > F α } = 1 − α P\{W>F_\alpha\}=1-\alpha P{ W>Fα​}=1−α.

第一类错误($\alpha$): “弃真”, 假设 $H_0$ 为真时拒绝.
第二类错误($\beta$): “存伪”, 假设 $H_0$ 为假时接受.
样本容量固定时, $\alpha$ 与 $\beta$ 反向变动.
显著性检验: 只控制犯第一类错误的概率; 给定假设 ${\theta }_0$ 计算统计量 W 0 = W ( { X i } i = 1 n ; { θ i } i = 1 m ; θ 0 ) W_0=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\theta_0) W0​=W({ Xi​}i=1n​;{ θi​}i=1m​;θ0​), 由上 $\alpha$ 分位点(即 $1-\alpha$ 置信水平)给出拒绝域.
$\theta ={\theta }_0$ 拒绝域: $W_0\le F_{1-\frac{\alpha }{2}}$ 或 $W_0\ge F_{\frac{\alpha }{2}}$.
$\theta \le {\theta }_0$ 拒绝域: $W_0\ge F_{\alpha }$.
$\theta \ge {\theta }_0$ 拒绝域: $W_0\le F_{1-\alpha }$.