数学基础知识回顾(一):概率论与数理统计

---

前言

由于数学知识是研究算法的基础，所以本文将会从最简单的数学部分:概率论与数理统计开始进行一些最基础的高等数学知识的回顾，本文没有任何参考来源，本文不会从考研应试做题的角度去描述这一门课，而是从背后的物理或者数学意义去思考为什么这样做，是本作者的原创文章

一、基本概念

1.分布函数与概率密度函数

1. 分布函数的概念

设$X$是随机变量,而$x$是任意实数值，则称函数 F ( x ) = P { X ≤ x } F(x)=P\{X\leq x \} F(x)=P{ X≤x}为随机变量$X$的分布函数，称$X$服从$F(x)$分布，记为$X\sim F(x)$
其中，对于里面随机变量$X$的理解应该是它可以在输入不同的定义域时有不同的值，本质上是一个代表着实际问题的函数值的一个集合，而不是定义域，而相对于随机变量X而言，实数值x来说它只是其中一个值，可以看做一个常量。但是对于整个分布函数而言，这个x是整个分布函数的自变量

2. 概率密度函数的概念

我们的分布函数可以使用概率密度函数来表示，它表征的是在一个区间段上随机变量的概率的变化密集情况，有以下关系$$F(x)={\int }_{-\infty }^{x}f(t)dt$$
这个概率密度函数的这个t只对应着分布函数中的随机变量对应的实数值x，也就是说这个实数值x可以是很复杂的数，举个简单的例子:
当我们求解$Y=X^2$的概率分布，此时我们只知道X随机变量的概率密度分布，而不知道Y随机变量的概率密度分布，那我们就必须要通过X的概率密度分布去进行求解。
$$\begin{array}{rl}{F}_Y(y)& =P(Y\le y)\\ & =P(X^2\le y)\\ & =P(-\sqrt{y}\le X\le \sqrt{y})\\ & ={\int }_{-\sqrt{y}}^{\sqrt{y}}f(x)dx\end{array}$$
通过这这个方式我们就能将变换后的分布函数求解出来了，而其概率密度函数只需要对y求导即可求得。
我们可能会思考一个问题，为什么我们要通过分布函数求解我们转变后的概率密度函数呢，不能通过x的概率密度函数直接求得变换后y的概率密度函数吗?这样做不是多此一举么？
在本文作者看来，这样子做应该是不行的，所谓我们的变换，其实是将我们原本的随机变量进行改变，但事实上改变前的随机变量与改变后的随机变量只有在概率分布上有直接的映射关系，根据我们上述的式子(1)(2)可以看到只有是在第一步转化上随机变量Y跟随机变量X才有一个等式的转换关系，两者的概率密度函数并没有明显的等式关系，所以我们不能直接通过概率密度函数进行转化，而是要通过分布函数中随机变量的等式变换而进行求解。

2.多个随机变量的组合

1. 随机变量组合的意义

首先，在这个方面我们需要解决的并不是如何求解他们的分布，而是先了解他们组合的数学或者实际意义
事实上我们假设有两个随机变量X跟Y，他们分别代表的实际意义是两个事件的分布情况，两个或多个随机变量相组合，组合后的结果仍然是一个新的分布，这个分布表示这多个随机变量同时发生的分布，至于加减乘除则是有不同的实际意义

2. 两随机变量组合的和分布

举个简单的例子Z=X+Y,其中X和Y表示两个不同的随机变量分布，他们两相加可以看做是他们重叠的部分相加，不重叠的部分也留下的一个新分布(X 1-5月份赚的钱的分布，Y 2-6月赚的钱的分布 X+Y 则两者一共在1-6月份赚的钱的分布)
计算过程这边简短写一下:(z在这里是一个实数，而不是一个变量)
$$\begin{array}{rl}{F}_Z(z)& =P(Z\le z)\\ & =P(X+Y\le z)\\ & ={\iint }_{x+y\le z}f(x,y)dxdy\\ & ={\int }_{-\infty }^{\infty }dy{\int }_{-\infty }^{z-y}f(x,y)dx\\ & ={\int }_{-\infty }^{\infty }f(z-y,y)dy\end{array}$$
至于其他像差分布积分布这里就省略了，其实意义都差不多，只是把其看作一个分布去加减乘除而不是一个值而已。

3. max{X,Y}分布

这种分布与前面加减乘除的分布不同，他的分布函数则是
F m a x ( z ) = P ( max ⁡ { X , Y } ≤ z ) = P ( X ≤ z , Y ≤ z ) = ∫ − ∞ z f y ( y ) d y ∫ − ∞ z f x ( x ) d x = F Y ( z ) F X ( z ) F_{max}(z)=P(\max\{X,Y\}\leq z)=P(X\leq z,Y\leq z)\\ =\int_{-\infty}^zf_y(y)dy\int_{-\infty}^zf_x(x)dx = F_Y(z)F_X(z) Fmax​(z)=P(max{ X,Y}≤z)=P(X≤z,Y≤z)=∫−∞z​fy​(y)dy∫−∞z​fx​(x)dx=FY​(z)FX​(z)

4. min{X,Y}分布

这种分布与前面max分布很类似，这里就简单描述一下:
F m i n ( z ) = P ( min ⁡ { X , Y } ≤ z ) = P ( X ≤ z ∪ Y ≤ z ) = P ( X ≤ z ) + P ( Y ≤ z ) − P ( X ≤ z , Y ≤ z ) = F Y ( z ) + F X ( z ) − F Y ( z ) F X ( z ) F_{min}(z)=P(\min\{X,Y\}\leq z)=P(X\leq z \cup Y\leq z)\\ =P(X\leq z)+ P(Y\leq z)-P(X\leq z,Y\leq z)\\ = F_Y(z)+F_X(z)-F_Y(z)F_X(z) Fmin​(z)=P(min{ X,Y}≤z)=P(X≤z∪Y≤z)=P(X≤z)+P(Y≤z)−P(X≤z,Y≤z)=FY​(z)+FX​(z)−FY​(z)FX​(z)

3.总体与样本，期望与方差

1. 总体与样本的基本概念

在数理统计里面，数据并不可能是无限多的，这时候就会延伸出总体与样本的概念
事实上，我们规定总体与样本是具有相同概率分布的，并且每个样本之间是相互独立的。
总体X中如果分割成n个样本，则称为容量为n的样本$X_1,X_2...X_n$，然而我们再从这些样本中进行一次抽样n个数值，这就称为一个观测值$x_1,x_2...x_n$
当总体X的分布函数为F(x)时，每一个观测值的概率分布就是$p_i=P(X=x_i)$
而由于是独立同分布，所以联合分布函数为:
$$F(x_1,x_2,...x_n)=\prod _{i=1}^{n}F(x_i)$$

2. 数学期望

数学期望$E(X)={\sum }_{i=1}^n{x}_i{p}_i=\mu (是一个值，不是一个分布)$，当其不收敛时，数学期望将会不存在，并且一般有如下性质:
$$\begin{gathered} E(aX+c)=aE(X)+c \\ E(X+Y)=E(X)+E(Y) \end{gathered}$$
如果X与Y相互独立的话，则有
$$E(XY)=E(X)E(Y)$$

3. 方差与协方差

$$D(X)=E[(X-E(X){)}^2]=E(X^2)-(E(X){)}^2$$
当数学期望存在的时候，方差不一定存在，反之亦然，如果想要将一个随机变量标准化可以这样子:
$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$$
方差有几个常见性质:
$$\begin{gathered} D(aX+b)=a^{2}D(X) \\ D(X+Y)=D(X)+D(Y)+2Cov(X,Y) \end{gathered}$$
如果两个随机变量相互独立，像我们的样本那样的话，还可以进一步写成:
$$D(aX+bY)=a^{2}D(X)+b^{2}D(Y)$$
协方差$Cov(X,Y)=E(XY)-E(X)E(Y)$,并且具有线性型$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

4. 样本均值，样本方差，样本矩

这一部分是数理统计的内容，常常与前面我们所讲的数学期望与方差搞混，要注意的是这里的样本均值，样本方差都是一种分布，是贝叶斯学派的内容，而不是前面的一个具体实数值
样本均值:$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$
样本方差:$S^2=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\overline{X}{)}^2$
样本k阶中心矩:$B_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\overline{X}{)}^k(k=2,3,...)$
5. 常用统计量的推导

对于样本$X_i$而言，它是一个分布，那么在总体$E(X)=\mu ,D(X)={\delta }^2$的前提下，有下面这些定理
$$E(X_i)=\mu ,D(X_i)={\delta }^2$$
$$E(\overline{X})=E[\frac{1}{n}\sum _{i=1}^n{X}_i]=\frac{1}{n}\sum _{i=1}^{n}E[X_i]=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$
$$D(\overline{X})=D[\frac{1}{n}\sum _{i=1}^n{X}_i]=\frac{1}{n^2}\sum _{i=1}^{n}D[X_i]=\frac{1}{n^2}\sum _{i=1}^n{\delta }^2=\frac{{\delta }^2}{n}$$
$$\begin{array}{rl}E(S^2)=& E[\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2]\\ & =\frac{1}{n-1}E[\sum _{i=1}^n(X_i^2-2X_i\overline{X}+{\overline{X}}^2)]\\ & =\frac{1}{n-1}[\sum _{i=1}^n(D(X_i)+E(X_i{)}^2)-2E[\overline{X}]\sum _{i=1}^{n}E[X_i]+\sum _{i=1}^{n}E[{\overline{X}}^2]]\\ & =\frac{1}{n-1}[n({\delta }^2+{\mu }^2)-2nE[{\overline{X}}^2]+nE[{\overline{X}}^2]]\\ & =\frac{1}{n-1}[n({\delta }^2+{\mu }^2)-n\ast \frac{{\delta }^2}{n}-n{\mu }^2]\\ & ={\delta }^2\end{array}$$
可见样本方差的数学期望是总体方差，实现了无偏估计(后面会提及)

4.点估计与估计量的评价标准

1. 为什么在机器学习里面要采用估计呢?

因为在统计学中，所要观测的数据量往往都比较大，我们不可能将所有数据全部都进行统计，一种可行的方式就是从这些数据量中抽取一部分数据，这时候便用到了估计的知识，用抽取出来的样本的情况来估计总体的情况。

2. 评价估计量的几个标准

无偏性:如果对于参数$\theta$而言，其估计值$\hat{\theta }$满足$E(\hat{\theta })=\theta$,则称为该估计是无偏的
有效性:当我们拥有多个无偏估计量时，我们需要选出最合适的一项，那么我们就要计算该无偏数据量的方差，方差越小则有效性越高
一致性:如果对于参数$\theta$而言，其估计值$\hat{\theta }$满足对任意$ϵ＞0$都有 lim ⁡ n → ∞ P { ∣ θ ^ − θ ∣ ＜ ϵ } = 1 \lim \limits_{n\rightarrow\infty}P\{|\hat{\theta}-\theta|＜\epsilon\}=1 n→∞lim​P{ ∣θ^−θ∣＜ϵ}=1,则称估计量$\hat{\theta }$依概率收敛于$\theta$,则说这两者是相合估计

3. 矩估计

一阶矩用作估计数学期望，二阶矩用于估计方差
优点：在不清楚总体分布具体属于什么分布的情况下，只需要根据均值和方差进行估计即可。
缺点：如果在总体分布已知的情况下，并不能很好的使用对应分布类型的信息，因为矩估计根本就不看重总体分布到底属于那种类型。

4. 最大似然估计

这个内容比较简单，并且前面机器学习的文章已经多次使用，这里就不作阐述了

二、常见分布，大数定律，中心极限定理

1.常见分布

1. 0-1分布与二项分布

0-1分布跟二项分布都是有放回抽样，也叫伯努利实验，不需要知道总体数量，或者说总体数量很大的时候使用。
概率分布为 P { X = k } = C n k p k ( 1 − p ) n − k P\{X=k\}=C_n^kp^k(1-p)^{n-k} P{ X=k}=Cnk​pk(1−p)n−k，记作$X\sim B(n,p)$
其数学期望为np，方差为np(1-p)

2. 泊松分布

在计算二项分布时，如果参数n很大时，但是我们的p很小时(也就是说有限时间内只发生有限多次，但是极短时间内只发生一次)，这种情况发生的次数服从泊松分布
lim ⁡ n → ∞ P { X = k } = lim ⁡ n → ∞ C n k p k ( 1 − p ) n − k = e − λ λ k k ! \lim \limits_{n \rightarrow \infty}P\{X=k\}=\lim \limits_{n \rightarrow \infty} C_n^kp^k(1-p)^{n-k}= \frac{e^{-\lambda}\lambda^k}{k!} n→∞lim​P{ X=k}=n→∞lim​Cnk​pk(1−p)n−k=k!e−λλk​
其中$\underset{n\to \infty }{\lim }n{p}_n=\lambda$，并且泊松分布的数学期望与方法都是$\lambda$

3. 超几何分布

超几何分布是无放回抽样，相对来说比较简单。其分布为
P { X = k } = C M k C N − M n − k C N n P\{X=k\}=\frac{C^k_MC_{N-M}^{n-k}}{C_N^n} P{ X=k}=CNn​CMk​CN−Mn−k​​
超几何分布的数学期望为$\frac{nM}{N}$

4. 均匀分布

均匀分布比较简单，我们直接给出数学期望$\frac{a+b}{2}$，方差$\frac{(b-a{)}^2}{12}$

5. 指数分布

指数分布是无记忆的，即无论你在哪个时刻开始经历同样的时间其概率都是相等的，数学表达式为$$P(X\ge t+s|X\ge s)=P(X\ge t)$$，其概率密度函数是$f(x)=\lambda e^{-\lambda x}(x\ge 0)$,其分布函数是$F(x)=1-e^{-\lambda x}(x\ge 0)$
在解决实际问题的时候，指数分布一般都是认为是稀有事件
数学期望是$\frac{1}{\lambda }$,方差是$\frac{1}{{\lambda }^2}$

6. 正态分布

一般的事件我们都可以认为其符合正态分布，正态分布的概率密度函数比较复杂，这里不作介绍，但是介绍一个比较常用的性质
假设$X\sim N({\mu }_1,{\delta }_1^2)，Y\sim N({\mu }_2,{\delta }_2^2),那么X+Y\sim N({\mu }_1+{\mu }_2,{\delta }_1^2+{\delta }_2^2)$正态分布具有可加性，并且相加后的正态分布仍然是正态分布，这在多个随机样本相加时很有用

7. ${\chi }^2$分布

卡方分布引入的原因主要是为了解决事实与期望不符合的情况，利用卡方分布分析结果，排除可疑结果。
满足卡方分布的条件:如果随机变量$X_1,X_2...X_n$相互独立，并且都服从标准正态分布，那么我们可以称$X={\sum }_{i=1}^n{X}_i^2$服从自由度为n的卡方分布
自由度指的和式中独立变量的个数
卡方分布常用性质：
$X_1\sim {\chi }^2(n_1),X_2\sim {\chi }^2(n_2)$，两个随机变量相互独立，则有$X_1+X_2\sim {\chi }^2(n_1+n_2)$
卡方分布的数学期望是n，方差是2n

常见的卡方分布有:
$$\frac{1}{{\delta }^2}\sum _{i=1}^n(X_i-\mu {)}^2\sim {\chi }^2(n)$$
$$\frac{(n-1)S^2}{{\delta }^2}\sim {\chi }^2(n-1)$$
8. t分布

t分布主要用于根据小样本来估计呈正态分布且方差未知的总体的均值。如果总体方差已知（例如在样本数量足够多时），则应该用正态分布来估计总体均值。
t分布的定义是:随机变量$X\sim N(0,1),Y\sim {\chi }^2(n)$,X与Y相互独立，则称随机变量$t=\frac{X}{\sqrt{\frac{Y}{N}}}$服从自由度为n的t分布。
t分布关于y轴轴对称，与正态分布的性质十分相像。

9. F分布

F分布的用途:用于方差分析、协方差 分析和回归分析等，是一种非对称分布，且位置不可互换
F分布的定义是:$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，X与Y相互独立，则$F=\frac{X/n_1}{Y/n_2}$服从自由度为(n_1,n_2)的F分布

2.大数定律

1. 切比雪夫不等式

假设随机变量X的期望E(X)与方差D(X)都存在，那么我们不假思索地给出下列不等式
P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ D ( X ) ϵ 2 P\{|X-E(X)|\geq\epsilon\}\leq\frac{D(X)}{\epsilon^2} P{ ∣X−E(X)∣≥ϵ}≤ϵ2D(X)​
我们可以 看到切比雪夫不等式里面当方差越小的时候，随机变量与期望的偏离程度就越小

2. 切比雪夫大数定律

该大数定律的存在条件是序列 { X n } \{X_n\} { Xn​}是独立序列，并且方差D(X)要存在并且一致还存在上界，那么服从以下大数定律:
$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\frac{1}{n}\sum _{i=1}^{n}E[X_i]$$
切比雪夫大数定理的意义在于要测算众随机变量的数学期望值的期望值,切比雪夫大数定律即可以样本均值近似取代。

3. 伯努利大数定律

假设${\mu }_n$是n重伯努利实验中A发生的次数，每次实验中A发生的概率为p，则有$$\frac{{\mu }_n}{n}\stackrel{P}{\to }p$$
即当取样次数很大的时候，伯努利实验的频率将会趋向于概率

4. 辛钦大数定律

前提是 { X n } \{X_n\} { Xn​}是独立同分布的序列，当其期望存在的时候并等于$\mu$，将会有

$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu$$
即当样本数量足够多时，可以利用样本均值去近似总体的数学期望

3.中心极限定理

1. 中心极限定理的作用

中心极限定理是研究独立随机变量和的极限分布为正态分布的问题，是为了将独立的随机变量转化为正态分布问题，便于解决问题

2. 林德伯格列维定理

前提是 { X n } \{X_n\} { Xn​}是独立同分布的序列，当其期望$E(X_l)=\mu$，方差$D(X_l)={\delta }^2$将会有
lim ⁡ n → ∞ P { ∑ i = 1 n X i − n μ n δ ≤ x } = Φ ( x ) \lim \limits_{n\rightarrow\infty}P\{\frac{\sum_{i=1}^nX_i -n\mu}{\sqrt n\delta}\leq x\}= \Phi(x) n→∞lim​P{ n ​δ∑i=1n​Xi​−nμ​≤x}=Φ(x)

3. 棣莫弗—拉普拉斯定理

前提是 { Y n } \{Y_n\} { Yn​}是满足二项分布的序列，当其期望$Y\sim (n,p)$，将会有:
lim ⁡ n → ∞ P { Y n − n p n p ( 1 − p ) ≤ x } = Φ ( x ) \lim \limits_{n\rightarrow\infty}P\{\frac{Y_n -np}{\sqrt {np(1-p)}}\leq x\}= \Phi(x) n→∞lim​P{ np(1−p) ​Yn​−np​≤x}=Φ(x)