概率论
- 定义
事件A与事件B不可能同时发生,则A、B为互斥事件
- 互斥事件的并集
P(A∪B)=P(A)+P(B)
- 定义
A事件的发生对B事件的发生没有影响
- 独立事件的交集运算
P(A∩B)=p(A)∗(B)
- 定义
X事件发生的情况下Y事件发生的概率
- 条件概率计算
P(Y∣X)=P(XY)/P(X)
- 定义
X和Y同时发生的概率 = X先发生的概率乘以X发生的情况下Y发生的概率
- 表达式
P(XY)=P(X)∗P(Y∣X)
- 定义
P(XY)=P(X∣Y)∗P(Y)=P(Y∣X)∗P(X)
- 变形
P(Y∣X)=P(X∣Y)∗P(Y)/P(X)
- 细节解释
P(Y∣X)后验概率
P(Y) 先验概率
- 目标
P(Y∣X)
- 生成模型
P(Y∣X)=P(X∣Y)∗P(Y)/P(X)
- 判别模型
P(Y∣X)
- 伯努利分布:
P(Y=1)=p=1−P(Y=0)=1−q
- 多项分布:多次伯努利
- 定义
E[X]=x1p1+x2p2+...xnpn
- 性质
E[X+Y]=E[X]+E[Y],E[aX]=aE[X]
如果X,Y相互独立,那么
E[XY]=E[X]∗E[Y]
- 方差
假设
μ为期望,
x1,x2,...,xn对应的概率为
p1,p2,...pn,那么
X的方差(Variance)为:
-
Var[X]=(x1−μ)2p1+...+(xn−μ)2pn
-
Var[X]=E[(X−μ)2]
-
Var[X]=E[X2]−E[X]2
- 如果X和Y独立,则
Var[X+Y]=Var[X]+Var[Y]
- 准确率的缺陷
如果数据Label不平衡,则最好不使用准确率
precision=TP/(TP+FP)
- 召回率
recall=TPR=TP/(TP+FN)
recall=FPR=FP/(FP+TN)
- AOC特指描述的曲线,AUC特指曲线与坐标轴构成的面积
AOC一般以FPR为横坐标,TPR为纵坐标
- 条件:
f(X)≥0,X⊆Ω,∫f(x)dx=1
- 概率:
P(X⊂S)=∫sf(x)dx
- 期望:
E[X]=∫Xf(X)dx
- 方差:
Var[X]=∫(X−μ)2f(x)dx
*正态分布
- 定义
X N(μ,δ2),f(X)=2πδ2
1exp(−2δ21(x−μ)2)
- 参数
E(X)=μ
Var[X]=δ2
-
cov(X,Y)=E[(X−E(X))(Y−E[Y])]=E[XY]−E[X]E[Y]
-
cov(X,Y)=Var(X)Var(Y)
cov(X,Y)
P(Y∣X1,X2,...,Xn)=P(X1,X2,...,XP)P(X1,X2,...,XP∣Y)P(Y)=P(X1,X2,....,XP)P(X1∣Y)P(X2∣Y)...P(XP∣Y)P(Y)
- 定义
H(X)=−∑iP(Xi)logP(Xi)
- 含义
代表不确定性
- 定义
给定两个概率分布p,q,定义KL Divergence为:
KL(p∣∣q)=i∑pilogqipi
- 定义
I(X,Y)=KL(P(X,Y)∣∣P(X)P(Y))
- 性质
I(X,Y)≥0当且仅当
P(X,Y)=P(X)P(Y)时,
I(X,Y)=0
I(X,Y)=H(X)−H(X∣Y)