深度学习的数学基础

深度学习的数学基础

• 微积分
  • 无穷小
    在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念
  • 极限
    • 数列的极限
    • 函数的极限
  • 导数
  • 微分
  • 积分
    • 不定积分
      也称为原函数或反导数
    • 定积分
    • 定积分中值定理
  • 牛顿-莱布尼茨公式
  • 偏导数
• 概率统计
  • 样本空间
    定义：随机试验 E 的所有结果构成的集合称为 E 的 样本空间，记为 S={e}
    称 S 中的元素 e 为样本点，一个元素的单点集称为基本事件．
  • 概率
    条件概率/后验概率
    P（A|B）
    边缘概率/先验概率
    A的边缘概率表示为P（A）,B的边缘概率表示为P（B）
    联合概率
    全概率公式
    贝叶斯公式
  • 随机变量
    离散型随机变量
    对离散随机变量用求和得全概率
    定义
    (0-1)分布/两点分布/伯努利分布
    二项分布
    泊松分布(Poisson分布)
    连续型随机变量
    对连续随机变量用积分得全概率
    概率分布函数F(x)
    概率密度函数f(x)
    均匀分布
    X~U（a，b）
    指数分布
    正态分布/高斯分布
    是研究误差分布的一个理论
  • 期望
    离散型随机变量的期望
    连续型随机变量的期望
  • 方差(Variance)
    一个随机变量的方差（ Variance ）描述的是它的离散程度，也就是该变量离其期望值的距离
    标准差(Standard Deviation)
    方差的算术平方根称为该随机变量的标准差。
    样本标准差
    协方差
    相关系数(Correlation coefficient)
    协方差矩阵
    主成分分析(PCA)
    在统计学中被称为主成分分析 (principal components analysis ，简称 PCA) ，在图像处理中称为 Karhunen-Loève 变换 (KL- 变换 ) 。
  • 大数定律
    大数定律负责给出估计——期望
  • 中心极限定理
    中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布
    大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如 Sample Size 比较大，采样次数区域无穷大的时候，就越接近正态分布）。而这个定理 amazing 的地方在于，无论是什么分布的随机变量，都满足这个定理。
  • MLE(最大似然)
  • OLS(最小二乘)
  • 样本和抽样
  • 置信区间
  • 方差分析
  • 回归分析
  • bootstrap方法
  • 马尔可夫链
• 线性代数
• 数值计算
  • sigmoid函数
    sigmoid函数只能分两类
  • Softmax激活函数
    softmax能分多类
  • logistic函数
  • Relu激活函数
  • 网络参数
  • 梯度下降Gradient Descent
  • 学习率Learning Rate
    Subtopic
  • 误差|损失
    均方误差(Mean Squared Error)
    交叉熵(Cross-Entropy)
  • 损失函数(cost function)
    0-1损失函数
    当模型输出值=样本值，则为1，否则为0
    平方损失函数
    （模型输出值 - 样本值）^2
    绝对值损失函数
    |模型输出值 - 样本值|
    对数损失函数
    log (Y_模型输出)