i.i.d(independent and identically distributed) 是指独立同分布，在概率统计中，如果随机变量或者其他的序列具有相同的概率分布，并且相互独立的话，我们就称这些变量是独立同分布的。
转换成在机器学习中的表述为：X1,…Xn是数据D的n个随机变量，每一个变量Xi具有相同的分布，相同的期望、方差。在机器学习中，常假设训练数据和测试数是独立同分布，这样也就保证了模型在测试时取得效果具有可解释性。
下面介绍一些主要的统计数学的相关知识，在机器学习中经常会遇到的概念。
X是随机变量，X的均值或者数学期望计算公式为：
X的条件均值或条件期望，给定Y=y, 为：
随机变量X 和随机变量Y的协方差定义为：
因此，我们可以正则化生成X和Y的相关系数如下：
而且，X与Y之间的回归系数可以定义为：
条件相关系数，给定Z=z,可以定义为：
现在要出场的是密度函数，对于连续的随机变量我们有：
两个实数a,b,且a<b。如果随机变量X是离散的，我们可以解释成如下转换：
