为什么机器能够学习——PAC Learnability
机器学习中，我们根据训练集训练一个模型，来对测试数据进行预测。通常我们并不关心模型在训练集上的好坏（即训练误差，in sample error），举个简单例子，我们想要根据前六个月股市行情训练一个模型来对未来股市走向进行预测，即使我们的算法在过去的数据上做的再精准都没有任何意义，我们希望模型在未来某一天能够预测的准，这样我们才能赚大钱。因此我们更着重于其在从未见过的数据（测试集）上的正确率（即泛化误 差，generalization error、out sample error）。因为泛化误差从整体上告诉我们 模型表现的好坏，这是我们事先不知道的一个参数， 正是由于不知道，所以我们才要估计它， 这也是机器学习的核心任务。初看起来，这个问题有点无从下手， 因为我们没办法知道输入空间的分布，因此也没办法估计泛化误差。不过，别忘了我们手头上有一笔训练数据，我们要根据这笔资料从假设集中挑一个假设出来，对 测试数据进行分类。一个很自然的想法是，我们可以挑训练误差最小的那个假设，这点很容易理解，训练误差小的假设泛化误差也应该比较小，也就是说我们挑出来 的假设和真实的target function比较接近。那么这个想法是正确的吗？ 一定意义上来说，是对的。不然也不会有经验风险最小化（ERM）算法了。ERM是说从假设集中挑一个使得训练误差最小的那个假设h。数学上定义如下：
min1m∑i=1mI[h(x(i)≠y(i)]min1m∑i=1mI[h(x(i)≠y(i)]
其中，m为训练样例的个数。
下 面说明为什么这个方法可行。统计学里，大数定理家族有个著名的不等式——Hoeffding's equality。这个不等式的背景是，假设有一组独立同分布的随机变量 Z1,…,ZmZ1,…,Zm，它们都服从Bernoulli分布， 即 P(Zi=1)=ϕ,P(Zi=0)=1−ϕP(Zi=1)=ϕ,P(Zi=0)=1−ϕ。我们想通过这组变量的均值 ϕ^1m∑mi=1Ziϕ^1m∑i=1mZi来估计参数 ϕϕ的值。Hoeffding不等式从概率意义上刻画了估计值和参数值的接近程度：
其 中， ϵ>0ϵ>0是一个误差限， mm是训练集中的样例个数。这个不等式告诉我们，我们的估计和真实值得差距相差很大的概率很小，也就 是说二者接近的概率很大。因此我们可以说， ϕ^=ϕϕ^=ϕ是PAC（probably approximate correct，可能近似正确）的。PAC这个术语很有意思，他不能打包票说二者一定是等的，他只能保证大多数情况下是这样；而这个“等”只是越等，即相 差很近但不一定完全一样，例如我投一百次硬币，最后的频率可能是0.51或者是0.49，接近0.5但不会相等。有了Hoeffding不等式的理论基 础，我们想把这个刻画参数估计和真实值接近程度的方法套用到学习问题上去。
为了能够套用Hoeffding不等式到学习问题上，我们需要做出一些 假设： 给定一个假设h，我们认为h在一个样例x上与类标号y是否一致是一个服从Bernoulli分布的随机变量，也记为Z，即 Z=I[h(x)≠y]=μZ=I[h(x)≠y]=μ，这里 μμ可以认为是泛化误差。我们进一步假设训练集的样本是独立同分布采样的，那么 Z1，Z2,...,ZmZ1，Z2,...,Zm是一组 iid且服从Bernoulli分布的随机变量，它们的平均即训练误差（记为 νν）实际上就是对泛化误差 μμ的一个估计。
根据Hoeffding不等式有：
根 据PAC理论， νν和 μμ离得很近，而且随着样本数的增加，它们的距离会越来越靠近， 如果此时训练误差 νν很小，那么我们可以说泛化误差 μμ也很小是一个PAC的事件，泛化误差很小说明什么？说明我们的假设h和目标函数f真的 长得很像（ h=fh=f is PAC）。
至此，我们就证明了ERM确实是可行的， 那么我们就能高枕无忧了吗？今天我们选取一个假设，它的训练误差很低甚至接近于0，就能说它的泛化误差一定很低吗？ 答案是否定的。 如果这个命题成立，也不会有所谓的overfitting了。
Hoeffding 不等式只告诉我们，我们抽一个样本，有很大概率抽到一个好的样本（这里好的样本指的是 训练误差和泛化误差很接近）；而抽到一个坏的样本（两个误差相差很远，特指过拟合的情况，训练误差很小而泛化误差很大）的概率有一个上限且很小， 但并不等于说抽到一个bad sample就是不可能的（实际上有可能，只是概率非常小），如果不幸抽到了bad sample， 那么恭喜你，你可以去买彩票了。那么如何避免这种overfitting的产生呢？
其中一个选择是增加样例数，随着样例数的增加，Hoeffding不等式右侧的上限值会越来越小， 于是乎我们抽到bad sample的概率也就越来越小了，我们更有把握说我们的模型不容易过拟合了。
上 面说到的bad sample是相对于一个hypothesis而言的，对于每个不同的hypothesis，可能的bad sample都不同。 那么给定一个训练集，我们在假设空间中的选择是有限制的，因为我们不知道哪个假设在这个数据集上会overfit，因此在选择假设的过程可能会踩到雷。有 的时候，踩到雷是不可避免的，因为我们没有选择数据集的权利。但我们可以做的事情是 估计踩到雷的概率上限是多少。这里我们只假设 假设空间有限，且大小为K。“踩到雷”这件事从集合论的角度来讲就是 至少存在一个假设 hi∈Hhi∈H，使得 |νhi−μ|>ϵ|νhi−μ|>ϵ发生。我们记事件 Ai=|νhi−μ|>ϵAi=|νhi−μ|>ϵ。利用联合界定理，我们可以推导其概率上限为
在假设空间有限的情况下，通过增加样本集大小m，就能减少我们在假设集上踩到雷的几率，从而估计的失真度，减少过拟合现象。
总结一下：这篇文章中我们证明了在加上一些统计学假设（训练集是独立同分布抽样） 且 假设空间是有限的情况下， PAC理论保证了学习是可行的。对于假设空间是无限的情况（比如线性分类器），需要用到VC-dimension来证明其可行性。
下 面说明为什么这个方法可行。统计学里，大数定理家族有个著名的不等式——Hoeffding's equality。这个不等式的背景是，假设有一组独立同分布的随机变量 Z1,…,ZmZ1,…,Zm，它们都服从Bernoulli分布， 即 P(Zi=1)=ϕ,P(Zi=0)=1−ϕP(Zi=1)=ϕ,P(Zi=0)=1−ϕ。我们想通过这组变量的均值 ϕ^1m∑mi=1Ziϕ^1m∑i=1mZi来估计参数 ϕϕ的值。Hoeffding不等式从概率意义上刻画了估计值和参数值的接近程度：
P(|ϕ^−ϕ|<ϵ)≤2exp−2ϵ2mP(|ϕ^−ϕ|<ϵ)≤2exp−2ϵ2m
其 中， ϵ>0ϵ>0是一个误差限， mm是训练集中的样例个数。这个不等式告诉我们，我们的估计和真实值得差距相差很大的概率很小，也就 是说二者接近的概率很大。因此我们可以说， ϕ^=ϕϕ^=ϕ是PAC（probably approximate correct，可能近似正确）的。PAC这个术语很有意思，他不能打包票说二者一定是等的，他只能保证大多数情况下是这样；而这个“等”只是越等，即相 差很近但不一定完全一样，例如我投一百次硬币，最后的频率可能是0.51或者是0.49，接近0.5但不会相等。有了Hoeffding不等式的理论基 础，我们想把这个刻画参数估计和真实值接近程度的方法套用到学习问题上去。
为了能够套用Hoeffding不等式到学习问题上，我们需要做出一些 假设： 给定一个假设h，我们认为h在一个样例x上与类标号y是否一致是一个服从Bernoulli分布的随机变量，也记为Z，即 Z=I[h(x)≠y]=μZ=I[h(x)≠y]=μ，这里 μμ可以认为是泛化误差。我们进一步假设训练集的样本是独立同分布采样的，那么 Z1，Z2,...,ZmZ1，Z2,...,Zm是一组 iid且服从Bernoulli分布的随机变量，它们的平均即训练误差（记为 νν）实际上就是对泛化误差 μμ的一个估计。
根据Hoeffding不等式有：
P(|ν−μ|<ϵ)≤2exp−2ϵ2mP(|ν−μ|<ϵ)≤2exp−2ϵ2m
根 据PAC理论， νν和 μμ离得很近，而且随着样本数的增加，它们的距离会越来越靠近， 如果此时训练误差 νν很小，那么我们可以说泛化误差 μμ也很小是一个PAC的事件，泛化误差很小说明什么？说明我们的假设h和目标函数f真的 长得很像（ h=fh=f is PAC）。
至此，我们就证明了ERM确实是可行的， 那么我们就能高枕无忧了吗？今天我们选取一个假设，它的训练误差很低甚至接近于0，就能说它的泛化误差一定很低吗？ 答案是否定的。 如果这个命题成立，也不会有所谓的overfitting了。
Hoeffding 不等式只告诉我们，我们抽一个样本，有很大概率抽到一个好的样本（这里好的样本指的是 训练误差和泛化误差很接近）；而抽到一个坏的样本（两个误差相差很远，特指过拟合的情况，训练误差很小而泛化误差很大）的概率有一个上限且很小， 但并不等于说抽到一个bad sample就是不可能的（实际上有可能，只是概率非常小），如果不幸抽到了bad sample， 那么恭喜你，你可以去买彩票了。那么如何避免这种overfitting的产生呢？
其中一个选择是增加样例数，随着样例数的增加，Hoeffding不等式右侧的上限值会越来越小， 于是乎我们抽到bad sample的概率也就越来越小了，我们更有把握说我们的模型不容易过拟合了。
上 面说到的bad sample是相对于一个hypothesis而言的，对于每个不同的hypothesis，可能的bad sample都不同。 那么给定一个训练集，我们在假设空间中的选择是有限制的，因为我们不知道哪个假设在这个数据集上会overfit，因此在选择假设的过程可能会踩到雷。有 的时候，踩到雷是不可避免的，因为我们没有选择数据集的权利。但我们可以做的事情是 估计踩到雷的概率上限是多少。这里我们只假设 假设空间有限，且大小为K。“踩到雷”这件事从集合论的角度来讲就是 至少存在一个假设 hi∈Hhi∈H，使得 |νhi−μ|>ϵ|νhi−μ|>ϵ发生。我们记事件 Ai=|νhi−μ|>ϵAi=|νhi−μ|>ϵ。利用联合界定理，我们可以推导其概率上限为
P(∃h∈H,|νh−μ|>ϵ)=P(⋃i=1KAi)≤∑i=1KP(Ai)≤2Kexp(−2ϵ2m)P(∃h∈H,|νh−μ|>ϵ)=P(⋃i=1KAi)≤∑i=1KP(Ai)≤2Kexp(−2ϵ2m)
在假设空间有限的情况下，通过增加样本集大小m，就能减少我们在假设集上踩到雷的几率，从而估计的失真度，减少过拟合现象。
总结一下：这篇文章中我们证明了在加上一些统计学假设（训练集是独立同分布抽样） 且 假设空间是有限的情况下， PAC理论保证了学习是可行的。对于假设空间是无限的情况（比如线性分类器），需要用到VC-dimension来证明其可行性。