机器学习-周志华-个人练习12.4

12.4 试证明， $\mathbb R^d$ 空间中线性超平面构成的假设空间的VC维是d+1。

本题参考了四去六进一的一些想法，用自己的想法更加详细地描述出来。

首先，我们假设在 $\mathbb R^d$ 空间中存在一组正交单位向量，使得此空间内任意一点的坐标可以表示为 $(x_1,x_2,\ldots ,x_d)^\rm T$ ，不失一般性地，选取坐标原点 $(0,\ldots,0)$ 为 $\mathbb {x}_0^\mathrm T$ ，以及各正交向量方向 $(0, \ldots, \alpha _{i},\ldots,0)=\mathbf{x}_i^\mathrm T,\alpha_i \ne 0,i \in \{1,\ldots,d\}$ 为示例集，则所有示例（共 $d+1$ 个点）对应的标签可以表示为 $y_0,y_1,\ldots,y_d$ 。同时假设线性超平面的方程为 $\mathbf {w}^ \mathrm {T} \mathbf{x}+b=0$ ，则我们的目的是要确定是否存在 $\mathbf w$ 使得 $\mathbf {w}^\mathrm {T}\mathbf x_{i}=y_i,i=(0,\ldots,d)$ 成立。令：

X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 10 ⋮ 0 1 α 1 ⋮ 0 \dots \dots ⋱ \dots 10 ⋮ α d ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥, w = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ b w 1 ⋮ w d ⎤ ⎦ ⎥ ⎥ ⎥ ⎥,

$\mathbf X=\begin{bmatrix} 1 & 1 & \ldots & 1 \\ 0 & \alpha_1 & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \alpha_d \end{bmatrix}, \mathbf {w}=\begin{bmatrix} b \\ w_1 \\ \vdots \\ w_d \end{bmatrix},$

y = [y 0 ， y 1 ， \dots ， y d],

$\mathbf y=\begin{bmatrix} y_0，y_1 ，\cdots，y_d\end{bmatrix},$ 则需要证明存在

w $\mathbf w$ 使得

wTX=y $\mathbf {w}^\mathrm{T}\mathbf X=\mathbf y$ 。不妨设

min{α1,…,αd}>0 $\min \{\alpha_1,\ldots, \alpha_d \} \gt 0$ ，则

X $\mathbf X$ 正定，可解得

wT=X−1y $\mathbf {w}^\mathrm{T}=\mathbf {X}^{-1}\mathbf y$ 。

无论 $\mathbf y$ 取到 $2^d$ 种情况中的哪一种， $\mathbf {w}$ 均存在，则这样的d+1个示例能被线性超平面 $\mathbf {w}^ \mathrm {T} \mathbf{x}+b=0$ 打散，因此这样的线性超平面构成的假设空间的VC维至少为d+1。

接下来我们考虑在上述 $d+1$ 个点的基础上增加点 $x_{d+1}=(\beta_1,\ldots, \beta_d)$ ，显然， $\mathbf X$ 变为增广矩阵 $\mathbf {\overline X}$ ， $\mathbf y$ 变为 $\mathbf {\overline y}$ ：

X ¯ ¯ ¯ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 10 ⋮ 0 1 α 1 ⋮ 0 \dots \dots ⋱ \dots 10 ⋮ α d 1 β 1 ⋮ β d ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥,

$\mathbf {\overline X}=\left [ \begin{array}{cccc|c} 1 & 1 & \ldots & 1 & 1\\ 0 & \alpha_1 & \ldots & 0 & \beta_1\\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \ldots & \alpha_d & \beta_d \end{array} \right],$

y ¯ = [y 0 y 1 \dots y d y d + 1],

$\mathbf {\overline y}=\left [ \begin{array}{cccc|c} y_0 & y_1 & \cdots & y_d & y_{d+1}\end{array} \right],$ 由上式可以解得

y 0 = b, y i - y 0 = w i α i, (i = 1, \dots, d)

$y_0 = b,y_i-y_0=w_i\alpha_i,(i=1,\ldots,d)$

y d + 1 = b + \sum i = 1 d w i β i,

$y_{d+1}=b+\sum_{i=1}^{d}{w_i\beta_i},$ 即

y d + 1 = y 0 + \sum i = 1 d β i α i (y i - y 0),

$y_{d+1}=y_0+\sum_{i=1}^{d}{\frac{\beta_i}{\alpha_i}(y_i-y_0)},$ 显然，当前面

d+1 $d+1$ 个点确定，

xd+1 $x_{d+1}$ 可由前面

d+1 $d+1$ 个点线性表示，那么对应的线性超平面在

xd+1 $x_{d+1}$ 处不能对分

{x1,x2,…,xd,1},{x1,x2,…,xd,−1} $\{x_1,x_2,\ldots ,x_d,1\},\{x_1,x_2,\ldots ,x_d,-1\}$ 中的一个。

由于这样 $d+2$ 个示例的选取具有普遍性和一般性，也就是说不存在任何大小为 $d+2$ 的示例集能被线性超平面 $\mathbf {w}^ \mathrm {T} \mathbf{x}+b=0$ 打散，因此这样的线性超平面构成的假设空间的VC维为d+1。

机器学习-周志华-个人练习12.4

12.4 试证明， Rd \mathbb R^d空间中线性超平面构成的假设空间的VC维是d+1。

猜你喜欢

12.4 试证明， $\mathbb R^d$ 空间中线性超平面构成的假设空间的VC维是d+1。