欠定线性系统与正则化

1、欠定线性系统

   考虑方程组 ${\bf Ax}={\bf b}$，这里 ${\bf x}\in{\mathbb R}^{m}$， ${\bf A}\in {\mathbb R}^{n\times m}$， ${\bf b}\in{\mathbb R}^{n}$，如果 $n<m$，则该方程组描述了欠定线性系统。
   若将 $\bf A$表示为列向量的形式， ${\bf A}=[{\bf a}_1,{\bf a}_2,\ldots,{\bf a}_m]$，则 $\bf A$的列空间为
${\rm col}({\bf A})={\rm span\{{\bf a}_1,{\bf a}_2,\ldots,{\bf a}_m\}}=\{{\bf y}\in {\mathbb R}^n;{\bf y}=\Sigma_{j=1}^{m}\alpha_j{\bf a}_j,\alpha_j\in {\mathbb R}\}.$此外，我们有
${\bf Ax}=\Sigma_{j=1}^{m}{\bf a}_jx_j=\bf b.$显然，如果 ${\bf b}$不在 ${\bf A}$的列空间中，则该系统无解；反之则有无穷多解。所以我们假定， $\bf A$的列向量张成整个 ${\mathbb R}^n$空间，也就是说 $\bf A$为列满秩。
   下面我们要讨论的是，对于这样的欠定线性系统，我们会得到无穷多的 $\bf x$，但如何找到最好的，或者至少是比较好的 $\bf x$呢？

2、正则化

   对于上一节的问题，其根本问题是因为我们的约束条件不够，所以得到的是无穷多解。所以如果想要得到一个解（最优解或者满意解），就得增加条件。
   正则化(regularization)是一种常用的增加条件的方法，也就是引入一个函数 $J(\bf x)$，用来对 $\bf x$的候选解进行评价，并且如果 $J(\bf x)$的值越小，我们就认为解越好。

【定义】常规优化问题( $P_J$）
$(P_J):\min \limits_{\bf x} J({\bf x})\quad {\rm s.t.} \quad{\bf b=Ax}.$

   最常见的 $J(\bf x)$函数是欧几里德范数的平方 $||{\bf x}||^2$，由此对应了最小范数解。

【定义】最小范数解（唯一解）
$(P_2):\min \limits_{\bf x} ||{\bf x}||^2\quad {\rm s.t.} \quad{\bf b=Ax}.$
使用拉格朗日算子法，可以得到最优解为
${\bf \hat x}_{\rm opt}=-\frac{1}{2}{\bf A}^{\rm T}{\lambda}={\bf A}^{+}{\bf b},$这里 ${\bf A}^{+}$为 $\bf A$的伪逆。

---

【参考文献】
[1] Michael Lead, Sparse and Redundant Representations, From Theory to Applications in Signal and Image Processing.