OMP学习笔记
Reference ：【1】http://blog.csdn.net/scucj/article/details/7467955
【2】http://blog.csdn.net/jbb0523/article/details/45130793
【3】http://www.cnblogs.com/AndyJee/p/5053354.html
1. 信号的稀疏表示
给定一个过完备字典矩阵，其中它的每列表示一种原型信号的原子。给定一个信号y，它可以被表示成这些原子的稀疏线性组合。信号 y 可以被表达为 y = Dx ，或者。字典矩阵中所谓过完备性，指的是原子的个数远远大于信号y的长度(其长度很显然是n)，即n<<k
应用于压缩感知中：
压缩观测y=Φx，其中y为观测所得向量M×1，x为原信号N×1（M<<N）。x一般不是稀疏的，但在某个变换域Ψ是稀疏的，即x=Ψθ，其中θ为K稀疏的，即θ只有K个非零项。此时y=ΦΨθ，令A=ΦΨ，则y=Aθ
(1) y为观测所得向量，大小为M×1
(2)x为原信号，大小为N×1
(3)θ为K稀疏的，是信号在x在某变换域的稀疏表示
(4)Φ称为观测矩阵、测量矩阵、测量基，大小为M×N
(5)Ψ称为变换矩阵、变换基、稀疏矩阵、稀疏基、正交基字典矩阵，大小为N×N
(6)A称为测度矩阵、传感矩阵、CS信息算子，大小为M×N
上式中，一般有K<<M<<N，后面三个矩阵各个文献的叫法不一，以后我将Φ称为测量矩阵、将Ψ称为稀疏矩阵、将A称为传感矩阵
2. MP（MatchingPersuit）匹配追踪算法
y = Dx D中每个列向量表示为一个原子，首先要对这些向量进行归一化。
MP的目标是：从字典矩阵D（也称为过完备原子库中），选择一个与信号y 最匹配的原子(也就是某列)，构建一个稀疏逼近，并求出信号残差，然后继续选择与信号残差最匹配的原子，反复迭代，信号y可以由这些原子来线性和，再加上最后的残差值来表示。很显然，如果残差值在可以忽略的范围内，则信号y就是这些原子的线性组合。
3. OMP
改进之处在于：
如何使得残差与之前选择的xn项都正交？
文献【1】中引入了一个辅助模型，通过迭代和，使残差满足该条件。
在该文献最后引入了最小二乘解的形式，如图，
Matlab代码在文献2中给出。
关于OMP学习的几个问题：
1）匹配选择内积最大，并且原子（D的列向量）归一化？
匹配是指 与 残差向量 夹角最小，最贴近。
归一化是防止 某些向量模过大，造成次优解。
2）最小二乘解？
参考文献【3】最小二乘解的物理意义，（Ax=b—>
，因此残差与A的列向量都正交，在OMP中，下一次迭代就不会选择已经选择过的向量。