正交匹配追踪算法(OMP)简介与详解

秒懂

匹配追踪算法(MP)

为了了解OMP我们先从MP开始说起。

匹配追踪最早是时频分析的分析工具，目的是要将一已知讯号拆解成由许多被称作为原子讯号的加权总和，而且企图找到与原来讯号最接近的解。

在机器学习领域，我们可以将它抽象为$X\omega =Y$，其中$X$是我们已知的向量，$Y$是我们要去拟合或者称为追踪的向量， MP算法的目的就是找到公式中的$\omega$。MP算法采用逐步迭代的方式，每一步寻找到$X$中与$Y$内积最大的向量，将其从$Y$中剔除（相减）得到$Y^{\prime }$（被称为残差），这样一步步迭代下去就能找到较优的近似解。

举个例子，我想要使用$x_1=(-1,1)$和$x_2=(1,0)$两个向量来拟合向量$y=(1,1)$，如果让我们口算，我们可以很容易地计算出$1x_1+2x_2=y$，那么使用MP算法呢？

• 第一步迭代：
  计算$x_1$和$x_2$与$y$的内积$m_1=<x_1,y>=0$，$m_2=<x_2,y>=1$
  比较绝对值发现$x_2$对$y$的影响更大，因此$y^{\prime }=y-m_2{x}_2=(0,1)$，记录$\omega =(\_,1)$。

• 第二步迭代：
  计算$x_1$和$x_2$与 y ′ y' y