7、稀疏信号恢复算法：凸松弛技术与性能保证

稀疏信号恢复算法：凸松弛技术与性能保证

在信号处理与相关领域中，求解线性系统 $Ax = b$ 的稀疏解是一个关键问题。其中，(P0) 问题旨在找到具有最小非零元素数量的解，即最稀疏的解。但由于该问题在一般情况下是 NP 难的，通常会采用贪心算法或凸松弛技术来寻找近似解。

1. 凸松弛技术

考虑问题 (3.35)，通过定义 $\tilde{x} = W^{-1}x$，可以将其重新表述为：
(P1) : $\min_{\tilde{x}} |\tilde{x}|_1$，约束条件为 $b = A W\tilde{x} = \tilde{A}\tilde{x}$。
这意味着可以对矩阵 $A$ 的列进行归一化，使用其归一化版本 $\tilde{A}$，从而得到经典的基追踪（Basis Pursuit，BP）格式。与贪心算法类似，找到解 $\tilde{x}$ 后，需要进行反归一化以得到所需的向量 $x$。因此，后续可以假设 (P1) 具有归一化矩阵的规范结构。

1.1 求解 (P1) 的数值算法

问题 (P1) 可以转化为线性规划（LP）问题，可使用现代内点法、单纯形法、同伦法等技术求解。这些算法比之前提到的贪心算法更复杂，但能得到定义良好的优化问题的全局解。不过，与贪心算法相比，实现这些技术的编程难度更大。

有许多成熟的软件包可用于处理此问题，例如：
- ℓ1 - magic（由 Candes 和 Romberg 开发）
- CVX 和 L1 - LS（由 Boyd 及其学生开发）
- Sparselab（由 David Donoho 管理）
- SparCo（由 Michael F