Solving Linear Inverse Problems Using The Prior Implicit in a Denoiser (Paper reading)

Solving Linear Inverse Problems Using The Prior Implicit in a Denoiser (Paper reading)

Zahra Kadkhodaie, New York University, NeurIPS2020 Workshop Deep Inverse, Cited:28, Code, Paper

1. 前言

目前的有监督的基于神经网络的方法并没有明确的利用图像的先验。相比于传统方法来说，深度学习方法能够嵌入更多的先验知识。但是这些隐式先验是由训练数据的分布、网络架构、优化目标中包含的正则化项和优化算法的组合产生的。此外，它们与优化它们的任务交织在一起。之前的方法使用嵌入到降噪器中的先验来解决其他逆问题。（那么处了利用去噪器中的先验知识，是否还可以利用其他的先验知识呢？比如大型的预训练模型？）本文提出了一个通用的算法，用去噪器隐式先验解决线性可逆问题(linear inverse problems)。我们从经典统计的结果出发，发现在最小化被加性高斯噪声破坏的图像的平方误差的降噪器可以解释为计算噪声图像密度对数的梯度，也就是说该结果表明了分数函数(score function)与 MMSE 降噪器之间的极有价值的联系，对inverse问题应用扩散模型理论提出了一个非常具有价值的想法。本文使用预训练的最先进的 CNN 图像降噪器中的先验隐式，在图像合成、修复、超分辨率、去模糊和丢失像素恢复方面产生高质量的结果。

2. 整体思想(个人理解)

算法的整体思想就是，给定一个随机的初始分布，我们通过迭代不断的沿着先验知识的方向，也就是梯度方向，最终我们可以走到目标样本密集的地方，这时候的收敛得到的$y_t$就可以近似为真实分布的采样。因为我们的预训练去噪器学习了大量的先验知识，因此算法没训练过程，直接给$y_0$迭代就可以生成图像。

3. 方法

假设噪声观测图像$y=x+z$，其中$z\sim N(0,{\sigma }^{2}I)$，$x\in R^N$是从原始图像分布$p(x)$中提取的。观测的密度$p(y)$通过边缘化与先验$p(x)$建立联系：
$$p(y)=\int p(y|x)p(x)dx=\int g(y-x)p(x)dx\text{\hspace{1em}(1)}$$
公式(1)可以看作卷积的形式，这里假设$p(y|x)$是噪声强度为${\sigma }^2$的高斯分布，形势如下，因此$p(y)$是先验分布$p(x)$的高斯模糊版本。此外，不同噪声方差的观测密度族$p_{\sigma }(y)$形成了高斯尺度空间的先验表示，类似于扩散过程的时间演化。
$$g(z)=\frac{1}{(2\pi {\sigma }^2{)}^{N/2}}{e}^{-||z|{|}^2/2{\sigma }^2}$$

假设我们有一个训练有素的 CNN 降噪器，其嵌入了图像结构的详细先验知识。给定这样一个降噪器，我们如何才能访问这个隐式先验？最近的结果得出了分数匹配密度估计和去噪之间的关系，并使用这些关系来利用隐式先验信息，就如NCSN。在这里，我们利用经验贝叶斯估计文献中的一个更直接但鲜为人知的结果，在高斯噪声的前提下，最小平方估计可表示为：
$$\hat{x}(y)=y+{\sigma }^2{\nabla }_{y}logp(y)\text{\hspace{1em}(2)}$$
公式(2)可有简单的推导获得，观测密度(公式1)的梯度可以表示为：
$$\begin{array}{rl}{\nabla }_{y}p(y)& =\frac{1}{{\sigma }^2}\int (x-y)g(y-x)p(x)dx\\ & =\frac{1}{{\sigma }^2}\int (x-y)p(x,y)dx\end{array}\text{\hspace{1em}(3)}$$
两篇同时乘上 σ 2 / p ( y ) \sigma^{2}/p(y)