[解读] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One

最新推荐文章于 2024-12-20 10:04:12 发布

原创

最新推荐文章于 2024-12-20 10:04:12 发布 · 1.9k 阅读

本文提出了一种新颖的方法，将常见的分类模型重新解释为基于能量的模型，从而创建了一个结合了生成和判别能力的混合模型。这种方法不仅提高了分类准确率，还改善了样本生成的质量。模型的训练涉及对数似然的优化，并使用Stochastic Gradient Langevin Dynamics进行采样。

链接: https://arxiv.org/abs/1912.03263v2

本文提出一个解释常用分类模型的新思路, 将之解读为一种基于能量的模型, 得到一个生成模型和判别模型的混合模型, 这种混合模型的训练, 能够同时提高分类精度和样本生成质量.

本文的方法

首先介绍一下基于能量的模型 (Energy Based Models).
$p_{\theta}(\mathrm{x})=\frac{\exp \left(-E_{\theta}(\mathrm{x})\right)}{Z(\theta)}.$
其中, $Eθ(x):RD→RE_{\theta}(\mathrm{x}): \mathbb{R}^{D} \rightarrow \mathbb{R}$ , 被称为能量函数, $Z(θ)=∫xexp⁡(−Eθ(x))Z(\theta)=\int_{\mathbf{x}} \exp \left(-E_{\theta}(\mathbf{x})\right)$ 被称为配分函数(partition function). 要训练这个函数, 可以考虑优化对数似然的方法. 对 $θ\theta$ 求梯度:
$\frac{\partial \log p_{\theta}(\mathrm{x})}{\partial \theta}=\mathbb{E}_{p_{\theta}\left(\mathrm{x}^{\prime}\right)}\left[\frac{\partial E_{\theta}\left(\mathrm{x}^{\prime}\right)}{\partial \theta}\right]-\frac{\partial E_{\theta}(\mathrm{x})}{\partial \theta}.$