论文阅读-1 | Few-Shot Regression Via Learned Basis Functions

1 概述

1.1 论文题目

通过学习基函数的小样本回归(Few-Shot Regression Via Learned Basis Functions)

1.2 摘要

  近来，小样本学习算法使模型能够在仅有的几个训练样本的基础上快速适应新任务。以前的小样本学习内容主要集中在分类和强化学习上。在本文中，我们提出了一种专门针对回归任务的小样本元学习系统。我们的模型是基于这样的想法：如果未知函数被表示为一组适当的基础函数的线性组合，那么它的自由度就可以大大降低。这使得少数标记的样本就能近似于该函数。我们设计了一个特征提取器网络(Feature Extractor network) 来编码任务分布的基础函数，以及权重生成器(Weights Generator) 来生成新任务的权重向量。我们表明，我们的模型在各种回归任务中的表现优于目前最先进的元学习方法。

2 研究内容

2.1 简介

  回归处理的是学习一组输入与一组输出之间的模型问题。学习的模型可以被认为是函数 $y=F(x)$ ，它将给出一个预测 $y\in R^{d_y}$，给定输入$x\in R^{d_x}$，其中$d_y$和$d_x$分别是输出和输入的尺寸。通常情况下，回归模型是在大量的数据点上训练出来的，以便能够对新的输入进行准确预测。最近，关于小样本学习方法的有了很大的发展 (Vinyals et al.,2016; Koch et al., 2015; Gidaris & Komodakis, 2018)。 小样本学习方法只需要每个任务中的几个例子，就能够迅速适应并在新任务中表现良好。小样本学习模型实质上是学会学习，即模型学会了快速适应新的任务，而不仅仅是学会对特定的输入样本作出正确的预测。

  在这项工作中，我们提出了一个针对小样本回归任务的小样本学习模型。我们在正弦波回归任务上评估了我们的模型，并将我们的模型的性能与几种元学习算法进行了比较。 我们进一步介绍了另外两个回归任务，即由偏微分方程建模的一维热方程任务和二维高斯分布任务。

2.2 相关的工作

  回归问题长期以来一直是机器学习和信号处理界的一个研究主题(Myers & Myers, 1990; Specht, 1991)。虽然回归与分类类似，但回归估计的是一个或多个标量值，通常被认为是一个单一任务问题。 我们的模型反而将回归问题重新表述为一个小样本学习问题，使我们的模型能够对从同一任务分布中采样的任务进行回归。

  元学习的问题同样也是一般机器学习界长期关注的话题 (Thrun & Pratt, 1998; Schmidhuber, 1987; Naik & Mammone, 1992)。元学习已被应用于小样本学习问题，它关注的是能从先前经验中学习以适应新任务的模型。 Lake等人（2011年）在2011年首次提出了单次分类问题，并引入了Omniglot数据集，作为一个类似于MNIST数据集（LeCun，1998）的传统分类的小样本分类数据集。 从那时起，就涌现了大量的小样本学习方法（Vinyals等人，2016；Finn等人，2017；Gidaris & Komodakis，2018；Rusu等人，2018），但其中大部分都集中在小样本分类和强化学习领域。

  图1：模型概览。请注意，在元训练期间，我们使用回归任务的真实任务标签作为权重发生器的输入，以训练权重发生器和特征提取器，而任务标签发生器生成的任务标签只在元测试期间使用。

3. 通过学习基函数的小样本回归

  我们首先讨论我们的想法。我们的目标是开发一个能够迅速适应回归一个新函数的模型，该模型仅基于该函数的几个样本。具体来说，我们希望对未知函数 $y=F(x)$ 进行建模，只给 $D_{train}$ = $\{(x^k,y^k)|k=\mathrm{1...}K\}$ 。对于小的 K，例如$K=10$，这是一个棘手的任务，因为F(x)可以采取任何形式。我们遵循常见的设置：我们假设我们想回归的每个函数是一个从未知分布 $p(T)$ 中抽取的任务 $T_i$。

  为了简化讨论，我们假设标量输入和标量输出。我们的想法是学习未知函数 $F(x)$ 的稀疏或可压缩表示，以便少数样本 $\{(x^k,y^k)|k=\mathrm{1...}K\}$ 可以提供足够的信息来估计$F(x)$。具体来说，我们将未知函数$F(x)$建模为一组基础函数 { ϕ i ( x ) } \{\phi_i(x)\} { ϕi​(x)}的线性组合。

$$F(x)=\sum _i{w}_i\varphi$$