Paper Reading: (InPL) 不平衡半监督学习中的分布内伪标记优先

简介

题目：《InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning》, ICLR’23

​ InPL:不平衡半监督学习中的分布内伪标记优先

日期：2023.2.2
单位：威斯康星大学麦迪逊分校
论文地址：https://openreview.net/forum?id=m6ahb1mpwwX
GitHub：-

• 作者
  Zhuoran Yu
  

研究领域：之前是目标检测，今年发了两篇半监督相关的，一个是这篇，一个是人体姿态估计

Yin Li， https://www.biostat.wisc.edu/~yli/

Yong Jae Lee

副教授，威斯康星州麦迪逊 计算机科学大学系

• 摘要

最近最先进的不平衡半监督学习（SSL）方法依赖于具有一致性正则化的基于置信度的伪标记。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度得分可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们为不平衡SSL的伪标记提供了一个新的视角。在不依赖模型置信度的情况下，我们建议测量未标记的样本是否可能“分布”；即接近于当前训练数据。为了确定未标记样本是“分布中”还是“分布外”，我们采用分布外检测文献中的能量分数。随着训练的进行，越来越多的未标记样本分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实的类分布，以改进模型。实验表明，我们的基于能量的伪标记方法InPL虽然概念简单，但在不平衡SSL基准上显著优于基于置信度的方法。例如，它比CIFAR10-LT的绝对精度提高了约3%。当与最先进的长尾SSL方法相结合时，可以获得进一步的改进。特别是，在最具挑战性的场景之一中，InPL的准确率比最好的竞争对手提高了6.9%。

目标/动机

大多数方法都是为平衡SSL设置而设计的，其中每个类都有相似数量的训练样本，而大多数真实世界的数据自然是不平衡的，通常遵循长尾分布。

最先进的不平衡SSL方法建立在伪标记和一致性正则化框架的基础上，通过增加额外的模块来解决特定的不平衡问题（例如，使用每类平衡采样）。至关重要的是，这些方法仍然依赖于基于置信度的阈值处理来进行伪标记，其中只有预测类别置信度超过非常高阈值（例如0.95）的未标记样本才被伪标记用于训练。

尽管基于置信度的伪标记在平衡SSL中取得了成功，但在不平衡的长尾设置中面临两个主要缺点。首先，应用高置信度阈值会显著降低少数类别的伪标签召回率，导致类别失衡加剧。降低阈值可以提高尾部类别的召回率，但代价是降低其他类别的精度（见第4.4节中的分析）。其次，先前的研究表明，即使在分布外的样本上，深度网络中基于softmax的置信度得分也可以任意高。因此，在模型通常偏向多数类的长尾场景下，即使实例实际上来自尾部类，模型也可以预测头部类的高置信度分数，导致头部类的精度低。

考虑到使用置信度得分作为伪标记标准的缺点，试图设计一种更好的方法来确定是否应该对未标记的样本进行伪标记。<