2025_NIPS_The Illusion of Progress? A Critical Look at Test-Time Adaptation for Vision-Language Mode

文章核心总结

本文针对视觉语言模型（VLMs）的测试时自适应（TTA）研究存在的实验设置不一致、评估指标单一、泛化性不足等问题，提出了全面的基准测试框架TTA-VLM。该框架统一实现了8种 episodic TTA 和7种 online TTA 方法，在15个数据集上对CLIP、SigLIP及经CoOp、MaPLe等训练时调优的模型进行评估，除分类准确率外，还纳入校准度、鲁棒性等多维度指标。核心发现包括现有TTA方法性能提升有限、与训练时调优方法兼容性差、准确率提升以牺牲模型可信度为代价，为TTA方法的公平比较和后续研究提供了重要基础。

主要创新点

1. 统一基准框架：首次构建涵盖多类TTA方法、多模型架构、多数据集的标准化评估体系，解决了现有研究实验设置不一致导致的公平性问题。
2. 扩展评估维度：突破仅关注准确率的局限，纳入校准度、分布外检测、对抗鲁棒性等指标，实现对TTA方法的全面评估。
3. 泛化性验证：将评估范围从主流的CLIP扩展到SigLIP及训练时调优模型，揭示了现有TTA方法的泛化能力缺陷。
4. 关键发现披露：通过大规模实验明确了TTA方法在性能提升、兼容性、可信度三方面的核心挑战，为后续研究指明方向。

Abstract 翻译

测试时自适应（TTA）方法因能在推理阶段提升CLIP等视觉语言模型（VLMs）的性能且无需额外标注数据，已受到广泛关