2025_NIPS_Language Models are Weak Learners

文章核心总结与翻译

一、主要内容

该研究聚焦于将基于提示的大型语言模型（LLM）作为弱学习器整合到提升算法（Boosting）中，用于表格数据分类任务，核心内容如下：

1. 核心定位：弱学习器是指性能略优于随机猜测的分类器，是提升算法的基础；而LLM通过提示工程可有效充当此类弱学习器，尤其适用于数据量较少的表格数据场景。
2. 关键流程：
   • 数据转换：将表格数据（含连续型和离散型属性）通过LLM零样本提示转换为自然语言描述，对连续属性采用分箱量化（如“低/中/高”）处理，确保描述简洁且符合自然语言分布。
   • 弱学习器生成：通过分层聚类采样选取代表性数据子集，利用LLM对其总结生成模板（即提示），该总结可编码数据规律，作为弱学习器。
   • 提升集成：将多个LLM生成的弱学习器整合到AdaBoost框架中，通过加权投票生成最终分类结果，无需微调LLM参数。
3. 实验验证：在18个UCI和OpenML表格数据集上验证，结果显示该方法（Summary Boosting）在少样本场景下显著优于零样本、少样本学习及传统树基提升算法（如XGBoost），尤其在数据量小（≤300条）、连续属性少的任务中表现突出。
4. 局限性：处理多连续属性数据集时性能不及微调方法；受LLM上下文长度限制；依赖商业API存在隐私和透明度问题；继承了预训练数据中的偏见。