2025_NIPS_Fairness-guided Few-shot Prompting for Large Language Models

一、文章主要内容总结

该研究聚焦于大语言模型（LLMs）的上下文学习（ICL）不稳定性问题——即少样本提示词的示例选择、顺序排列和格式差异会导致模型性能波动，核心从预测偏差（Predictive Bias） 视角切入，提出了基于偏差评估的提示词优化方案。

1. 核心问题：现有提示词优化方法（如嵌入空间调优、文本空间搜索）存在局限，要么需修改模型推理流程（不适用于GPT-3等黑盒服务），要么仅单维度优化（如仅选示例或仅排顺序），缺乏统一的性能解释视角。
2. 关键发现：提示词的质量与其内在预测偏差强相关——对“无语义输入”（如“[N/A]”），优质提示词应让模型输出均匀分布（偏差低），且这种“公平性（Fairness）”指标与下游任务准确率高度正相关。
3. 提出方法：设计两种偏差引导的提示词搜索策略，均在原始文本空间优化（无需修改模型）：
   • T-fair-Prompting：先计算单个示例的偏差，选择偏差最小的top-k个示例构建提示词，复杂度O(N)，高效但偏局部优化。
   • G-fair-Prompting：贪心搜索策略，每步选择能最大化当前提示词公平性的示例加入，从局部到全局优化，复杂度O(N²)，性能更优。
4. 实验验证：在GPT-3、BLOOM、LLaMA系列模型上，针对SST-2、AGNews、TREC等多任务测试，两种方法（尤其G-