SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors

SIMBENCH论文核心总结与翻译

主要内容

SIMBENCH是首个大规模标准化基准，用于评估大型语言模型（LLM）模拟群体级人类行为的能力。它整合了20个多样化数据集，涵盖道德决策、经济选择、心理评估等任务，覆盖130多个国家的参与者，提供了统一的评估框架和指标。研究通过六大核心问题展开：当前LLM模拟能力有限（顶尖模型得分仅40.80/100）；模拟性能随模型规模呈对数线性增长，但不受推理时计算量提升影响；存在对齐-模拟权衡（指令微调改善低熵共识问题表现，却损害高熵多样化问题性能）；模型在模拟特定人口统计群体（尤其是宗教/意识形态群体）时表现较差；模拟能力与深度知识密集型推理能力（如MMLU-Pro，相关系数0.939）相关性最强。

创新点

1. 构建首个大规模标准化基准：统一20个异质数据集为标准化格式，涵盖多任务类型和全球多样化参与者，解决现有评估碎片化问题。
2. 揭示关键性能规律：明确模型规模与模拟能力的对数线性关系，发现推理时计算量无实质增益，提出对齐-模拟权衡这一核心矛盾。
3. 精细化评估维度：设计SimBenchPop（广泛人群模拟）和SimBenchGrouped（特定群体模拟）两个子集，支持人口统计细分分析。
4. 建立科学评估体系：基于总变异距离（TVD）设计SIMBENCH得分，区分基础模型与指令微调模型的最优评估方式（分别为令牌概率和语言化分布）。

翻译部分（Markdown格式）