Leveraging Group Relative Policy Optimization to Advance Large Language Models in Traditional Chi...

一、文章主要内容总结

本文聚焦于大型语言模型（LLMs）在传统中医（TCM）领域的适配挑战，提出了基于分组相对策略优化（GRPO）强化学习方法训练的中医专用LLM——Ladder-base。中医知识体系具有语言复杂、结构非标准化等特点，现有通用LLM和中医专用模型在对齐性、数据质量和评估一致性上存在不足。Ladder-base以Qwen2.5-7B-Instruct为基础模型，仅使用TCM-Ladder基准测试的文本子集（80%训练、10%验证、10%测试）进行训练，通过GRPO方法优化响应选择，提升模型的推理能力和事实一致性。

实验结果显示，Ladder-base在中医诊断对话、填空题等任务中，以及诊断学、药理学、外科学等7个核心中医子领域，均优于GPT-4o、Gemini 2.5等主流通用LLM和BenTsao、HuatuoGPT2等中医专用模型，验证了GRPO方法在中医领域的有效性，为开发可信、贴合临床的中医AI系统提供了基础。

二、文章创新点

1. 首个GRPO训练的中医LLM：提出Ladder-base，是首个采用分组相对策略优化（GRPO）强化学习方法训练的中医专用模型，通过组内响应比较实现与中医专家知识的精准对齐。
2. 构建中医专属微调 pipeline：整合精选临床文本、结构化处方数据和领域特定反馈，提升模型的可解释性和推理深度，避免依赖西方生物医学数据，保证中医领域纯度。
3. 系统化评估与性能突破：在TCM-Ladder基准测试的多任务、多子领域中，全面对比通用LLM和现有中医模型