低代码SFT有监督微调Qwen3大模型的实践分享

近期工作上都在往大模型上做技术迁移和升级，所以做了一些大模型的调研、微调的工作。前面有篇文章分享了Qwen2.5-VL做图文理解生成，这里主要介绍使用Qwen3文本生成模型来做有监督微调的案例，做下经验总结和分享。这里借助LLaMA Factory 工具，它是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。有个这个微调工具平台，我们只需要做一些偏工程、数据上的工作，即可完成大模型的微调和训练，过程变得相当简单易上手操作。

1、选择模型

Qwen3系列的文本生成模型有很多参数量级的可选择，可根据自己服务器的大小去选择。

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令遵循、代理能力和多语言支持方面实现了突破性进展，具有以下关键特性：

• 独特支持在单一模型内无缝切换思维模式（适用于复杂的逻辑推理、数学和编码）和非思维模式（适用于高效、通用的对话），确保在各种场景下的最佳性能。
• 显著增强其推理能力，在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ（在思维模式下）和 Qwen2.5 指令模型（在非思维模式下）。
• 优越的人类偏好对齐，在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、吸引人和沉浸式的对话体验。
• 代理能力专长，能够在思维和非思维模式下与外部工具精确集成，并在复杂的基于代理的任务中达到开源模型中的领先性能。
• 支持 100 多种语言和方言，具备强大的多语言指令遵循和翻译能力。

1.1 Qwen3-4B