Qwen3：当＜|im_end|＞突然变成＜|endoftext|＞时

Qwen3 基础版终止符变更的影响

让我们深入探讨 Qwen3 基础模型中分词器更新的影响。

唯一的变化是： eos_token 被替换为 <|endoftext|> 。这一变更加符合逻辑，使分词器行为更贴近标准基础模型。 <|im_end|> 标记通常用于后训练的指令模型中，用于标识助手回复的结束——这也正是生成过程预期终止的位置。

然而，聊天模板仍在使用 <|im_end|> 且从不插入 <|endoftext|> 。这会引发一个问题。如果您使用聊天模板对基础模型进行微调，随后又启用了新版分词器， <|im_end|> 将不再被识别为序列结束标记。推理框架将无法确定生成文本的终止位置。

这或许能解释为何 IFEval 测试结果不佳，尤其是考虑到该基准测试中有多个提示词要求特定格式或限制响应长度。

为了解决这个问题，在使用新版分词器配合聊天模