Unity独立开发的开始

InstructGPT 技术报告 A部分

论文信息： Ouyang et al., OpenAI, 2022 (arXiv: 2203.02155v1)大语言模型（LLM）的训练目标是"预测互联网文本中的下一个token"，这与用户真正想要的——"有帮助地、安全地遵循指令"——之间存在根本性的错位（misalignment）。具体表现为模型可能编造事实、生成有偏见或有害的内容、或者根本不遵循用户指令。作者将这种现象称为语言建模目标的 目标错位（misaligned）。核心目标是让模型具备三个特质（借鉴 Askell et al., 2021 的框架

我们在图2中展示了这一过程。这个过程。

论文大体内容 本文主要提出了GPT-3.5（InstructGPT）模型，通过使用人类反馈的数据集进行监督学习（RLHF，即reinforcement learning from human feedback），对GPT模型进行Fine-tune，来达到预期效果。

把语言模型变大并不意味着会让模型更好的理解用户意图，例如大的语言模型会生成一些不真实、有害的、没有帮助的输出给用户，换句话说，这些模型并没有和用户的意图对齐（aligned）。在这篇论文中我们展示了通过使用用户反馈来微调模型的方法，从而使得语言模型在一系列任务上与用户意图对齐。首先通过人工撰写和OpenAI API两种方式收集问题(prompts)，然后人工来写这些问题的答案，从而构建成一个数据集，再使用这些数据集对GPT3进行有监督的微调；

可以通过“提示”并给定一些任务样例作为输入，大型语言模型（LMS）可以被用来执行一系列自然语言处理（NLP）任务。但是，这些模型经常表现出一些不期望行为，例如伪造事实，生成偏见或有毒文本，或者根本不遵守用户指令。这是因为用于训练大型LM的目标（token预测）与“遵守对用户有帮助，且安全的指令”这一目标不同。因此，我们认为语言建模的目标是未被对齐的。避免这些意外行为对于在数百个应用中部署和使用的语言模型尤其重要。我们通过让语言模型满足用户的意图来训练。

关于语言模型如何对齐的问题，最近也引起了关注（Gabriel, 2020）。Kenton et al.（2021）列出了由于对齐失败而导致的语言模型行为问题，包括生成有害内容和在指定目标错误时表现出的“游戏行为”。在与我们并行的研究中，Askell et al.（2021）提出将语言助手作为对齐研究的实验平台，研究了一些简单的基准模型及其扩展属性。未完待续…

把语言模型做大并不会使它们更好地遵循人类的意图。由于语言模型的输出的灵活性，它们可能生成一些不真实的、有毒的或是对用户没有帮助的输出。也就是说模型并不能和用户站在同一边。在这篇论文里，研究者通过以人类的反馈对模型进行微调来使得模型能够遵循用户的意图。从标注的prompts和通过OpenAI API提交的prompts里，研究者收集了一个标注者的演示的数据集，演示内容是想要模型学习到的一些行为，然后用这个数据集对GPT-3做微调。

论文：Training language models to follow instructions with human feedback链接：https://arxiv.org/abs/2203.02155。

​ LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读 目录 《Training language models to follow instructions with human feedback》翻译与解读 Abstract 1、Introduction引言 2、Related work相关工作 3、Methods a

语言模型越大并不意味着它能更好的理解用户的意图，因此在这篇论文中，展示了根据人的反馈对模型进行微调，使得语言模型能够在各种人物上更好的理解用户的意图。在评估中，1.3B参数的InstructGPT模型的输出比175B GPT-3的输出更受欢迎，尽管参数少了100倍。此外，InstructGPT模型虽然在公共的数据上的效果有所降低，但是真实性和减少有害方面生成的能力提升。论文表明，尽管InstructGPT仍然会犯一些简单的错误，但根据人类反馈进行微调是能够理解人类意图的一个有效的方式和方向。

但就像它的老兄弟一样，它并不完美，有时会产生不正确或无意义的响应，与人类的意图或期望的行为不符。由于所谓的 InstructGPT 语言模型的进步，它在极短的时间内取得了长足的进步。从 GPT-1、GPT-2 和 GPT-3 等模型演变的根源，到当前的功能和潜在应用，InstructGPT 是真正的游戏规则改变者。从本质上讲，Instruct GPT 的运行原理与其他 GPT 语言模型相同：它接受大量文本数据的训练，并使用这种训练根据收到的输入生成文本。他们编造事实的频率也较低，产出的毒性也较小。

这篇文章企图解决的问题：已有的大型语言模型（例如GPT3.5）并非模型越大越好。越大的模型仍然会生成假的、有害的、简单的和没有用的内容。简单的说，得不到用户想要的内容。解决方法：1.人工引导，使用监督学习。2.强化学习，人工帮助的情况下，训练一个模型，该模型会进一步引导GPT模型生成优质的结果。实验结果使用1.3B参数的模型对比GPT-3的1750B参数模型能取得更优的性能（即能生成更优，更有用，更安全，更无害的内容，调戏过ChatGPT的人应该更有体会）。

InstructGPT 论文总结

论文名称：Training language models to follow instructions with human feedback 中文翻译：利用人类反馈训练语言模型遵循指示 摘要 使语言模型变得更大并不会本质上使它们更能够符合用户意图。例如，大型语言模型可能会生成不真实、有毒或对用户无帮助的输出。换句话说，这些模型与其用户不对齐。在本文中，我们展示了一种通过人类反馈对语言模型进行微调，从而使其在各种任务上与用户意图保持一致的方法。我们从一组由标注者编写的提示和通过OpenAI A

InstructGPT 技术报告 B部分 (第二次修改，对重要结论进行了标注)

产生了三个数据集，1.让标注人员标注一部分数据，2.一个RM数据集，只需要排序就可以了，3.训练强化模型数据，不需要标注，因为标注来源于RM的标注。reward modeling(RM)，从sft模型中去掉最后一层unembedding layer，去掉softmax，加一个线性层，把prompt的完整输出向量变成一个分数，用的6b的gpt3，不是175b的gpt3，175b的训练不了，用的pairwise ranking loss，实际上是一个排序模型，对于每个prompt生成9个回答。