小学校园网站建设方案工作职责,window wordpress,郑州响应式网站设计,百度指数1000搜索量有多少笔记整理#xff1a;吴亦珂#xff0c;东南大学硕士#xff0c;研究方向为大语言模型、知识图谱 链接#xff1a;https://arxiv.org/abs/2203.02155 1. 动机 大型语言模型#xff08;large language model, LLM#xff09;可以根据提示完成各种自然语言处理任务。然而吴亦珂东南大学硕士研究方向为大语言模型、知识图谱 链接https://arxiv.org/abs/2203.02155 1. 动机 大型语言模型large language model, LLM可以根据提示完成各种自然语言处理任务。然而这些模型可能会展现出与人类意图不一致的行为例如编造事实、生成带有偏见或有害信息或者不遵循用户的指令。这种情况的原因在于LLM的训练目标是预测下一个标记token而不是有针对性地、安全地遵循用户的指令。这导致LLM与人类指令的对齐不足而这一点对于在各种应用中部署和使用LLM至关重要。因此本文的动机在于通过训练LLM使其与用户意图保持一致。为了实现这一目标本文采用了微调方法提出了基于人类反馈的强化学习策略reinforcement learning from human feedback, RLHF该技术将人类偏好作为激励信号来微调模型。作者的方法大致分为三个部分 1将GPT-3作为模型骨架采用监督学习的方式训练作为基线模型。 2人工对GPT-3的输出基于生成质量排序在基线模型基础上训练一个能够符合人类偏好的奖励模型。 3将奖励模型作为奖励函数采用极大化奖励的方式基于PPO算法微调基线模型。 通过上述3个阶段实现了GPT-3到人类偏好的对齐作者将微调后的模型称为InstructGPT。 2. 贡献 1提出了一种基于人类反馈的强化学习策略RLHF使得LLM能够更好地符合人类的偏好从而使模型更加有用、安全和诚实。 2InstructGPT相较于GPT-3生成的结果更符合人类的偏好具有更高的真实性和更低的潜在有害性。 3实验结果表明通过RLHF微调LLM可以更好的服从人类的指令并且具备更强的指令泛化能力。 3. 方法 本研究基于用户在OpenAI API上提交的文本提示和人工编写的文本提示创建了三个不同的数据集用于微调过程1监督微调数据集用于训练监督模型其中包含13k个训练样例2奖励模型数据集人工对模型的输出进行排序用于训练奖励模型该数据集包含33k个样例3PPO数据集没有人工标注用于进行基于人类反馈的强化学习训练该数据集包含31k个样例。图1展示了这三个数据集中任务的分布情况。 图1 数据集的任务分布 本研究将GPT-3作为基本预训练模型采用三个策略训练训练框架如图2所示 (1) 监督微调SFT, supervised fine-tuning采用监督学习方法微调GPT-3利用验证集上的奖励模型分数选择最佳的SFT模型。 (2) 奖励模型RM, reward modeling输入提示和回答训练模型输出量化的奖励。本研究采用6B模型作为基础模型因为作者发现175B模型可能不够稳定且在强化学习中不适合作为价值函数。为了提高训练效率不同于传统奖励模型每次对两个模型输出进行比较本研究要求标注者对4到9个回答进行排序。设K为排序的数量则标注者一共需要进行 次比较。由于每个标注任务中的比较具有很高的相关性如果简单地将比较混合成一个数据集进行训练可能导致奖励模型过拟合。因此本研究将每个提示的所有 个比较作为单个批次训练。这种做法避免了过拟合并且在计算上更加高效因为每次完成只需要对奖励模型进行一次前向传递而不是 次。奖励模型的损失函数定义如下 其中 θ 是奖励模型对于指令x和回答y给出的量化奖励 是 和 中更符合人类偏好的输出D为奖励模型训练数据集。 (3) 强化学习RL, reinforcement learning采用PPO算法对SFT模型进行微调。模型基于随机的指令产生回答奖励模型根据指令和回答生成奖励信号指导模型的微调过程。为了防止过拟合作者对每个生成的标记增加了逐标记的KL散度惩罚。通过这种方式训练的模型被称为PPO模型。此外作者还尝试将预训练模型的梯度与PPO梯度进行混合以缓解在公开自然语言处理数据集上性能下降的问题。这种方式训练的模型被称为PPO-ptx模型。强化学习训练旨在最大化以下目标 其中 πφ 是强化学习策略 π 是监督训练模型 是预训练分布。KL奖励系数β和预训练损失系数γ分别控制 KL 惩罚和预训练梯度的强度。 图2 RLHF训练框架 4. 实验 4.1 对比模型 本研究主要对经过RLHF训练的PPO模型与SFT模型、原版GPT-3模型以及GPT-3-prompted模型模型输入时加上若干例子构成前缀引导模型遵循指令进行了比较。同时还将InstructGPT模型与在FLAN和T0数据集上微调后的175B GPT-3模型进行了对比。 4.2 评测方法 本研究采用定量评估和定性评估相结合的评估方法。其中定量评估包括基于API提示数据的评估和在公开自然语言处理数据集上的评估。 1基于API提示数据的评估。数据来源于用户在InstructGPT API和GPT-3 API输入的提示。作者将175B SFT模型作为基线模型计算模型输出优于基线模型的频率。此外人工对于模型输出基于李克特量表进行打分。 2公开自然语言处理数据集上的评估。数据集主要分为两类一是反映模型在安全性、真实性、有害性和偏差性等方面表现的数据集二是衡量模型在传统自然语言处理任务上的零样本性能的数据集。 3定性评估。通过人工编写若干测试用例评测模型包括评估模型的泛化能力等。 4.3 结果 1基于API提示的评估 InstructGPT模型更符合人类偏好。实验中本研究将175B的SFT模型作为基线模型并统计了PPO模型、PPO-ptx模型、GPT-3模型和GPT-3-prompted模型相对于基线模型在人工评估中产生更高质量输出的频率。具体实验结果如图3所示。结果显示本文提出的PPO模型和PPO-ptx模型在GPT分布和Instruct分布下都表现最好。 图3 基于API提示的评估结果 InstructGPT在与人类偏好的对齐方面展现了一定的泛化能力。为了验证InstructGPT是否仅仅符合标注人员的偏好本研究选择没有进行数据标注的人对模型输出结果进行了评估并得出了一致的结论InstructGPT显著优于基线模型GPT-3。 公开的自然语言处理数据集无法完全反映语言模型的使用情况。为了进一步评估InstructGPT的性能本研究将其与在FLAN和T0数据集上微调的175B GPT-3进行了比较。实验结果表明微调后的175B GPT-3模型优于原版GPT-3与经过精心设计输入提示的GPT-3性能相当但不及SFT模型和InstructGPT。作者认为InstructGPT相对于微调后的GPT-3模型更具优势的原因有两个方面1公开数据集主要涵盖分类和问答等任务而在实际用户使用的数据中这两种任务只占很小比例。2公开的自然语言处理数据集无法包含足够多样性的输入。 2基于公开自然语言处理数据集的评估 相较于GPT-3模型InstructGPT在真实性方面有所提升。本研究通过在TruthfulQA数据集上进行人工评估发现PPO模型相对于GPT-3表现出一定的提升。此外本研究还采用了“InstructionQA”提示的方式引导模型在面临不确定正确答案的情况下回答“I have no comment”。实验结果显示在这两种设定下InstructGPT相对于GPT-3具有更好的性能具体实验结果见图4。 图4 TruthfulQA数据集的评估结果 相较于GPT-3模型InstructGPT生成的有害内容更少。本研究通过在RealToxicityPrompts数据集上进行评估从两个方面考察模型的性能1采用数据集标准的自动评估方法获取有害性分数。2人工对模型生成的回答进行有害性打分。在模型输入方面研究采用了两种设置不加入提示内容和加入提示内容以引导模型生成无害的内容respectful prompt。实验结果如图5所示。两种评估方法都表明在加入respectful prompt的设定下InstructGPT表现更好但在没有提示内容的情况下InstructGPT和GPT-3的性能相近。 图5 RealToxicityPrompts数据集上的评估结果 通过改进RLHF的微调过程可以减少在公开数据集上的性能下降。作者指出经过RLHF训练的PPO模型在多个公开自然语言处理数据集上可能受到“对齐税”的影响而性能下降。为了解决这个问题在PPO微调过程中引入了预训练更新这种模型称之为“PPO-ptx”。具体的实验结果如图6所示。实验结果表明相对于PPO模型PPO-ptx在HellaSwag数据集上表现出更好的性能超过了GPT-3模型。然而在其他任务上PPO-ptx的性能仍然不如GPT-3模型。 图6 多个公开自然语言处理数据集上模型的少样本性能 3定性评估 InstructGPT展现了对于指令的强大泛化能力。作者通过编写多个用例发现InstructGPT能够遵循非英语语言的指令进行总结和回答代码相关问题。这些任务在训练数据中仅占很小比例这表明通过对齐的方法模型能够生成出未经直接监督学习的行为。相比之下GPT-3需要经过精心设计的提示才能执行这些任务并且在代码相关任务以及非英语语言的指令任务等方面表现较弱。 InstructGPT仍然会出现简单的错误。这些错误包括将错误的假设视为正确对于简单问题不给出答案或给出多个答案以及在处理包含多个明确约束的指令时表现不佳。 5. 总结 本研究旨在解决LLM存在的编造事实和生成有害文本等问题通过基于人类反馈的强化学习方法微调语言模型使其与人类偏好对齐。实验证明经过强化学习微调后的模型生成的内容更可信有害内容减少对人类指令具有更好的泛化能力。然而在公开自然语言处理数据集上模型的性能有所下降作者将其称为“对齐税”并通过引入预训练数据来缓解性能下降的问题。未来的研究可以探索更有效的LLM对齐方法并开发减少“对齐税”的策略。 OpenKG OpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。 点击阅读原文进入 OpenKG 网站。
相关文章：
