Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy

本篇内容属于LLM系列文章，旨在对《Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model __ with Proxy》这一文献进行语言转换处理。

代理RLHF:带代理的大型语言模型中的解耦生成和对齐

• 摘要
  • 1 引言
  • 2 代理-RLHF
  • 3 实验
  • 4 相关工作
  • 5 结论
  • 局限性

摘要内容提炼

基于人类反馈的强化学习（RLHF）作为主流技术路径，被广泛应用于保障大型语言模型（LLM）与人类价值体系的一致性。然而，当前RLHF方法存在较高的计算资源消耗问题，其根源在于该方法同时将内容生成与价值对齐两项任务交由LLM完成。本文提出了一种名为Proxy RLHF的新方法，通过将LLM的内容生成与价值对齐流程进行解耦处理，在显著降低计算开销的前提下实现了与人类价值观的协调一致。我们首先构建了一个专为对齐过程设计的新型马尔可夫决策过程（MDP __ ），并借助强化学习（RL）训练出一个简化的代理模型，该模型在不改变原始LLM结构的前提下，对LLM的token生成过程进行监督。实验结果显示，相较于其他方法，本研究提出的方案仅需1%的训练参数量即可达到相当的对齐效果。

1 引言

2 代理-RLHF