从自然对话中学习反馈:一种可扩展的语言模型改进方法

在人工智能及自然语言处理领域，人类提供的反馈数据对于构建高质量的语言模型具有关键作用。然而，获取此类数据通常需要较高的成本，并且难以实现大规模采集。最近，希伯来大学与麻省理工学院的研究人员提出了一种全新的途径，能够从用户与聊天模型之间的自然对话中提取有效的反馈信息，并借助这些信息对语言模型进行训练和优化。该研究不仅为获取大量反馈数据提供了切实可行的方案，同时也验证了利用自然反馈数据进行模型训练所取得的明显成效。

研究背景概述

当前，语言模型的常规训练流程一般涵盖两个主要环节：预训练与对齐。在预训练环节，模型通过分析海量文本数据，掌握语言的基础规则与相关知识。而在对齐环节，模型则需借助人类反馈数据进行参数调整，从而更贴合人类的预期与倾向。该过程往往依赖人工标注和评分机制，因而存在成本高且扩展性差的问题。

学者们发现，在人与人之间的交流过程中，并不需要专门的评判者来判断回答是否令对方满意。相反，可以从对话内容本身推导出相应的反馈信息。基于这一发现，研究团队开发出一种从人机对话中自动获取自然反馈的新方法。

自然反馈的优势分析

与传统的人工标注方式相比较，从自然对话中采集反馈具备以下几方面的优势：

可扩展性突出：伴随着诸如ChatGPT等通用型助手模型的广泛应用，人机交互所产生的数据正以惊人的速度持续增长。这种趋势为收集大量反馈信息创造了现实条件。