New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models

本项工作属于LLM系列研究范畴，旨在对《New Evaluation, Library, and Analysis of Step-by-Step Reasoning __ with Large Language Models》这一文献进行语言转换处理。

大型语言模型逐步推理的新评估、库和分析

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 AutoRace：自动推理链评估
  • 4 LLM推理机：统一的公式与库
  • 5 LLM分步推理分析
  • 6 结论

摘要

实现精准的逐步推理过程对于大型语言模型（LLM）在应对复杂问题、提升系统鲁棒性与增强可解释性方面具有关键作用。尽管当前已有大量关于高级推理方法开发的研究成果不断涌现，然而对生成推理链中各类LLM及推理策略进行系统性分析仍面临较大困难。这一困境主要源于两个核心问题的缺失：其一，缺乏一种能够针对不同任务自动评估生成推理链的方法；其二，缺少一种统一的形式化框架和标准化实现方式，以支持对多种推理方法的系统比较。本文致力于解决上述问题：首先，我们提出了一种名为AutoRace的全自动推理链评估工具。相较于现有指标所依赖的人工标注或预设LLM提示，这些方法难以适应多样化的任务需求。而AutoRace则能针对每个任务自动生成详尽的评估标准，并借助GPT-4依据这些标准进行精确评估。其次，我们