Code Comparison Tuning for Code Large Language Models

本篇文章属于LLM系列内容，旨在对《Code Comparison Tuning for Code Large Language Models》这一文献进行译介工作。

代码大型语言模型的代码比较调整

• 摘要
  • 1 引言
  • 2 方法论
  • 3 实验分析
  • 4 结论归纳
  • 研究局限性

摘要

我们设计了一种名为代码比较调整（CCT）的策略，这是一种简洁而高效的代码大型语言模型（Code-LLM）优化方式，能够更有效地应对代码中细微的错误问题。具体而言，我们引入了比较机制，并将其融合到指令微调流程之中，无论是在token层面还是在序列层面，均有助于模型识别出代码中的微小差异。为实现对原始代码与人工插入错误后的版本之间的对比分析，我们在token层面上采用了偏好损失函数进行详尽的比对。同时，我们还通过组合多个代码片段生成新的指令微调样本，以支持序列层级上的比较操作，从而进一步提升模型在修复错误方面的性能。基于HumanEvalFix基准测试所获得的实验数据表明，在多种不同的代码LLM中，CCT在pass@1指标上最高可达到4分，多项深入分析也充分验证了本方法的有效性与可行性。

1 引言

研究方法概述

3 实验

研究结论总结

在本项研究中，我们通过在 指令调优 的实施过程中引入代码对比机