Evaluating the Application of Large Language Models to Generate Feedback in Programming Education

本篇文章属于LLM系列论述，主要涉及对《评估大型语言模型在编程教育中生成反馈应用》这一文献的译介工作。

评估大型语言模型在程序设计教育中产生反馈的应用

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 分析
  • 4 实验数据
  • 5 分析与探讨
  • 6 总结
  • 7 前景展望

摘要内容提炼

本项研究针对大型语言模型，尤其是GPT-4在编程教学中的应用进行了探讨。研究中提出了一款基于网络的应用程序设计方案，该程序借助GPT-4为学习者提供编程练习的反馈信息，同时避免直接暴露正确答案。研究人员构建了这一应用程序，并在为期一个学期的教学过程中，对51名学生进行了实际测试。实验结果显示出，由GPT-4生成的反馈内容在多数情况下能够有效识别并纠正代码中的错误。不过，所出现的错误建议以及幻觉现象也揭示出当前系统仍存在一定的缺陷，亟需进一步优化与完善。

1 引言

2 相关工作

3 评估

研究结果概述

5 讨论

研究结论总结

对Tutor Kai进行的评估显示，GPT-4生成的反馈内容已能够识别并指出代码中存在的大部分问题。与此同时，过往相关研究中所遇到的反馈内容涉及代码错误的情况，如今已基本得到解决。总体而言，学生群体对于所获得的反馈评价较为正面，在1至7分的评分