Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation

本篇文章属于LLM系列内容，主要涉及对《MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation》这一文献的译介工作。

MT-PATCHER：机器翻译大语言模型的选择性可扩展知识蒸馏

• 摘要
  • 1 引言
  • 2 背景介绍
  • 3 所采用的途径
  • 4 实验分析
  • 5 结果探讨
  • 6 总结归纳
  • 研究局限性

摘要内容提炼

大型语言模型（LLM）在机器翻译（MT）领域已展现出卓越的能力，然而其较高的计算成本与延迟问题仍不容忽视。鉴于此，将大型LLM中蕴含的翻译知识迁移至中型机器翻译模型，成为当前研究中的一个重要方向。然而，传统知识蒸馏方法往往忽略了学生模型与教师模型之间的能力差异，导致在学生模型已有知识的基础上反复进行训练，难以适应新的语境和扩展新的知识内容。本文提出了一种名为MT-PATCHER的框架，该框架以选择性、全面且主动的方式实现从LLM到现有MT模型的知识迁移。基于当前学生MT模型的翻译水平，我们仅识别并修正其存在的错误部分，而非直接从教师模型中提取全部翻译内容。借助LLM强大的语言理解能力，我们引导教师模型综合不同语境，并为学生预测可能存在的潜在错误