Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning

本篇文章属于LLM系列内容，主要涉及对《Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion》这一文献的译介工作。

用自适应分类准则减轻任务增量连续学习中的灾难性遗忘

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 技术手段
  • 4 实验配置
  • 5 实验结果
  • 6 总结
  • 7 不足之处

摘要内容提炼

任务增量连续学习指的是在一系列任务中持续训练模型，同时有效应对灾难性遗忘（CF）问题。该问题的产生源于在学习新任务的过程中，模型会遗忘先前习得的表示，并对决策边界造成干扰。过去的研究主要关注如何恢复已学习任务的表示，而较少涉及将决策边界适配至新的表示形式。本文中，我们提出了一种具备自适应分类标准的监督对比学习框架，用于连续学习（SCCL）。在所提方法中，通过对比损失直接获取不同任务的表示，并保留一定数量的数据样本作为分类标准。在推理阶段，将这些保存的数据样本输入当前模型以生成更新后的表示，并结合k个最近邻居模块完成分类操作。借助这一机制，可扩展模型能够依据保存样本所提供的自适应准则处理学习任务。为进一步缓解CF现象，我们还引入了实例关系提取正则化项以及内存回