Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

本篇文章属于LLM系列内容，主要涉及对《监督与非监督持续学习中表征遗忘的探究》一文的译介工作。

有监督与无监督连续学习中的表征遗忘探究

• 摘要
  • 1 引言
  • 2 相关研究
  • 3 研究背景与技术手段
  • 4 实验分析
  • 5 总结

摘要内容提炼

持续学习（CL）研究一般聚焦于应对神经网络中出现的灾难性遗忘问题。这种现象通常表现为，当任务或更广泛地说是数据分布发生变化时，模型先前习得的知识会突然丢失。在监督学习场景下，这种因模型表示变化而引发的遗忘现象，往往通过评估旧任务性能的下降程度来衡量或观察。然而，模型的表示形式可以在不丢失先前任务相关知识的前提下发生改变。在本项研究中，我们引入了表示遗忘这一概念，并借助最佳线性分类器在新任务引入前后的性能差异进行观察与分析。借助这一工具，我们重新审视了一些经典的持续学习基准测试，并发现，在未明确控制遗忘的情况下训练出的模型表征通常会经历轻微的表示遗忘，且在某些情况下其效果甚至可与专门设计用于控制遗忘的方法相媲美，尤其是在较长的任务序列中表现更为明显。此外，我们还指出，表示遗忘现象能够为持续学习过程中所涉及的模型容量和损失函数的影响提供新的理解视角。基于上述研究成果，我们提出了一种简单但具有竞争力的方法：通过标准监督下的对比学习方式不断优化表征，并在查询旧样本时构建类别的原型样本以辅助学习过程。