REMIND Your Neural Network to Prevent Catastrophic Forgetting

本系列文章属于神经网络相关专题，旨在对《REMIND Your Neural Network to Prevent Catastrophic Forgetting》这一文献进行翻译工作。

提醒你的神经网络以防止灾难性遗忘

• 摘要
  • 1 引言
  • 2 问题界定
  • 3 相关研究
  • 4 REMIND：借助内存索引进行数据重放
  • 5 实验：图像分类任务
  • 6 实验：增量视觉问答
  • 7 补充分类实验
  • 8 分析与结论

摘要

人类的一生始终伴随着学习过程。然而，对传统神经网络结构进行逐步更新可能会引发严重的遗忘问题。为应对这一挑战，一种广泛应用的解决策略是重放，其设计灵感源自于大脑如何强化记忆的机制。重放过程通常涉及在新数据与旧数据混合的基础上对网络实施微调操作。尽管神经科学研究表明大脑倾向于回放经过压缩处理的记忆片段，但当前的卷积网络方法往往直接回放原始图像内容。在此基础上，我们提出了一种名为REMIND的创新方法，该方法借鉴了大脑的工作原理，能够通过压缩后的表示形式实现高效的重放操作。REMIND采用在线训练模式，即逐个样本进行学习，这种机制更贴近人类的学习方式。在相同的实验条件下，REMIND在ImageNet ILSVRC-2012数据集上的增量类学习任务中表现出优于其他现有方法的性能。我们进一步分析了REMIND