Engineering flexible machine learning systems by traversing functionally-invariant paths

本篇文章属于LLM系列内容，主要涉及对《通过遍历功能不变路径构建灵活机器学习系统》这一文献的译介工作。

通过遍历函数不变路径设计柔性机器学习系统

• 摘要
  • 引言
  • 通过黎曼度量，可以在权重空间内构建出保持函数不变的路径
  • 函数不变路径（FIP）框架被应用于连续学习、稀疏化以及对抗性鲁棒性等任务中
  • 相关研究
  • 讨论

摘要

Transformer架构已发展为当前自然语言处理与计算机视觉领域中最为先进的神经网络结构。在基础模型的构建框架下，大规模的Transformer模型（例如BERT、GPT3/4、Bloom以及ViT）通常通过诸如单词或图像屏蔽等自监督任务进行预训练，并进一步针对下游应用场景（如指令执行与问答系统）进行微调以实现优化。尽管已有多种微调策略被提出，例如低秩权重更新方法（如LoRA），但关于如何在保持原有知识的前提下实现网络自适应的基本数学机制仍缺乏深入理解。本文提出了一种基于差分几何的框架，即函数不变路径（FIP），该方法为一系列机器学习目标及网络稀疏化任务提供了灵活且连续的神经网络自适应方案。我们把神经网络权重空间视为一个带有度量张量的弯曲黎曼流形，其中该张量的谱特性用于定义权重空间中的低秩子空间，并能够在不破坏先验知识的基础上完成网络调整。我们将这种自适应过程形式化为在权重空间中沿着测地线路径移动的过程，同