Asynchronous-decentralized-Federated Learning Paper Review 8/29

29 paper review

推荐FL的survey：

• 前沿与发展问题研究——联邦学习领域的探索
• 机器学习技术与计算及通信控制结合在动态边缘云中的发展现状探讨：面临的挑战及未来展望
• 边缘计算与深度学习融合趋势：全面回顾

近期在阅读asynchronous的FL文章，并且会接觸到一些decentralized的SGD相关内容。然而到目前为止，并未深入研究相关的数学证明。主要了解了算法及其动机。

这个论文对我来说还不太容易理解。它的主要贡献在于提出了rank-r powerSGD压缩算法的核心内容，并未对其原理进行详细阐述（具体解释可能在附录中提到）。该算法的核心思想是通过error-feedback机制记录local梯度与近似梯度之间的差异（这些误差会在后续迭代中被利用）。为了简化计算过程，linear model可以使得模型在计算或通信时直接相加（而不是逐个拼接起来），这种表述可能略显复杂（建议参考论文中的图A和图B）。值得注意的是，在处理over-parameterized low-rank approximation问题时（这部分内容可能较为晦涩），读者可以通过查看论文中的图A和图B来更好地理解相关机制。此外，在这项研究中，默认假设了同步联邦学习场景（这部分内容主要基于作者提供的综述文献）。

下面两篇论文的asynchronous，都有提到用neighb