Zeno++ and clustered federated learning

最近阅读了两篇论文：Zeno++和clustered federated learning。在与导师交流后，意识到需要更加细致地研读文献，因此本周集中精力阅读了这两篇。其中一篇其实是在上周就浏览过，但这次是以更严谨的态度重新审视。本周主要的阅读重点是cluster federated learning这篇论文，我对其内部的推导过程进行了完整的梳理。

ZENO++: ROBUST FULLY ASYNCHRONOUS SGD
该模型属于异步类型，其架构包含server和worker两个部分，整体为集中式结构。每个worker从server获取当前参数X_t作为自身模型的初始参数，并利用本地数据集进行训练，生成更新后的梯度\tilde{g}，随后将其上传至server。这一过程构成了worker的一次迭代操作。
对于server而言，维护了一个变量v，该变量是基于server自身的数据集计算得到的梯度。当server接收到任意一个worker上传的\tilde{g}时，会通过与v之间的相似性进行评估，并采用硬阈值法判断是否允许更新X_t。若相似度较高，则执行更新操作；同时，在更新v时采用lazy_update策略以降低计算开销（因为每次计算v都需要运行一次模型，耗时较大）。
该方法的优势在于能够有效应对拜占庭错误（即由于通信故障导致梯度偏离