第八章 基于梯度的一致优化方法研究（Python版）

本章我们将探讨如何以梯度一致性作为元学习的目标来进行优化。与MAML类似地，在不同任务之间计算出相应的平均值并进行模型更新。在这一过程中，在加权平均法的基础上进一步细化操作步骤：首先我们通过对不同任务之间的梯度求平均值并对模型进行更新；其次同时我们也在不断探索并掌握如何给每个特定的任务赋予适合其特点的权重系数从而实现更为优化的结果输出。

梯度一致，一种优化算法

在MAML和Reptile框架下，一致梯度方法以提升元学习算法的效果为目标，在多个相关任务上具有良好的泛化能力。从而使得从少量数据中快速收敛。

How can we link weights and gradients to highlight the importance of their consistency? As a result, we introduced weights multiplied with each gradient to modify the external gradient update equation. How are these weights calculated? These weights are proportional to the inner product between the task gradient and the average gradient