第7章 Meta-SGD 和 Reptile
发布时间
阅读量：
阅读量
Meta-SGD是一种应用于快速学习过程的元学习算法，与MAML存在差异之处。相较于MAML，Meta-SGD不仅能够确定最佳参数，还能够同时确定最优的学习率以及参数更新的方向。该算法仅对MAML进行了细微的改进。在MAML框架下，模型参数theta通常采用随机初始化的方式，并通过寻找适用于多个任务的通用最优参数来实现泛化；而在Meta-SGD中，除了对模型参数theta进行学习外，还进一步引入了对自适应项中学习率和更新方向的学习机制。
# encoding=utf-8
import numpy as np
# 生成数据点
def sample_points(k):
x = np.random.rand(k, 50) # k以内50个数
y = np.random.choice([0, 1], size=k, p=[.5, .5]).reshape([-1, 1])
return x, y
x, y = sample_points(10)
print(x[0])
print(y[0])
# 单层神经网络
class MetaSGD(object):
全部评论 (0)
还没有任何评论哟~