Pytorch学习（二十三）---- 各层采用不同的学习率策略（高级版）
发布时间
阅读量：
阅读量
简化版方案，
在pytorch官方文档中提及，针对网络中各层可采用差异化的学习率设置，该方法具有实际应用价值。
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
不过，这一设计过于基础，例如，我设置了一种独特的结构，暂且称之为Adaptive Sigmoid层，其具体形式如下：
import torch
import torch.nn as nn
class Adaptive_Sigmoid(nn.Module):
def __init__(self, alpha=1., beta=100.):
super(Adaptive_Sigmoid, self).__init__()
self.alpha = alpha
self.beta = beta
se全部评论 (0)
还没有任何评论哟~