Torch7入门（五）——进一步了解optim

总说

回过头来看自己之前写的入门续集实在质量有待提升, 但实在懒得动手修改. 在学习 torch 7的第六章时简要介绍了优化器 optim的概念, 觉得其阐述不够清晰, 因此决定撰写一篇深入解析的文章. 对于入门级内容的学习已经结束到这里. 经过反思与实践后发现对查看 torch 框架下的深度学习代码基本上没有实质性的困难.

总览

x*, {f}, ... = optim.method(opfunc, x[, config][, state])

• opfunc 为我们定义了一个自封闭的功能块... ，其中必须包含一个名为 f 的函数用于计算优化参数 x 的导数。具体而言，在大多数场景下，在深度学习模型中f通常代表损失函数（loss function），而x则表示模型中的权重（weight）。在opfunc功能块内部实现时，请注意其中包含了类似于API接口的设计组件以实现上述功能。

    -- 这里的loss就是f
    local loss = criterion:forward(predict, trainlabels)
    local dloss_dpredict = criterion:backward(predict,trainlabels)
    
    -- 这里调用backward，这个backwar