Tensorflow应用优化器（操作指南）

对于Tensorflow中的优化器（Optimizer），目前已有的有以下：

基于梯度下降法的优化器通常用于训练深度学习模型
自适应矩估计优化器在处理稀疏梯度问题时表现出色
自适应矩梯度优化器通过动态调整学习率以提高收敛速度
AdagradDA优化器特别适用于处理稀疏数据场景
动量优化器通过引入惯性项加速收敛过程
Adam优化器以其高效的性能成为深度学习领域的主流选择
FTR线搜索优化器提供了一种精确的一维搜索方法
基于近端梯度的优化器在约束条件下表现出良好的效果
ProximalAdagrad优化器结合了动量和约束能力
RMSProp优化器通过维护滑动平均平方梯度来稳定训练过程

具有不同特性的优化器各有其特点，并非所有的优化器都值得被评判高低之分；有些则收敛较慢，在处理复杂问题时可能会遇到效率上的限制；而有些则收敛得较快，在较少的迭代次数内就能达到较好的效果。

此处以MNIST数据集识别分类为例进行不同优化器的测试

1、梯度下降法：tf.train.GradientDescentOptimizer()

 import tensorflow as tf

    
 from tensorflow.examples.tutorials.mnist import input_data
    
 #载入数据集
    
 mnist = input_data