TensorFlow优化器
优化器是扩展类，其中包括用于训练特定模型的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要Tensor。优化器用于提高训练特定模型的速度和性能。
TensorFlow的基本优化器是 -
tf.train.Optimizer
此类在tensorflow/python/training/optimizer.py 路径中定义。
以下是Tensorflow中的一些优化器 -
- 随机梯度下降
- 随机梯度下降与梯度剪裁
- 动量
- Nesterov动量
- Adagrad
- Adadelta
- RMSProp
- Adam
- Adamax
- SMORMS3
这里我们将专注于介绍随机梯度下降，下面是创建优化器的代码 -
def sgd(cost, params, lr = np.float32(0.01)):
g_params = tf.gradients(cost, params)
updates = []
for param, g_param in zip(params, g_params):
updates.append(param.assign(param - lr*g_param))
return updates
基本参数在特定功能中定义。在随后的章节中，将重点介绍梯度下降优化以及优化器的实现。
