动手学深度学习11.8. RMSProp算法-笔记&练习(PyTorch) ...

打印 上一主题 下一主题

主题 1012|帖子 1012|积分 3036

以下内容为结合李沐老师的课程和教材补充的学习笔记,以及对课后练习的一些思索,自留回顾,也供同砚之人交流参考。
本节课程地址:72 优化算法【动手学深度学习v2】_哔哩哔哩_bilibili
本节教材地址:11.8. RMSProp算法 — 动手学深度学习 2.0.0 documentation
本节开源代码:...>d2l-zh>pytorch>chapter_optimization>rmsprop.ipynb

RMSProp算法

11.7节 中的关键题目之一,是学习率按预定时间表 
 明显降低。 固然这通常实用于凸题目,但对于深度学习中遇到的非凸题目,大概并不理想。 但是,作为一个预处理器,Adagrad算法按坐标顺序的适应性是非常可取的。
(Tieleman and Hinton, 2012) 发起以RMSProp算法作为将速率调度与坐标自适应学习率分离的简单修复方法。 题目在于,Adagrad算法将梯度 
 的平方累加成状态矢量 
 。 因此,由于缺乏规范化,没有约束力, 
 持续增长,几乎上是在算法收敛时呈线性递增。
办理此题目的一种方法是使用 
 。 对 
 的公道分布来说,它将收敛。 遗憾的是,限定行为见效大概必要很长时间,因为该流程记住了值的完整轨迹。 另一种方法是按动量法中的方式使用泄漏平均值,即 
 ,此中参数 
 。 保持所有其它部分不变就产生了RMSProp算法。
算法

让我们具体写出这些方程式。

常数 
 通常设置为 
 ,以确保我们不会因除以零或步长过大而受到影响。 鉴于这种扩展,我们现在可以自由控制学习率 
 ,而不思量基于每个坐标应用的缩放。 就泄漏平均值而言,我们可以采用与之前在动量法中实用的相同推理。 扩展 
 定义可获得

同之前在 11.6节 小节一样,我们使用 
 。 因此,权重总和尺度化为 1 且观测值的半衰期为 
 。 让我们图像化各种数值的 
 在已往40个时间步长的权重。

补充:
每个已往的梯度平方 
 的权重是 
 。随着时间步 
 的增长,权重 
 会渐渐衰减。因此, 
 的值决定了历史梯度平方对当前更新的贡献程度。


  • 假如 
     靠近 1,权重衰减得慢,历史信息的影响持续时间长。
  • 假如 
     靠近 0,权重衰减得快,历史信息的影响持续时间短。

  1. import math
  2. import torch
  3. from d2l import torch as d2l
  4. d2l.set_figsize()
  5. gammas = [0.95, 0.9, 0.8, 0.7]
  6. for gamma in gammas:
  7.     x = torch.arange(40).detach().numpy()
  8.     d2l.plt.plot(x, (1-gamma) * gamma ** x, label=f'gamma = {gamma:.2f}')
  9. d2l.plt.xlabel('time')
复制代码

 

从零开始实现

和之前一样,我们使用二次函数 
 来观察RMSProp算法的轨迹。 追念在 11.7节 一节中,当我们使用学习率为0.4的Adagrad算法时,变量在算法的后期阶段移动非常缓慢,因为学习率衰减太快。 RMSProp算法中不会发生这种环境,因为 
 是单独控制的。
  1. def rmsprop_2d(x1, x2, s1, s2):
  2.     g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6
  3.     s1 = gamma * s1 + (1 - gamma) * g1 ** 2
  4.     s2 = gamma * s2 + (1 - gamma) * g2 ** 2
  5.     x1 -= eta / math.sqrt(s1 + eps) * g1
  6.     x2 -= eta / math.sqrt(s2 + eps) * g2
  7.     return x1, x2, s1, s2
  8. def f_2d(x1, x2):
  9.     return 0.1 * x1 ** 2 + 2 * x2 ** 2
  10. eta, gamma = 0.4, 0.9
  11. d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d))
复制代码
输出结果:
epoch 20, x1: -0.010599, x2: 0.000000


接下来,我们在深度网络中实现RMSProp算法。
  1. def init_rmsprop_states(feature_dim):
  2.     s_w = torch.zeros((feature_dim, 1))
  3.     s_b = torch.zeros(1)
  4.     return (s_w, s_b)
  5. def rmsprop(params, states, hyperparams):
  6.     gamma, eps = hyperparams['gamma'], 1e-6
  7.     for p, s in zip(params, states):
  8.         with torch.no_grad():
  9.             s[:] = gamma * s + (1 - gamma) * torch.square(p.grad)
  10.             p[:] -= hyperparams['lr'] * p.grad / torch.sqrt(s + eps)
  11.         p.grad.data.zero_()
复制代码
我们将初始学习率设置为0.01,加权项 
 设置为0.9。 也就是说, 
 累加了已往的 
 次平方梯度观测值的平均值。
  1. data_iter, feature_dim = d2l.get_data_ch11(batch_size=10)
  2. d2l.train_ch11(rmsprop, init_rmsprop_states(feature_dim),
  3.                {'lr': 0.01, 'gamma': 0.9}, data_iter, feature_dim)
复制代码
输出结果:
loss: 0.245, 0.025 sec/epoch


轻便实现

我们可直接使用深度学习框架中提供的RMSProp算法来练习模子。
  1. trainer = torch.optim.RMSprop
  2. d2l.train_concise_ch11(trainer, {'lr': 0.01, 'alpha': 0.9},
  3.                        data_iter)
复制代码
输出结果:
loss: 0.244, 0.012 sec/epoch


小结



  • RMSProp算法与Adagrad算法非常相似,因为两者都使用梯度的平方来缩放系数。
  • RMSProp算法与动量法都使用泄漏平均值。但是,RMSProp算法使用该技术来调整按系数顺序的预处理器。
  • 在实验中,学习率必要由实验者调度。
  • 系数 
     决定了在调整每坐标比例时历史记载的时长。
补充

在RMSProp算法中,系数 
 决定了历史梯度平方对当前更新的贡献程度。具体来说,
 决定了历史信息的保留时长:


  • 较大的 
    (越靠近于1):保留更多历史信息,对近期梯度变革反应较慢。
  • 较小的 
    (越靠近于0):保留较少历史信息,对近期梯度变革反应更快。
这种机制使得RMSProp能够在动态调整学习率的同时,平衡对历史梯度信息的依赖程度。
练习


  • 假如我们设置 
     ,实验会发生什么?为什么?
    解:
    假如设置 
    ,则更新公式变为: 

    这意味着 
     的值将不再更新,始终保持为初始值
    ,RMSProp算法失去了动态动态调整学习率的能力,也无法根据梯度的历史信息举行优化,算法无法正常工作。
    代码如下:

  1. d2l.train_concise_ch11(trainer, {'lr': 0.01, 'alpha': 1},
  2.                        data_iter)
复制代码
输出结果:
loss: nan, 0.012 sec/epoch



2. 旋转优化题目以最小化 
 。收敛会发生什么?
解:
RMSProp算法通过维护梯度平方的加权平均值来调整学习率,这使得它能够适应差别方向上的梯度变革,并相应地调整学习率,收敛到靠近(1,1)。
代码如下:

  1. def rmsprop_2d_rotation(x1, x2, s1, s2):
  2.     g1, g2, eps = 4.2 * x1 - 3.8, 4.2 * x2 - 3.8, 1e-6
  3.     s1 = gamma * s1 + (1 - gamma) * g1 ** 2
  4.     s2 = gamma * s2 + (1 - gamma) * g2 ** 2
  5.     x1 -= eta / math.sqrt(s1 + eps) * g1
  6.     x2 -= eta / math.sqrt(s2 + eps) * g2
  7.     return x1, x2, s1, s2
  8. def f_2d_rotation(x1, x2):
  9.     return 0.1 * (x1 + x2) ** 2 + 2 * (x1 - x2) ** 2
  10. eta, gamma = 0.4, 0.9
  11. d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d_rotation))
复制代码
输出结果:
epoch 20, x1: 0.840102, x2: 0.904762



3. 试试在真正的呆板学习题目上应用RMSProp算法会发生什么,例如在Fashion-MNIST上的练习。试验差别的取值来调整学习率。
解:
代码如下:

  1. import torch
  2. from torch import nn
  3. from d2l import torch as d2l
  4. net = nn.Sequential(
  5.     nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
  6.     nn.AvgPool2d(kernel_size=2, stride=2),
  7.     nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
  8.     nn.AvgPool2d(kernel_size=2, stride=2),
  9.     nn.Flatten(),
  10.     nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
  11.     nn.Linear(120, 84), nn.Sigmoid(),
  12.     nn.Linear(84, 10))
  13. batch_size = 256
  14. train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
  15. def train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, device):
  16.     def init_weights(m):
  17.         if type(m) == nn.Linear or type(m) == nn.Conv2d:
  18.             nn.init.xavier_uniform_(m.weight)
  19.     net.apply(init_weights)
  20.     print('training on', device)
  21.     net.to(device)
  22.     loss = nn.CrossEntropyLoss()
  23.     animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],
  24.                             legend=['train loss', 'train acc', 'test acc'])
  25.     timer, num_batches = d2l.Timer(), len(train_iter)
  26.     for epoch in range(num_epochs):
  27.         metric = d2l.Accumulator(3)
  28.         net.train()
  29.         for i, (X, y) in enumerate(train_iter):
  30.             timer.start()
  31.             optimizer.zero_grad()
  32.             X, y = X.to(device), y.to(device)
  33.             y_hat = net(X)
  34.             l = loss(y_hat, y)
  35.             l.backward()
  36.             optimizer.step()
  37.             with torch.no_grad():
  38.                 metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])
  39.             timer.stop()
  40.             train_l = metric[0] / metric[2]
  41.             train_acc = metric[1] / metric[2]
  42.             if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
  43.                 animator.add(epoch + (i + 1) / num_batches,
  44.                              (train_l, train_acc, None))
  45.         test_acc = d2l.evaluate_accuracy_gpu(net, test_iter)
  46.         animator.add(epoch + 1, (None, None, test_acc))
  47.     print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, '
  48.           f'test acc {test_acc:.3f}')
  49.     print(f'{metric[2] * num_epochs / timer.sum():.1f} examples/sec '
  50.           f'on {str(device)}')
  51. lr, alpha, num_epochs = 0.01, 0.9, 10
  52. optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
  53. train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
复制代码
输出结果:
loss 0.262, train acc 0.900, test acc 0.883
22394.2 examples/sec on cpu



  1. lr, alpha, num_epochs = 0.01, 0.5, 10
  2. optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
  3. train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
复制代码
输出结果:
loss 0.308, train acc 0.886, test acc 0.875
25487.7 examples/sec on cpu



  1. lr, alpha, num_epochs = 0.01, 0.1, 10
  2. optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
  3. train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
复制代码
输出结果:
loss 0.388, train acc 0.863, test acc 0.848
24416.1 examples/sec on cpu


4. 随着优化的盼望,必要调整 
 吗?RMSProp算法对此有多敏感?
解:
在大多数环境下,RMSProp算法的 
 是一个相对稳定的超参数。默认值通常为0.9。这些值在很多任务中体现良好,因此在练习过程中通常不必要动态调整 
 
但假如练习过程中发现算法对历史梯度信息的依赖过强(例如收敛速度过慢),可以尝试略微降低 
 的值,以增长对近期梯度的敏感性。 反之,假如发现算法对近期梯度变革过于敏感(例如出现震荡),可以尝试增长 
 的值。
RMSProp算法对 
 的选择较为敏感。差别的 
 值会明显影响优化过程。例如,较高的 
 值会使算法更多地依赖历史梯度信息,得当必要长期记忆的场景;而较低的 
 值则更得当对近期梯度变革更敏感的任务。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

莫张周刘王

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表