动手学深度学习11.8. RMSProp算法-笔记&练习（PyTorch）
以下内容为结合李沐老师的课程和教材补充的学习笔记，以及对课后练习的一些思索，自留回顾，也供同砚之人交流参考。本节课程地址：72 优化算法【动手学深度学习v2】_哔哩哔哩_bilibili
本节教材地址：11.8. RMSProp算法 — 动手学深度学习 2.0.0 documentation
本节开源代码：...>d2l-zh>pytorch>chapter_optimization>rmsprop.ipynb
RMSProp算法
11.7节 中的关键题目之一，是学习率按预定时间表 https://latex.csdn.net/eq?%5Cmathcal%7BO%7D%28t%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7D%29 明显降低。 固然这通常实用于凸题目，但对于深度学习中遇到的非凸题目，大概并不理想。 但是，作为一个预处理器，Adagrad算法按坐标顺序的适应性是非常可取的。
(Tieleman and Hinton, 2012) 发起以RMSProp算法作为将速率调度与坐标自适应学习率分离的简单修复方法。 题目在于，Adagrad算法将梯度 https://latex.csdn.net/eq?%5Cmathbf%7Bg%7D_t 的平方累加成状态矢量 https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t%20%3D%20%5Cmathbf%7Bs%7D_%7Bt-1%7D%20+%20%5Cmathbf%7Bg%7D_t%5E2 。 因此，由于缺乏规范化，没有约束力， https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t 持续增长，几乎上是在算法收敛时呈线性递增。
办理此题目的一种方法是使用 https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t%20/%20t 。 对 https://latex.csdn.net/eq?%5Cmathbf%7Bg%7D_t 的公道分布来说，它将收敛。 遗憾的是，限定行为见效大概必要很长时间，因为该流程记住了值的完整轨迹。 另一种方法是按动量法中的方式使用泄漏平均值，即 https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t%20%5Cleftarrow%20%5Cgamma%20%5Cmathbf%7Bs%7D_%7Bt-1%7D%20+%20%281-%5Cgamma%29%20%5Cmathbf%7Bg%7D_t%5E2 ，此中参数 https://latex.csdn.net/eq?%5Cgamma%20%3E%200 。 保持所有其它部分不变就产生了RMSProp算法。
算法
让我们具体写出这些方程式。
https://latex.csdn.net/eq?%5Cbegin%7Baligned%7D%20%5Cmathbf%7Bs%7D_t%20%26%20%5Cleftarrow%20%5Cgamma%20%5Cmathbf%7Bs%7D_%7Bt-1%7D%20+%20%281%20-%20%5Cgamma%29%20%5Cmathbf%7Bg%7D_t%5E2%2C%20%5C%5C%20%5Cmathbf%7Bx%7D_t%20%26%20%5Cleftarrow%20%5Cmathbf%7Bx%7D_%7Bt-1%7D%20-%20%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7B%5Cmathbf%7Bs%7D_t%20+%20%5Cepsilon%7D%7D%20%5Codot%20%5Cmathbf%7Bg%7D_t.%20%5Cend%7Baligned%7D
常数 https://latex.csdn.net/eq?%5Cepsilon%20%3E%200 通常设置为 https://latex.csdn.net/eq?10%5E%7B-6%7D ，以确保我们不会因除以零或步长过大而受到影响。 鉴于这种扩展，我们现在可以自由控制学习率 https://latex.csdn.net/eq?%5Ceta ，而不思量基于每个坐标应用的缩放。 就泄漏平均值而言，我们可以采用与之前在动量法中实用的相同推理。 扩展 https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t 定义可获得
https://latex.csdn.net/eq?%5Cbegin%7Baligned%7D%20%5Cmathbf%7Bs%7D_t%20%26%20%3D%20%281%20-%20%5Cgamma%29%20%5Cmathbf%7Bg%7D_t%5E2%20+%20%5Cgamma%20%5Cmathbf%7Bs%7D_%7Bt-1%7D%20%5C%5C%20%26%20%3D%20%281%20-%20%5Cgamma%29%20%5Cleft%28%5Cmathbf%7Bg%7D_t%5E2%20+%20%5Cgamma%20%5Cmathbf%7Bg%7D_%7Bt-1%7D%5E2%20+%20%5Cgamma%5E2%20%5Cmathbf%7Bg%7D_%7Bt-2%7D%20+%20%5Cldots%2C%20%5Cright%29.%20%5Cend%7Baligned%7D
同之前在 11.6节 小节一样，我们使用 https://latex.csdn.net/eq?1%20+%20%5Cgamma%20+%20%5Cgamma%5E2%20+%20%5Cldots%2C%20%3D%20%5Cfrac%7B1%7D%7B1-%5Cgamma%7D 。 因此，权重总和尺度化为 1 且观测值的半衰期为 https://latex.csdn.net/eq?%5Cgamma%5E%7B-1%7D 。 让我们图像化各种数值的 https://latex.csdn.net/eq?%5Cgamma 在已往40个时间步长的权重。
补充：
每个已往的梯度平方 https://latex.csdn.net/eq?%5Cmathbf%7Bg%7D_%7Bt-k%7D%5E2 的权重是 https://latex.csdn.net/eq?%5Cgamma%5Ek 。随着时间步 https://latex.csdn.net/eq?k 的增长，权重 https://latex.csdn.net/eq?%5Cgamma%5Ek 会渐渐衰减。因此， https://latex.csdn.net/eq?%5Cgamma 的值决定了历史梯度平方对当前更新的贡献程度。
[*]假如 https://latex.csdn.net/eq?%5Cgamma 靠近 1，权重衰减得慢，历史信息的影响持续时间长。
[*]假如 https://latex.csdn.net/eq?%5Cgamma 靠近 0，权重衰减得快，历史信息的影响持续时间短。
import math
import torch
from d2l import torch as d2l
d2l.set_figsize()
gammas =
for gamma in gammas:
x = torch.arange(40).detach().numpy()
d2l.plt.plot(x, (1-gamma) * gamma ** x, label=f'gamma = {gamma:.2f}')
d2l.plt.xlabel('time') https://i-blog.csdnimg.cn/direct/76586a24f7d7408d859ee3934a3f1d68.png
从零开始实现
和之前一样，我们使用二次函数 https://latex.csdn.net/eq?f%28%5Cmathbf%7Bx%7D%29%3D0.1x_1%5E2+2x_2%5E2 来观察RMSProp算法的轨迹。 追念在 11.7节 一节中，当我们使用学习率为0.4的Adagrad算法时，变量在算法的后期阶段移动非常缓慢，因为学习率衰减太快。 RMSProp算法中不会发生这种环境，因为 https://latex.csdn.net/eq?%5Ceta 是单独控制的。
def rmsprop_2d(x1, x2, s1, s2):
g1, g2, eps = 0.2 * x1, 4 * x2, 1e-6
s1 = gamma * s1 + (1 - gamma) * g1 ** 2
s2 = gamma * s2 + (1 - gamma) * g2 ** 2
x1 -= eta / math.sqrt(s1 + eps) * g1
x2 -= eta / math.sqrt(s2 + eps) * g2
return x1, x2, s1, s2
def f_2d(x1, x2):
return 0.1 * x1 ** 2 + 2 * x2 ** 2
eta, gamma = 0.4, 0.9
d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d)) 输出结果：
epoch 20, x1: -0.010599, x2: 0.000000
https://i-blog.csdnimg.cn/direct/5302432176e7435e9f488e389be4e366.png
接下来，我们在深度网络中实现RMSProp算法。
def init_rmsprop_states(feature_dim):
s_w = torch.zeros((feature_dim, 1))
s_b = torch.zeros(1)
return (s_w, s_b)
def rmsprop(params, states, hyperparams):
gamma, eps = hyperparams['gamma'], 1e-6
for p, s in zip(params, states):
with torch.no_grad():
s[:] = gamma * s + (1 - gamma) * torch.square(p.grad)
p[:] -= hyperparams['lr'] * p.grad / torch.sqrt(s + eps)
p.grad.data.zero_() 我们将初始学习率设置为0.01，加权项 https://latex.csdn.net/eq?%5Cgamma 设置为0.9。 也就是说， https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D 累加了已往的 https://latex.csdn.net/eq?1/%281-%5Cgamma%29%20%3D%2010 次平方梯度观测值的平均值。
data_iter, feature_dim = d2l.get_data_ch11(batch_size=10)
d2l.train_ch11(rmsprop, init_rmsprop_states(feature_dim),
{'lr': 0.01, 'gamma': 0.9}, data_iter, feature_dim) 输出结果：
loss: 0.245, 0.025 sec/epoch
https://i-blog.csdnimg.cn/direct/84aed72378924d469a4b070f5256f063.png
轻便实现
我们可直接使用深度学习框架中提供的RMSProp算法来练习模子。
trainer = torch.optim.RMSprop
d2l.train_concise_ch11(trainer, {'lr': 0.01, 'alpha': 0.9},
data_iter) 输出结果：
loss: 0.244, 0.012 sec/epoch
https://i-blog.csdnimg.cn/direct/3eac05fd24f1477b9737ab45df8fe39a.png
小结
[*]RMSProp算法与Adagrad算法非常相似，因为两者都使用梯度的平方来缩放系数。
[*]RMSProp算法与动量法都使用泄漏平均值。但是，RMSProp算法使用该技术来调整按系数顺序的预处理器。
[*]在实验中，学习率必要由实验者调度。
[*]系数 https://latex.csdn.net/eq?%5Cgamma 决定了在调整每坐标比例时历史记载的时长。
补充
在RMSProp算法中，系数 https://latex.csdn.net/eq?%5Cgamma 决定了历史梯度平方对当前更新的贡献程度。具体来说，https://latex.csdn.net/eq?%5Cgamma 决定了历史信息的保留时长：
[*]- 较大的 https://latex.csdn.net/eq?%5Cgamma（越靠近于1）：保留更多历史信息，对近期梯度变革反应较慢。
[*]- 较小的 https://latex.csdn.net/eq?%5Cgamma（越靠近于0）：保留较少历史信息，对近期梯度变革反应更快。
这种机制使得RMSProp能够在动态调整学习率的同时，平衡对历史梯度信息的依赖程度。
练习
[*]假如我们设置 https://latex.csdn.net/eq?%5Cgamma%20%3D%201 ，实验会发生什么？为什么？
解：
假如设置 https://latex.csdn.net/eq?%5Cgamma%20%3D%201，则更新公式变为： https://latex.csdn.net/eq?s_t%20%3D%20s_%7Bt-1%7D
这意味着 https://latex.csdn.net/eq?%5Cmathbf%7Bs%7D_t 的值将不再更新，始终保持为初始值https://latex.csdn.net/eq?s_0，RMSProp算法失去了动态动态调整学习率的能力，也无法根据梯度的历史信息举行优化，算法无法正常工作。
代码如下：
d2l.train_concise_ch11(trainer, {'lr': 0.01, 'alpha': 1},
data_iter) 输出结果：
loss: nan, 0.012 sec/epoch
https://i-blog.csdnimg.cn/direct/78dddafe537240f39f422091fa33ba57.png
2. 旋转优化题目以最小化 https://latex.csdn.net/eq?f%28%5Cmathbf%7Bx%7D%29%20%3D%200.1%20%28x_1%20+%20x_2%29%5E2%20+%202%20%28x_1%20-%20x_2%29%5E2 。收敛会发生什么？
解：
RMSProp算法通过维护梯度平方的加权平均值来调整学习率，这使得它能够适应差别方向上的梯度变革，并相应地调整学习率，收敛到靠近(1,1)。
代码如下：
def rmsprop_2d_rotation(x1, x2, s1, s2):
g1, g2, eps = 4.2 * x1 - 3.8, 4.2 * x2 - 3.8, 1e-6
s1 = gamma * s1 + (1 - gamma) * g1 ** 2
s2 = gamma * s2 + (1 - gamma) * g2 ** 2
x1 -= eta / math.sqrt(s1 + eps) * g1
x2 -= eta / math.sqrt(s2 + eps) * g2
return x1, x2, s1, s2
def f_2d_rotation(x1, x2):
return 0.1 * (x1 + x2) ** 2 + 2 * (x1 - x2) ** 2
eta, gamma = 0.4, 0.9
d2l.show_trace_2d(f_2d, d2l.train_2d(rmsprop_2d_rotation)) 输出结果：
epoch 20, x1: 0.840102, x2: 0.904762
https://i-blog.csdnimg.cn/direct/786536ec46664b4c9b4a7e7d68f87eac.png
3. 试试在真正的呆板学习题目上应用RMSProp算法会发生什么，例如在Fashion-MNIST上的练习。试验差别的取值来调整学习率。
解：
代码如下：
import torch
from torch import nn
from d2l import torch as d2l
net = nn.Sequential(
nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Flatten(),
nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
nn.Linear(120, 84), nn.Sigmoid(),
nn.Linear(84, 10))
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size=batch_size)
def train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, device):
def init_weights(m):
if type(m) == nn.Linear or type(m) == nn.Conv2d:
nn.init.xavier_uniform_(m.weight)
net.apply(init_weights)
print('training on', device)
net.to(device)
loss = nn.CrossEntropyLoss()
animator = d2l.Animator(xlabel='epoch', xlim=,
legend=['train loss', 'train acc', 'test acc'])
timer, num_batches = d2l.Timer(), len(train_iter)
for epoch in range(num_epochs):
metric = d2l.Accumulator(3)
net.train()
for i, (X, y) in enumerate(train_iter):
timer.start()
optimizer.zero_grad()
X, y = X.to(device), y.to(device)
y_hat = net(X)
l = loss(y_hat, y)
l.backward()
optimizer.step()
with torch.no_grad():
metric.add(l * X.shape, d2l.accuracy(y_hat, y), X.shape)
timer.stop()
train_l = metric / metric
train_acc = metric / metric
if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:
animator.add(epoch + (i + 1) / num_batches,
(train_l, train_acc, None))
test_acc = d2l.evaluate_accuracy_gpu(net, test_iter)
animator.add(epoch + 1, (None, None, test_acc))
print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, '
f'test acc {test_acc:.3f}')
print(f'{metric * num_epochs / timer.sum():.1f} examples/sec '
f'on {str(device)}')
lr, alpha, num_epochs = 0.01, 0.9, 10
optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu()) 输出结果：
loss 0.262, train acc 0.900, test acc 0.883
22394.2 examples/sec on cpu
https://i-blog.csdnimg.cn/direct/e60e57ea5b3e4ebc99f46746af98af24.png
lr, alpha, num_epochs = 0.01, 0.5, 10
optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu()) 输出结果：
loss 0.308, train acc 0.886, test acc 0.875
25487.7 examples/sec on cpu
https://i-blog.csdnimg.cn/direct/26ca3c2cf277490ea53cc48b1ad6867a.png
lr, alpha, num_epochs = 0.01, 0.1, 10
optimizer = torch.optim.RMSprop(net.parameters(), lr=lr, alpha=alpha)
train_ch6_optimizer(net, optimizer, train_iter, test_iter, num_epochs, lr, d2l.try_gpu()) 输出结果：
loss 0.388, train acc 0.863, test acc 0.848
24416.1 examples/sec on cpu
https://i-blog.csdnimg.cn/direct/7932c6d83884475f972fdbe392bc7f41.png
4. 随着优化的盼望，必要调整 https://latex.csdn.net/eq?%5Cgamma 吗？RMSProp算法对此有多敏感？
解：
在大多数环境下，RMSProp算法的 https://latex.csdn.net/eq?%5Cgamma 是一个相对稳定的超参数。默认值通常为0.9。这些值在很多任务中体现良好，因此在练习过程中通常不必要动态调整 https://latex.csdn.net/eq?%5Cgamma 。
但假如练习过程中发现算法对历史梯度信息的依赖过强（例如收敛速度过慢），可以尝试略微降低 https://latex.csdn.net/eq?%5Cgamma 的值，以增长对近期梯度的敏感性。 反之，假如发现算法对近期梯度变革过于敏感（例如出现震荡），可以尝试增长 https://latex.csdn.net/eq?%5Cgamma 的值。
RMSProp算法对 https://latex.csdn.net/eq?%5Cgamma 的选择较为敏感。差别的 https://latex.csdn.net/eq?%5Cgamma 值会明显影响优化过程。例如，较高的 https://latex.csdn.net/eq?%5Cgamma 值会使算法更多地依赖历史梯度信息，得当必要长期记忆的场景；而较低的 https://latex.csdn.net/eq?%5Cgamma 值则更得当对近期梯度变革更敏感的任务。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]