代码填空任务---自编码器模子

1.自编码器模子填空：

1. import torch
2. import matplotlib.pyplot as plt
3. from torchvision import datasets, transforms
4. from torch import nn, optim
5. from torch.nn import functional as F
6. from tqdm import tqdm
7. import os
9. # os.chdir(os.path.dirname(__file__))
11. '模型结构'
14. #损失函数
15. #交叉熵，衡量各个像素原始数据与重构数据的误差
17. #均方误差可作为交叉熵替代使用.衡量各个像素原始数据与重构数据的误差
20. '超参数及构造模型'
21. #模型参数
22. #压缩后的特征维度
23. #encoder和decoder中间层的维度
24. #原始图片和生成图片的维度
26. #训练参数
27. #训练时期
28. #每步训练样本数
29. #学习率
30. device =torch.device('cuda' if torch.cuda.is_available() else 'cpu')#训练设备
32. #确定模型，导入已训练模型（如有）
33. modelname = 'ae.pth'
34. #模型初始化
35. #优化器
37. try:
38.     model.load_state_dict(torch.load(modelname))
39.     print('[INFO] Load Model complete')
40. except:
41.     pass
43. '训练模型'
44. #准备mnist数据集 (数据会下载到py文件所在的data文件夹下)
45. train_loader = torch.utils.data.DataLoader(
46.     datasets.MNIST('./', train=True, download=True,
47.                    transform=transforms.ToTensor()),
48.     batch_size=batch_size, shuffle=True)
49. test_loader = torch.utils.data.DataLoader(
50.     datasets.MNIST('./', train=False, transform=transforms.ToTensor()),
51.     batch_size=batch_size, shuffle=False)
52. #此方法获取的数据各像素值范围0-1
54. #训练及测试
55. loss_history = {'train':[],'eval':[]}
56. for epoch in range(epochs):   
57.     #训练
59.     #每个epoch重置损失，设置进度条
60.     train_loss = 0
61.     train_nsample = 0
62.     t = tqdm(train_loader,desc = f'[train]epoch:{epoch}')
63.     for imgs, lbls in t: #imgs:(bs,28,28)
65.         #获取数据
66.         #imgs:(bs,28*28)
67.         #模型运算     
68.         
69.         #计算损失
70.         # 重构与原始数据的差距(也可使用loss_MSE)
71.         #反向传播、参数优化，重置
72.         
73.         
74.         
75.         #计算平均损失，设置进度条
76.         
77.         
78.         t.set_postfix({'loss':train_loss/train_nsample})
79.     #每个epoch记录总损失
80.     loss_history['train'].append(train_loss/train_nsample)
82.     #测试
84.     #每个epoch重置损失，设置进度条
85.     test_loss = 0
86.     test_nsample = 0
87.     e = tqdm(test_loader,desc = f'[eval]epoch:{epoch}')
88.     for imgs, label in e:
90.         #获取数据
91.         
92.         #模型运算   
93.         
94.         #计算损失
95.          
96.         #计算平均损失，设置进度条
97.         
98.         
99.         e.set_postfix({'loss':test_loss/test_nsample})
100.     #每个epoch记录总损失   
101.     loss_history['eval'].append(test_loss/test_nsample)
104.     #展示效果   
105.     #将测试步骤中的数据、重构数据绘图
106.     concat = torch.cat((imgs[0].view(28, 28),
107.             re_imgs[0].view( 28, 28)), 1)
108.     plt.matshow(concat.cpu().detach().numpy())
109.     plt.show()
111.     #显示每个epoch的loss变化
112.     plt.plot(range(epoch+1),loss_history['train'])
113.     plt.plot(range(epoch+1),loss_history['eval'])
114.     plt.show()
115.     #存储模型
116.     torch.save(model.state_dict(),modelname)
118. '调用模型'
119. #对数据集
120. dataset = datasets.MNIST('./', train=False, transform=transforms.ToTensor())
121. #取一组手写数据（正常数据）
122. raw = dataset[0][0].view(1,-1) #raw: bs,28,28->bs,28*28
123. #对手写数据（正常数据）重构
124. re_raw = model(raw.to(device))
125. #取一组随机数据（异常数据）
126. rand = torch.randn_like(raw)
127. #对随机数据（异常数据）重构
128. re_rand = model(rand.to(device))
130. #定义一个衡量标准，按像素平均所有原始数据和重构数据的误差
131. f = lambda x,y: abs(x-y).mean()
132. #正常数据 原始数据与重构数据差异
133. print('正常数据：',f(re_raw.to("cpu"),raw))
134. #异常数据 原始数据与重构数据差异
135. print('异常数据：',f(re_rand.to("cpu"),rand))
137. #正常数据，原始数据与重构数据作图
138. plt.matshow(raw.view(28,28).detach().cpu().numpy())
139. plt.show()
140. plt.matshow(re_raw.view(28,28).detach().cpu().numpy())
141. plt.show()
142. #异常数据，原始数据与重构数据作图
143. plt.matshow(rand.view(28,28).detach().cpu().numpy())
144. plt.show()
145. plt.matshow(re_rand.view(28,28).detach().cpu().numpy())
146. plt.show()

复制代码

参考：
手写系列——AE网络、VAE网络和Condition VAE网络-CSDN博客

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。