动手学深度学习（pytorch）学习记载9-图像分类数据集之Fashion-MNIST[学习 ...

注：本代码在jupyter notebook上运行
封面图片来源
Fashion-MNIST是一个广泛使用的图像数据集，重要用于机器学习算法的基准测试，特殊是图像分类和识别任务。Fashion-MNIST由德国的时尚科技公司Zalando旗下的研究部分提供。作为MNIST手写数字集的一个直接替换品，旨在提供更具寻衅性且更当代的机器学习基准测试数据集。数据集的图像布局简单，但分类难度相比MNIST有所提升，要求模型具备更强的特性提取和模式识别本领。
数据集总共包罗70,000张灰度图像，分为60,000张训练图像和10,000张测试图像。此中每张图像都是28x28像素的灰度图像。涵盖了10种不同的衣物范例，包罗T恤、裤子、套衫、裙子、外衣、凉鞋、笠衫、运动鞋、包和踝靴。

1. %matplotlib inline
2. import torch
3. import torchvision
4. from torch.utils import data
5. from torchvision import transforms
6. # from d2l import torch as d2l
8. # d2l.use_svg_display()

复制代码

Fashion-MNIST数据集下载

1. # 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式，
2. # 并除以255使得所有像素的数值均在0～1之间
3. trans = transforms.ToTensor()
4. mnist_train = torchvision.datasets.FashionMNIST(
5.     root="data", train=True, transform=trans, download=True)
6. mnist_test = torchvision.datasets.FashionMNIST(
7.     root="data", train=False, transform=trans, download=True)

复制代码

Fashion-MNIST由10个类别的图像组成， 每个类别由训练数据集（train dataset）中的6000张图像和测试数据集（test dataset）中的1000张图像组成。 因此，训练集和测试集分别包罗60000和10000张图像。 测试数据集不会用于训练，只用于评估模型性能。

1. # 获取数据集长度
2. len(mnist_train), len(mnist_test)

复制代码

(60000, 10000)
每个输入的灰度图像的高度和宽度均为28像素，通道数为1。

1. mnist_train[0][0].shape

复制代码

torch.Size([1, 28, 28])
Fashion-MNIST中包罗的10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外衣）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。 以下函数用于在数字标签索引及其文本名称之间进行转换。

1. def get_fashion_mnist_labels(labels):  
2.     """返回Fashion-MNIST数据集的文本标签"""
3.     text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
4.                    'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
5.     return [text_labels[int(i)] for i in labels]

复制代码

创建一个函数来可视化这些样本

1. def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):
2.     """绘制图像列表""" # 图片、行数、列数
3.     figsize = (num_cols * scale, num_rows * scale) # 画布尺寸
4.     _, axes = plt.subplots(num_rows, num_cols, figsize=figsize)
5.     axes = axes.flatten()
6.     for i, (ax, img) in enumerate(zip(axes, imgs)):
7.         if torch.is_tensor(img):
8.             # 图片张量
9.             ax.imshow(img.numpy()) # 转化成张量
10.         else:
11.             # PIL图片
12.             ax.imshow(img)
13.         ax.axes.get_xaxis().set_visible(False) # 设置x,y轴不可见
14.         ax.axes.get_yaxis().set_visible(False)
15.         if titles:
16.             ax.set_title(titles[i])
17.     return axes

复制代码

以下是训练数据会合前几个样本的图像及其相应的标签。

1. X, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
2. show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y));

复制代码

小批量读取

1. batch_size = 256
3. def get_dataloader_workers():  #@save
4.     """使用4个进程来读取数据"""
5.     return 4
7. train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
8.                              num_workers=get_dataloader_workers())

复制代码

读取训练数据所需的时间。

1. # 定义计时器
2. import time
3. import numpy as np
4. class Timer:
5.     """记录多次运行时间"""
6.     def __init__(self):
7.         self.times = []
8.         self.start()
10.     def start(self):
11.         """启动计时器"""
12.         self.tik = time.time()
14.     def stop(self):
15.         """停止计时器并将时间记录在列表中"""
16.         self.times.append(time.time() - self.tik)
17.         return self.times[-1]# 返回列表最后记录的时间
19.     def avg(self):
20.         """返回平均时间"""
21.         return sum(self.times) / len(self.times)
23.     def sum(self):
24.         """返回时间总和"""
25.         return sum(self.times)
27.     def cumsum(self):
28.         """返回累计时间"""
29.         return np.array(self.times).cumsum().tolist()

复制代码

1. timer = Timer()
2. for X, y in train_iter:
3.     continue
4. f'{timer.stop():.2f} sec'

复制代码

欢迎点击我的主页查看更多文章。
本人学习地址https://zh-v2.d2l.ai/
恳请大佬批评指正。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。