ToB企服应用市场:ToB评测及商务社交产业平台

标题: 动手学深度学习（pytorch）学习记载9-图像分类数据集之Fashion-MNIST[学习 [打印本页]
作者: 汕尾海湾    时间: 2024-8-15 19:35
标题: 动手学深度学习（pytorch）学习记载9-图像分类数据集之Fashion-MNIST[学习
注：本代码在jupyter notebook上运行
封面图片来源
Fashion-MNIST是一个广泛使用的图像数据集，重要用于机器学习算法的基准测试，特殊是图像分类和识别任务。Fashion-MNIST由德国的时尚科技公司Zalando旗下的研究部分提供。作为MNIST手写数字集的一个直接替换品，旨在提供更具寻衅性且更当代的机器学习基准测试数据集。数据集的图像布局简单，但分类难度相比MNIST有所提升，要求模型具备更强的特性提取和模式识别本领。
数据集总共包罗70,000张灰度图像，分为60,000张训练图像和10,000张测试图像。此中每张图像都是28x28像素的灰度图像。涵盖了10种不同的衣物范例，包罗T恤、裤子、套衫、裙子、外衣、凉鞋、笠衫、运动鞋、包和踝靴。
  1. %matplotlib inline
  2. import torch
  3. import torchvision
  4. from torch.utils import data
  5. from torchvision import transforms
  6. # from d2l import torch as d2l
  8. # d2l.use_svg_display()
复制代码
Fashion-MNIST数据集下载
  1. # 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式，
  2. # 并除以255使得所有像素的数值均在0～1之间
  3. trans = transforms.ToTensor()
  4. mnist_train = torchvision.datasets.FashionMNIST(
  5.     root="data", train=True, transform=trans, download=True)
  6. mnist_test = torchvision.datasets.FashionMNIST(
  7.     root="data", train=False, transform=trans, download=True)
复制代码

Fashion-MNIST由10个类别的图像组成， 每个类别由训练数据集（train dataset）中的6000张图像和测试数据集（test dataset）中的1000张图像组成。 因此，训练集和测试集分别包罗60000和10000张图像。 测试数据集不会用于训练，只用于评估模型性能。
  1. # 获取数据集长度
  2. len(mnist_train), len(mnist_test)
复制代码
(60000, 10000)
每个输入的灰度图像的高度和宽度均为28像素，通道数为1。
  1. mnist_train[0][0].shape
复制代码
torch.Size([1, 28, 28])
Fashion-MNIST中包罗的10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外衣）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。 以下函数用于在数字标签索引及其文本名称之间进行转换。
  1. def get_fashion_mnist_labels(labels):  
  2.     """返回Fashion-MNIST数据集的文本标签"""
  3.     text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
  4.                    'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
  5.     return [text_labels[int(i)] for i in labels]
复制代码
创建一个函数来可视化这些样本
  1. def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):
  2.     """绘制图像列表""" # 图片、行数、列数
  3.     figsize = (num_cols * scale, num_rows * scale) # 画布尺寸
  4.     _, axes = plt.subplots(num_rows, num_cols, figsize=figsize)
  5.     axes = axes.flatten()
  6.     for i, (ax, img) in enumerate(zip(axes, imgs)):
  7.         if torch.is_tensor(img):
  8.             # 图片张量
  9.             ax.imshow(img.numpy()) # 转化成张量
  10.         else:
  11.             # PIL图片
  12.             ax.imshow(img)
  13.         ax.axes.get_xaxis().set_visible(False) # 设置x,y轴不可见
  14.         ax.axes.get_yaxis().set_visible(False)
  15.         if titles:
  16.             ax.set_title(titles[i])
  17.     return axes
复制代码
以下是训练数据会合前几个样本的图像及其相应的标签。
  1. X, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
  2. show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y));
复制代码

小批量读取
  1. batch_size = 256
  3. def get_dataloader_workers():  #@save
  4.     """使用4个进程来读取数据"""
  5.     return 4
  7. train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
  8.                              num_workers=get_dataloader_workers())
复制代码
读取训练数据所需的时间。
  1. # 定义计时器
  2. import time
  3. import numpy as np
  4. class Timer:
  5.     """记录多次运行时间"""
  6.     def __init__(self):
  7.         self.times = []
  8.         self.start()
  10.     def start(self):
  11.         """启动计时器"""
  12.         self.tik = time.time()
  14.     def stop(self):
  15.         """停止计时器并将时间记录在列表中"""
  16.         self.times.append(time.time() - self.tik)
  17.         return self.times[-1]# 返回列表最后记录的时间
  19.     def avg(self):
  20.         """返回平均时间"""
  21.         return sum(self.times) / len(self.times)
  23.     def sum(self):
  24.         """返回时间总和"""
  25.         return sum(self.times)
  27.     def cumsum(self):
  28.         """返回累计时间"""
  29.         return np.array(self.times).cumsum().tolist()
复制代码
  1. timer = Timer()
  2. for X, y in train_iter:
  3.     continue
  4. f'{timer.stop():.2f} sec'
复制代码

欢迎点击我的主页查看更多文章。
本人学习地址https://zh-v2.d2l.ai/
恳请大佬批评指正。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4