昇思25天学习打卡营第13天 | ResNet50迁徙学习

昇思25天学习打卡营第13天 | ResNet50迁徙学习


  
在现实应用场景中，由于训练数据集不敷，很少重新开始训练整个网络。普遍做法是在一个非常大的基础数据集上训练得到一个 预训练模型，然后利用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务。
数据集

利用ResNet50在狗与狼分类数据集上举行训练，数据会合图片来自ImageNet，每个分类大约120张训练图像和30张验证图像。

1. from download import download
3. dataset_url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/datasets/intermediate/Canidae_data.zip"
5. download(dataset_url, "./datasets-Canidae", kind="zip", replace=True)

复制代码

加载数据集

利用mindspore.dataset.ImageFolderDataset接口来加载数据集，并举行数据增强:：

1. batch_size = 18                             # 批量大小
2. image_size = 224                            # 训练图像空间大小
3. num_epochs = 5                             # 训练周期数
4. lr = 0.001                                  # 学习率
5. momentum = 0.9                              # 动量
6. workers = 4                                 # 并行线程个数
8. import mindspore as ms
9. import mindspore.dataset as ds
10. import mindspore.dataset.vision as vision
12. # 数据集目录路径
13. data_path_train = "./datasets-Canidae/data/Canidae/train/"
14. data_path_val = "./datasets-Canidae/data/Canidae/val/"
16. # 创建训练数据集
18. def create_dataset_canidae(dataset_path, usage):
19.     """数据加载"""
20.     data_set = ds.ImageFolderDataset(dataset_path,
21.                                      num_parallel_workers=workers,
22.                                      shuffle=True,)
24.     # 数据增强操作
25.     mean = [0.485 * 255, 0.456 * 255, 0.406 * 255]
26.     std = [0.229 * 255, 0.224 * 255, 0.225 * 255]
27.     scale = 32
29.     if usage == "train":
30.         # Define map operations for training dataset
31.         trans = [
32.             vision.RandomCropDecodeResize(size=image_size, scale=(0.08, 1.0), ratio=(0.75, 1.333)),
33.             vision.RandomHorizontalFlip(prob=0.5),
34.             vision.Normalize(mean=mean, std=std),
35.             vision.HWC2CHW()
36.         ]
37.     else:
38.         # Define map operations for inference dataset
39.         trans = [
40.             vision.Decode(),
41.             vision.Resize(image_size + scale),
42.             vision.CenterCrop(image_size),
43.             vision.Normalize(mean=mean, std=std),
44.             vision.HWC2CHW()
45.         ]
48.     # 数据映射操作
49.     data_set = data_set.map(
50.         operations=trans,
51.         input_columns='image',
52.         num_parallel_workers=workers)
55.     # 批量操作
56.     data_set = data_set.batch(batch_size)
58.     return data_set
61. dataset_train = create_dataset_canidae(data_path_train, "train")
62. step_size_train = dataset_train.get_dataset_size()
64. dataset_val = create_dataset_canidae(data_path_val, "val")
65. step_size_val = dataset_val.get_dataset_size()

复制代码

数据集可视化

通过next迭代访问数据集，一次获取batch_size个图像及标签：

1. data = next(dataset_train.create_dict_iterator())
2. images = data["image"]
3. labels = data["label"]
5. print("Tensor of image", images.shape)
6. print("Labels:", labels)
8. import matplotlib.pyplot as plt
9. import numpy as np
11. # class_name对应label，按文件夹字符串从小到大的顺序标记label
12. class_name = {0: "dogs", 1: "wolves"}
14. plt.figure(figsize=(5, 5))
15. for i in range(4):
16.     # 获取图像及其对应的label
17.     data_image = images[i].asnumpy()
18.     data_label = labels[i]
19.     # 处理图像供展示使用
20.     data_image = np.transpose(data_image, (1, 2, 0))
21.     mean = np.array([0.485, 0.456, 0.406])
22.     std = np.array([0.229, 0.224, 0.225])
23.     data_image = std * data_image + mean
24.     data_image = np.clip(data_image, 0, 1)
25.     # 显示图像
26.     plt.subplot(2, 2, i+1)
27.     plt.imshow(data_image)
28.     plt.title(class_name[int(labels[i].asnumpy())])
29.     plt.axis("off")
31. plt.show()

复制代码

模型训练

利用ResNet50网络，通过将pretrained设置为True来加载预训练模型：

1. class ResNet(nn.Cell):
2.          def __init__(self, block: Type[Union[ResidualBlockBase, ResidualBlock]],layer_nums: List[int], num_classes: int, input_channel: int) -> None:
3.                  # ...
4.          def construct(self, x):
5.                  # ...
7.         def _resnet(model_url: str, block: Type[Union[ResidualBlockBase, ResidualBlock]],
8.             layers: List[int], num_classes: int, pretrained: bool, pretrianed_ckpt: str,
9.             input_channel: int):
10.     model = ResNet(block, layers, num_classes, input_channel)
12.     if pretrained:
13.         # 加载预训练模型
14.         download(url=model_url, path=pretrianed_ckpt, replace=True)
15.         param_dict = load_checkpoint(pretrianed_ckpt)
16.         load_param_into_net(model, param_dict)
18.     return model
21. def resnet50(num_classes: int = 1000, pretrained: bool = False):
22.     "ResNet50模型"
23.     resnet50_url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/models/application/resnet50_224_new.ckpt"
24.     resnet50_ckpt = "./LoadPretrainedModel/resnet50_224_new.ckpt"
25.     return _resnet(resnet50_url, ResidualBlock, [3, 4, 6, 3], num_classes,
26.                    pretrained, resnet50_ckpt, 2048)   

复制代码

通过resnet50接口创建网络模型，假如设置pretrained=True，则下载并加载预训练模型到ResNet50中。
固定特征

利用固定特征举行训练时，必要冻结除末了一层之外的所有网络层。通过设置requires_grad=False冻结参数，使其不在反向流传中盘算梯度。

1. import mindspore as ms
2. import matplotlib.pyplot as plt
3. import os
4. import time
6. net_work = resnet50(pretrained=True)
8. # 全连接层输入层的大小
9. in_channels = net_work.fc.in_channels
10. # 输出通道数大小为狼狗分类数2
11. head = nn.Dense(in_channels, 2)
12. # 重置全连接层
13. net_work.fc = head
15. # 平均池化层kernel size为7
16. avg_pool = nn.AvgPool2d(kernel_size=7)
17. # 重置平均池化层
18. net_work.avg_pool = avg_pool
20. # 冻结除最后一层外的所有参数
21. for param in net_work.get_parameters():
22.     if param.name not in ["fc.weight", "fc.bias"]:
23.         param.requires_grad = False
25. # 定义优化器和损失函数
26. opt = nn.Momentum(params=net_work.trainable_params(), learning_rate=lr, momentum=0.5)
27. loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')
30. def forward_fn(inputs, targets):
31.     logits = net_work(inputs)
32.     loss = loss_fn(logits, targets)
34.     return loss
36. grad_fn = ms.value_and_grad(forward_fn, None, opt.parameters)
38. def train_step(inputs, targets):
39.     loss, grads = grad_fn(inputs, targets)
40.     opt(grads)
41.     return loss
43. # 实例化模型
44. model1 = train.Model(net_work, loss_fn, opt, metrics={"Accuracy": train.Accuracy()})

复制代码

总结

这一小节对预训练模型引入的缘故原由举行了说明，通过加载预训练模型的参数到ResNet50模型中举行参数初始化，从而加速网络的训练过程。可以通过设置参数requires_grad=False来冻结参数，使其作为固定特征，不参与梯度盘算与参数优化。
打卡

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。