qidao123.com ToB IT社区-企服评测·应用市场»论坛 › 数据库 › 分布式数据库 › J4学习打卡

J4学习打卡

[复制链接]
发表于 2025-12-30 05:44:26 | 显示全部楼层 |阅读模式

  • 🍨 本文为🔗365天深度学习训练营 中的学习纪录博客
  • 🍖 原作者：K同砚啊
  DPN(ResNet与DenseNet团结)

  1. import torch
  2. import torch.nn as nn
  3. import torchvision.transforms as transforms
  4. import torchvision
  5. from torchvision import transforms, datasets
  6. import os, PIL, pathlib, warnings
  8. warnings.filterwarnings("ignore")
  9. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  11. print(device)
  12. import os,PIL,random,pathlib
  13. data_dir_str = r'C:\Users\11054\Desktop\kLearning\J1_learning\bird_photos'
  14. data_dir = pathlib.Path(data_dir_str)
  15. print("data_dir:", data_dir, "\n")
  17. data_paths = list(data_dir.glob('*'))
  18. classNames = [str(path).split('/')[-1] for path in data_paths]
  19. print('classNames:', classNames , '\n')
  21. train_transforms = transforms.Compose([
  22.     transforms.Resize([224, 224]),  # resize输入图片
  23.     transforms.ToTensor(),  # 将PIL Image或numpy.ndarray转换成tensor
  24.     transforms.Normalize(
  25.         mean=[0.485, 0.456, 0.406],
  26.         std=[0.229, 0.224, 0.225])  # 从数据集中随机抽样计算得到
  27. ])
  29. total_data = datasets.ImageFolder(data_dir_str, transform=train_transforms)
  30. print(total_data)
  31. print(total_data.class_to_idx)
  32. train_size = int(0.8 * len(total_data))
  33. test_size = len(total_data) - train_size
  34. train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])
  35. print(train_dataset, test_dataset)
  37. batch_size = 4
  38. train_dl = torch.utils.data.DataLoader(train_dataset,
  39.                                       batch_size=batch_size,
  40.                                       shuffle=True,
  41.                                       num_workers=1,
  42.                                       pin_memory=False)
  43. test_dl = torch.utils.data.DataLoader(test_dataset,
  44.                                       batch_size=batch_size,
  45.                                       shuffle=True,
  46.                                       num_workers=1,
  47.                                       pin_memory=False)
  49. for X, y in test_dl:
  50.     print("Shape of X [N, C, H, W]:", X.shape)
  51.     print("Shape of y:", y.shape, y.dtype)
  52.     break
  54. import torch
  55. import torch.nn as nn
  57. class Block(nn.Module):
  58.     """
  59.     param : in_channel--输入通道数
  60.             mid_channel -- 中间经历的通道数
  61.             out_channel -- ResNet部分使用的通道数（sum操作，这部分输出仍然是out_channel个通道）
  62.             dense_channel -- DenseNet部分使用的通道数（concat操作，这部分输出是2*dense_channel个通道）
  63.             groups -- conv2中的分组卷积参数
  64.             is_shortcut -- ResNet前是否进行shortcut操作
  65.     """
  66.     def __init__(self, in_channel, mid_channel, out_channel, dense_channel, stride, groups, is_shortcut=False):
  67.         super(Block, self).__init__()
  69.         self.is_shortcut = is_shortcut
  70.         self.out_channel = out_channel
  71.         self.conv1 = nn.Sequential(
  72.             nn.Conv2d(in_channel, mid_channel, kernel_size=1, bias=False),
  73.             nn.BatchNorm2d(mid_channel),
  74.             nn.ReLU()
  75.         )
  77.         self.conv2 = nn.Sequential(
  78.             nn.Conv2d(mid_channel, mid_channel, kernel_size=3, stride=stride, padding=1, groups=groups, bias=False),
  79.             nn.BatchNorm2d(mid_channel),
  80.             nn.ReLU()
  81.         )
  83.         self.conv3 = nn.Sequential(
  84.             nn.Conv2d(mid_channel, out_channel+dense_channel, kernel_size=1, bias=False),
  85.             nn.BatchNorm2d(out_channel+dense_channel)
  86.         )
  88.         if self.is_shortcut:
  89.             self.shortcut = nn.Sequential(
  90.             nn.Conv2d(in_channel, out_channel+dense_channel, kernel_size=3, padding=1, stride=stride, bias=False),
  91.             nn.BatchNorm2d(out_channel+dense_channel)
  92.         )
  94.         self.relu = nn.ReLU(inplace=True)
  96.     def forward(self, x):
  97.         a = x
  98.         x = self.conv1(x)
  99.         x = self.conv2(x)
  100.         x = self.conv3(x)
  101.         if self.is_shortcut:
  102.             a = self.shortcut(a)
  104.         # a[:, :self.out_channel, :, :]+x[:, :self.out_channel, :, :]是使用ResNet的方法，即采用sum的方式将特征图进行求和，通道数不变，都是out_channel个通道
  105.         # a[:, self.out_channel:, :, :], x[:, self.out_channel:, :, :]]是使用DenseNet的方法，即采用concat的方式将特征图在channel维度上直接进行叠加，通道数加倍，即2*dense_channel
  106.         # 注意最终是将out_channel个通道的特征（ResNet方式）与2*dense_channel个通道特征（DenseNet方式）进行叠加，因此最终通道数为out_channel+2*dense_channel
  107.         x = torch.cat([a[:, :self.out_channel, :, :]+x[:, :self.out_channel, :, :], a[:, self.out_channel:, :, :], x[:, self.out_channel:, :, :]], dim=1)
  108.         x = self.relu(x)
  110.         return x
  112. # DPN搭建
  113. class DPN(nn.Module):
  114.     def __init__(self, cfg):
  115.         super(DPN, self).__init__()
  117.         self.group = cfg['group']
  118.         self.in_channel = cfg['in_channel']
  119.         mid_channels = cfg['mid_channels']
  120.         out_channels = cfg['out_channels']
  121.         dense_channels = cfg['dense_channels']
  122.         num = cfg['num']
  124.         self.conv1 = nn.Sequential(
  125.             nn.Conv2d(3, self.in_channel, 7, stride=2, padding=3, bias=False, padding_mode='zeros'),
  126.             nn.BatchNorm2d(self.in_channel),
  127.             nn.ReLU(),
  128.             nn.MaxPool2d(kernel_size=3, stride=2, padding=0)
  129.         )
  130.         self.conv2 = self._make_layers(mid_channels[0], out_channels[0], dense_channels[0], num[0], stride=1)
  131.         self.conv3 = self._make_layers(mid_channels[1], out_channels[1], dense_channels[1], num[1], stride=2)
  132.         self.conv4 = self._make_layers(mid_channels[2], out_channels[2], dense_channels[2], num[2], stride=2)
  133.         self.conv5 = self._make_layers(mid_channels[3], out_channels[3], dense_channels[3], num[3], stride=2)
  134.         self.pool = nn.AdaptiveAvgPool2d((1,1))
  135.         self.fc = nn.Linear(cfg['out_channels'][3] + (num[3] + 1) * cfg['dense_channels'][3], cfg['classes']) # fc层需要计算
  137.     def _make_layers(self, mid_channel, out_channel, dense_channel, num, stride):
  138.         layers = []
  139.         # is_shortcut=True表示进行shortcut操作，则将浅层的特征进行一次卷积后与进行第三次卷积的特征图相加（ResNet方式）和concat(DeseNet方式)操作
  140.         # 第一次使用Block可以满足浅层特征的利用，后续重复的Block则不需要线层特征，因此后续的Block的is_shortcut=False(默认值)
  141.         layers.append(Block(self.in_channel, mid_channel, out_channel, dense_channel, stride=stride, groups=self.group, is_shortcut=True))
  142.         self.in_channel = out_channel + dense_channel*2
  143.         for i in range(1, num):
  144.             layers.append(Block(self.in_channel, mid_channel, out_channel, dense_channel, stride=1, groups=self.group))
  145.              # 由于Block包含DenseNet在叠加特征图，所以第一次是2倍dense_channel，后面每次都会多出1倍dense_channel
  146.             self.in_channel +=  dense_channel
  147.         return nn.Sequential(*layers)
  149.     def forward(self, x):
  150.         x = self.conv1(x)
  151.         x = self.conv2(x)
  152.         x = self.conv3(x)
  153.         x = self.conv4(x)
  154.         x = self.conv5(x)
  155.         x = self.pool(x)
  156.         x = torch.flatten(x, start_dim=1)
  157.         x = self.fc(x)
  158.         return x
  161. def DPN92(n_class=4):
  162.     cfg = {
  163.         "group" : 32,
  164.         "in_channel" : 64,
  165.         "mid_channels" : (96, 192, 384, 768),
  166.         "out_channels" : (256, 512, 1024, 2048),
  167.         "dense_channels" : (16, 32, 24, 128),
  168.         "num" : (3, 4, 20, 3),
  169.         "classes" : (n_class)
  170.     }
  171.     return DPN(cfg)
  173. def DPN98(n_class=4):
  174.     cfg = {
  175.         "group" : 40,
  176.         "in_channel" : 96,
  177.         "mid_channels" : (160, 320, 640, 1280),
  178.         "out_channels" : (256, 512, 1024, 2048),
  179.         "dense_channels" : (16, 32, 32, 128),
  180.         "num" : (3, 6, 20, 3),
  181.         "classes" : (n_class)
  182.     }
  183.     return DPN(cfg)
  185. model = DPN92().to(device)
  187. import torchsummary as summary
  188. summary.summary(model, (3, 224, 224))
复制代码
  1. cuda
  2. data_dir: C:\Users\11054\Desktop\kLearning\J1_learning\bird_photos
  4. classNames: ['C:\\Users\\11054\\Desktop\\kLearning\\J1_learning\\bird_photos\\Bananaquit', 'C:\\Users\\11054\\Desktop\\kLearning\\J1_learning\\bird_photos\\Black Skimmer', 'C:\\Users\\11054\\Desktop\\kLearning\\J1_learning\\bird_photos\\Black Throated Bushtiti', 'C:\\Users\\11054\\Desktop\\kLearning\\J1_learning\\bird_photos\\Cockatoo']
  6. Dataset ImageFolder
  7.     Number of datapoints: 565
  8.     Root location: C:\Users\11054\Desktop\kLearning\J1_learning\bird_photos
  9.     StandardTransform
  10. Transform: Compose(
  11.                Resize(size=[224, 224], interpolation=bilinear, max_size=None, antialias=True)
  12.                ToTensor()
  13.                Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
  14.            )
  15. {'Bananaquit': 0, 'Black Skimmer': 1, 'Black Throated Bushtiti': 2, 'Cockatoo': 3}
  16. <torch.utils.data.dataset.Subset object at 0x0000023C6A0BD880> <torch.utils.data.dataset.Subset object at 0x0000023C6D151280>
  17. Shape of X [N, C, H, W]: torch.Size([4, 3, 224, 224])
  18. Shape of y: torch.Size([4]) torch.int64
  19. ----------------------------------------------------------------
  20.         Layer (type)               Output Shape         Param #
  21. ================================================================
  22.             Conv2d-1         [-1, 64, 112, 112]           9,408
  23.        BatchNorm2d-2         [-1, 64, 112, 112]             128
  24.               ReLU-3         [-1, 64, 112, 112]               0
  25.          MaxPool2d-4           [-1, 64, 55, 55]               0
  26.             Conv2d-5           [-1, 96, 55, 55]           6,144
  27.        BatchNorm2d-6           [-1, 96, 55, 55]             192
  28.               ReLU-7           [-1, 96, 55, 55]               0
  29.             Conv2d-8           [-1, 96, 55, 55]           2,592
  30.        BatchNorm2d-9           [-1, 96, 55, 55]             192
  31.              ReLU-10           [-1, 96, 55, 55]               0
  32.            Conv2d-11          [-1, 272, 55, 55]          26,112
  33.       BatchNorm2d-12          [-1, 272, 55, 55]             544
  34.            Conv2d-13          [-1, 272, 55, 55]         156,672
  35.       BatchNorm2d-14          [-1, 272, 55, 55]             544
  36.              ReLU-15          [-1, 288, 55, 55]               0
  37.             Block-16          [-1, 288, 55, 55]               0
  38.            Conv2d-17           [-1, 96, 55, 55]          27,648
  39.       BatchNorm2d-18           [-1, 96, 55, 55]             192
  40.              ReLU-19           [-1, 96, 55, 55]               0
  41.            Conv2d-20           [-1, 96, 55, 55]           2,592
  42.       BatchNorm2d-21           [-1, 96, 55, 55]             192
  43.              ReLU-22           [-1, 96, 55, 55]               0
  44.            Conv2d-23          [-1, 272, 55, 55]          26,112
  45.       BatchNorm2d-24          [-1, 272, 55, 55]             544
  46.              ReLU-25          [-1, 304, 55, 55]               0
  47.             Block-26          [-1, 304, 55, 55]               0
  48.            Conv2d-27           [-1, 96, 55, 55]          29,184
  49.       BatchNorm2d-28           [-1, 96, 55, 55]             192
  50.              ReLU-29           [-1, 96, 55, 55]               0
  51.            Conv2d-30           [-1, 96, 55, 55]           2,592
  52.       BatchNorm2d-31           [-1, 96, 55, 55]             192
  53.              ReLU-32           [-1, 96, 55, 55]               0
  54.            Conv2d-33          [-1, 272, 55, 55]          26,112
  55.       BatchNorm2d-34          [-1, 272, 55, 55]             544
  56.              ReLU-35          [-1, 320, 55, 55]               0
  57.             Block-36          [-1, 320, 55, 55]               0
  58.            Conv2d-37          [-1, 192, 55, 55]          61,440
  59.       BatchNorm2d-38          [-1, 192, 55, 55]             384
  60.              ReLU-39          [-1, 192, 55, 55]               0
  61.            Conv2d-40          [-1, 192, 28, 28]          10,368
  62.       BatchNorm2d-41          [-1, 192, 28, 28]             384
  63.              ReLU-42          [-1, 192, 28, 28]               0
  64.            Conv2d-43          [-1, 544, 28, 28]         104,448
  65.       BatchNorm2d-44          [-1, 544, 28, 28]           1,088
  66.            Conv2d-45          [-1, 544, 28, 28]       1,566,720
  67.       BatchNorm2d-46          [-1, 544, 28, 28]           1,088
  68.              ReLU-47          [-1, 576, 28, 28]               0
  69.             Block-48          [-1, 576, 28, 28]               0
  70.            Conv2d-49          [-1, 192, 28, 28]         110,592
  71.       BatchNorm2d-50          [-1, 192, 28, 28]             384
  72.              ReLU-51          [-1, 192, 28, 28]               0
  73.            Conv2d-52          [-1, 192, 28, 28]          10,368
  74.       BatchNorm2d-53          [-1, 192, 28, 28]             384
  75.              ReLU-54          [-1, 192, 28, 28]               0
  76.            Conv2d-55          [-1, 544, 28, 28]         104,448
  77.       BatchNorm2d-56          [-1, 544, 28, 28]           1,088
  78.              ReLU-57          [-1, 608, 28, 28]               0
  79.             Block-58          [-1, 608, 28, 28]               0
  80.            Conv2d-59          [-1, 192, 28, 28]         116,736
  81.       BatchNorm2d-60          [-1, 192, 28, 28]             384
  82.              ReLU-61          [-1, 192, 28, 28]               0
  83.            Conv2d-62          [-1, 192, 28, 28]          10,368
  84.       BatchNorm2d-63          [-1, 192, 28, 28]             384
  85.              ReLU-64          [-1, 192, 28, 28]               0
  86.            Conv2d-65          [-1, 544, 28, 28]         104,448
  87.       BatchNorm2d-66          [-1, 544, 28, 28]           1,088
  88.              ReLU-67          [-1, 640, 28, 28]               0
  89.             Block-68          [-1, 640, 28, 28]               0
  90.            Conv2d-69          [-1, 192, 28, 28]         122,880
  91.       BatchNorm2d-70          [-1, 192, 28, 28]             384
  92.              ReLU-71          [-1, 192, 28, 28]               0
  93.            Conv2d-72          [-1, 192, 28, 28]          10,368
  94.       BatchNorm2d-73          [-1, 192, 28, 28]             384
  95.              ReLU-74          [-1, 192, 28, 28]               0
  96.            Conv2d-75          [-1, 544, 28, 28]         104,448
  97.       BatchNorm2d-76          [-1, 544, 28, 28]           1,088
  98.              ReLU-77          [-1, 672, 28, 28]               0
  99.             Block-78          [-1, 672, 28, 28]               0
  100.            Conv2d-79          [-1, 384, 28, 28]         258,048
  101.       BatchNorm2d-80          [-1, 384, 28, 28]             768
  102.              ReLU-81          [-1, 384, 28, 28]               0
  103.            Conv2d-82          [-1, 384, 14, 14]          41,472
  104.       BatchNorm2d-83          [-1, 384, 14, 14]             768
  105.              ReLU-84          [-1, 384, 14, 14]               0
  106.            Conv2d-85         [-1, 1048, 14, 14]         402,432
  107.       BatchNorm2d-86         [-1, 1048, 14, 14]           2,096
  108.            Conv2d-87         [-1, 1048, 14, 14]       6,338,304
  109.       BatchNorm2d-88         [-1, 1048, 14, 14]           2,096
  110.              ReLU-89         [-1, 1072, 14, 14]               0
  111.             Block-90         [-1, 1072, 14, 14]               0
  112.            Conv2d-91          [-1, 384, 14, 14]         411,648
  113.       BatchNorm2d-92          [-1, 384, 14, 14]             768
  114.              ReLU-93          [-1, 384, 14, 14]               0
  115.            Conv2d-94          [-1, 384, 14, 14]          41,472
  116.       BatchNorm2d-95          [-1, 384, 14, 14]             768
  117.              ReLU-96          [-1, 384, 14, 14]               0
  118.            Conv2d-97         [-1, 1048, 14, 14]         402,432
  119.       BatchNorm2d-98         [-1, 1048, 14, 14]           2,096
  120.              ReLU-99         [-1, 1096, 14, 14]               0
  121.            Block-100         [-1, 1096, 14, 14]               0
  122.           Conv2d-101          [-1, 384, 14, 14]         420,864
  123.      BatchNorm2d-102          [-1, 384, 14, 14]             768
  124.             ReLU-103          [-1, 384, 14, 14]               0
  125.           Conv2d-104          [-1, 384, 14, 14]          41,472
  126.      BatchNorm2d-105          [-1, 384, 14, 14]             768
  127.             ReLU-106          [-1, 384, 14, 14]               0
  128.           Conv2d-107         [-1, 1048, 14, 14]         402,432
  129.      BatchNorm2d-108         [-1, 1048, 14, 14]           2,096
  130.             ReLU-109         [-1, 1120, 14, 14]               0
  131.            Block-110         [-1, 1120, 14, 14]               0
  132.           Conv2d-111          [-1, 384, 14, 14]         430,080
  133.      BatchNorm2d-112          [-1, 384, 14, 14]             768
  134.             ReLU-113          [-1, 384, 14, 14]               0
  135.           Conv2d-114          [-1, 384, 14, 14]          41,472
  136.      BatchNorm2d-115          [-1, 384, 14, 14]             768
  137.             ReLU-116          [-1, 384, 14, 14]               0
  138.           Conv2d-117         [-1, 1048, 14, 14]         402,432
  139.      BatchNorm2d-118         [-1, 1048, 14, 14]           2,096
  140.             ReLU-119         [-1, 1144, 14, 14]               0
  141.            Block-120         [-1, 1144, 14, 14]               0
  142.           Conv2d-121          [-1, 384, 14, 14]         439,296
  143.      BatchNorm2d-122          [-1, 384, 14, 14]             768
  144.             ReLU-123          [-1, 384, 14, 14]               0
  145.           Conv2d-124          [-1, 384, 14, 14]          41,472
  146.      BatchNorm2d-125          [-1, 384, 14, 14]             768
  147.             ReLU-126          [-1, 384, 14, 14]               0
  148.           Conv2d-127         [-1, 1048, 14, 14]         402,432
  149.      BatchNorm2d-128         [-1, 1048, 14, 14]           2,096
  150.             ReLU-129         [-1, 1168, 14, 14]               0
  151.            Block-130         [-1, 1168, 14, 14]               0
  152.           Conv2d-131          [-1, 384, 14, 14]         448,512
  153.      BatchNorm2d-132          [-1, 384, 14, 14]             768
  154.             ReLU-133          [-1, 384, 14, 14]               0
  155.           Conv2d-134          [-1, 384, 14, 14]          41,472
  156.      BatchNorm2d-135          [-1, 384, 14, 14]             768
  157.             ReLU-136          [-1, 384, 14, 14]               0
  158.           Conv2d-137         [-1, 1048, 14, 14]         402,432
  159.      BatchNorm2d-138         [-1, 1048, 14, 14]           2,096
  160.             ReLU-139         [-1, 1192, 14, 14]               0
  161.            Block-140         [-1, 1192, 14, 14]               0
  162.           Conv2d-141          [-1, 384, 14, 14]         457,728
  163.      BatchNorm2d-142          [-1, 384, 14, 14]             768
  164.             ReLU-143          [-1, 384, 14, 14]               0
  165.           Conv2d-144          [-1, 384, 14, 14]          41,472
  166.      BatchNorm2d-145          [-1, 384, 14, 14]             768
  167.             ReLU-146          [-1, 384, 14, 14]               0
  168.           Conv2d-147         [-1, 1048, 14, 14]         402,432
  169.      BatchNorm2d-148         [-1, 1048, 14, 14]           2,096
  170.             ReLU-149         [-1, 1216, 14, 14]               0
  171.            Block-150         [-1, 1216, 14, 14]               0
  172.           Conv2d-151          [-1, 384, 14, 14]         466,944
  173.      BatchNorm2d-152          [-1, 384, 14, 14]             768
  174.             ReLU-153          [-1, 384, 14, 14]               0
  175.           Conv2d-154          [-1, 384, 14, 14]          41,472
  176.      BatchNorm2d-155          [-1, 384, 14, 14]             768
  177.             ReLU-156          [-1, 384, 14, 14]               0
  178.           Conv2d-157         [-1, 1048, 14, 14]         402,432
  179.      BatchNorm2d-158         [-1, 1048, 14, 14]           2,096
  180.             ReLU-159         [-1, 1240, 14, 14]               0
  181.            Block-160         [-1, 1240, 14, 14]               0
  182.           Conv2d-161          [-1, 384, 14, 14]         476,160
  183.      BatchNorm2d-162          [-1, 384, 14, 14]             768
  184.             ReLU-163          [-1, 384, 14, 14]               0
  185.           Conv2d-164          [-1, 384, 14, 14]          41,472
  186.      BatchNorm2d-165          [-1, 384, 14, 14]             768
  187.             ReLU-166          [-1, 384, 14, 14]               0
  188.           Conv2d-167         [-1, 1048, 14, 14]         402,432
  189.      BatchNorm2d-168         [-1, 1048, 14, 14]           2,096
  190.             ReLU-169         [-1, 1264, 14, 14]               0
  191.            Block-170         [-1, 1264, 14, 14]               0
  192.           Conv2d-171          [-1, 384, 14, 14]         485,376
  193.      BatchNorm2d-172          [-1, 384, 14, 14]             768
  194.             ReLU-173          [-1, 384, 14, 14]               0
  195.           Conv2d-174          [-1, 384, 14, 14]          41,472
  196.      BatchNorm2d-175          [-1, 384, 14, 14]             768
  197.             ReLU-176          [-1, 384, 14, 14]               0
  198.           Conv2d-177         [-1, 1048, 14, 14]         402,432
  199.      BatchNorm2d-178         [-1, 1048, 14, 14]           2,096
  200.             ReLU-179         [-1, 1288, 14, 14]               0
  201.            Block-180         [-1, 1288, 14, 14]               0
  202.           Conv2d-181          [-1, 384, 14, 14]         494,592
  203.      BatchNorm2d-182          [-1, 384, 14, 14]             768
  204.             ReLU-183          [-1, 384, 14, 14]               0
  205.           Conv2d-184          [-1, 384, 14, 14]          41,472
  206.      BatchNorm2d-185          [-1, 384, 14, 14]             768
  207.             ReLU-186          [-1, 384, 14, 14]               0
  208.           Conv2d-187         [-1, 1048, 14, 14]         402,432
  209.      BatchNorm2d-188         [-1, 1048, 14, 14]           2,096
  210.             ReLU-189         [-1, 1312, 14, 14]               0
  211.            Block-190         [-1, 1312, 14, 14]               0
  212.           Conv2d-191          [-1, 384, 14, 14]         503,808
  213.      BatchNorm2d-192          [-1, 384, 14, 14]             768
  214.             ReLU-193          [-1, 384, 14, 14]               0
  215.           Conv2d-194          [-1, 384, 14, 14]          41,472
  216.      BatchNorm2d-195          [-1, 384, 14, 14]             768
  217.             ReLU-196          [-1, 384, 14, 14]               0
  218.           Conv2d-197         [-1, 1048, 14, 14]         402,432
  219.      BatchNorm2d-198         [-1, 1048, 14, 14]           2,096
  220.             ReLU-199         [-1, 1336, 14, 14]               0
  221.            Block-200         [-1, 1336, 14, 14]               0
  222.           Conv2d-201          [-1, 384, 14, 14]         513,024
  223.      BatchNorm2d-202          [-1, 384, 14, 14]             768
  224.             ReLU-203          [-1, 384, 14, 14]               0
  225.           Conv2d-204          [-1, 384, 14, 14]          41,472
  226.      BatchNorm2d-205          [-1, 384, 14, 14]             768
  227.             ReLU-206          [-1, 384, 14, 14]               0
  228.           Conv2d-207         [-1, 1048, 14, 14]         402,432
  229.      BatchNorm2d-208         [-1, 1048, 14, 14]           2,096
  230.             ReLU-209         [-1, 1360, 14, 14]               0
  231.            Block-210         [-1, 1360, 14, 14]               0
  232.           Conv2d-211          [-1, 384, 14, 14]         522,240
  233.      BatchNorm2d-212          [-1, 384, 14, 14]             768
  234.             ReLU-213          [-1, 384, 14, 14]               0
  235.           Conv2d-214          [-1, 384, 14, 14]          41,472
  236.      BatchNorm2d-215          [-1, 384, 14, 14]             768
  237.             ReLU-216          [-1, 384, 14, 14]               0
  238.           Conv2d-217         [-1, 1048, 14, 14]         402,432
  239.      BatchNorm2d-218         [-1, 1048, 14, 14]           2,096
  240.             ReLU-219         [-1, 1384, 14, 14]               0
  241.            Block-220         [-1, 1384, 14, 14]               0
  242.           Conv2d-221          [-1, 384, 14, 14]         531,456
  243.      BatchNorm2d-222          [-1, 384, 14, 14]             768
  244.             ReLU-223          [-1, 384, 14, 14]               0
  245.           Conv2d-224          [-1, 384, 14, 14]          41,472
  246.      BatchNorm2d-225          [-1, 384, 14, 14]             768
  247.             ReLU-226          [-1, 384, 14, 14]               0
  248.           Conv2d-227         [-1, 1048, 14, 14]         402,432
  249.      BatchNorm2d-228         [-1, 1048, 14, 14]           2,096
  250.             ReLU-229         [-1, 1408, 14, 14]               0
  251.            Block-230         [-1, 1408, 14, 14]               0
  252.           Conv2d-231          [-1, 384, 14, 14]         540,672
  253.      BatchNorm2d-232          [-1, 384, 14, 14]             768
  254.             ReLU-233          [-1, 384, 14, 14]               0
  255.           Conv2d-234          [-1, 384, 14, 14]          41,472
  256.      BatchNorm2d-235          [-1, 384, 14, 14]             768
  257.             ReLU-236          [-1, 384, 14, 14]               0
  258.           Conv2d-237         [-1, 1048, 14, 14]         402,432
  259.      BatchNorm2d-238         [-1, 1048, 14, 14]           2,096
  260.             ReLU-239         [-1, 1432, 14, 14]               0
  261.            Block-240         [-1, 1432, 14, 14]               0
  262.           Conv2d-241          [-1, 384, 14, 14]         549,888
  263.      BatchNorm2d-242          [-1, 384, 14, 14]             768
  264.             ReLU-243          [-1, 384, 14, 14]               0
  265.           Conv2d-244          [-1, 384, 14, 14]          41,472
  266.      BatchNorm2d-245          [-1, 384, 14, 14]             768
  267.             ReLU-246          [-1, 384, 14, 14]               0
  268.           Conv2d-247         [-1, 1048, 14, 14]         402,432
  269.      BatchNorm2d-248         [-1, 1048, 14, 14]           2,096
  270.             ReLU-249         [-1, 1456, 14, 14]               0
  271.            Block-250         [-1, 1456, 14, 14]               0
  272.           Conv2d-251          [-1, 384, 14, 14]         559,104
  273.      BatchNorm2d-252          [-1, 384, 14, 14]             768
  274.             ReLU-253          [-1, 384, 14, 14]               0
  275.           Conv2d-254          [-1, 384, 14, 14]          41,472
  276.      BatchNorm2d-255          [-1, 384, 14, 14]             768
  277.             ReLU-256          [-1, 384, 14, 14]               0
  278.           Conv2d-257         [-1, 1048, 14, 14]         402,432
  279.      BatchNorm2d-258         [-1, 1048, 14, 14]           2,096
  280.             ReLU-259         [-1, 1480, 14, 14]               0
  281.            Block-260         [-1, 1480, 14, 14]               0
  282.           Conv2d-261          [-1, 384, 14, 14]         568,320
  283.      BatchNorm2d-262          [-1, 384, 14, 14]             768
  284.             ReLU-263          [-1, 384, 14, 14]               0
  285.           Conv2d-264          [-1, 384, 14, 14]          41,472
  286.      BatchNorm2d-265          [-1, 384, 14, 14]             768
  287.             ReLU-266          [-1, 384, 14, 14]               0
  288.           Conv2d-267         [-1, 1048, 14, 14]         402,432
  289.      BatchNorm2d-268         [-1, 1048, 14, 14]           2,096
  290.             ReLU-269         [-1, 1504, 14, 14]               0
  291.            Block-270         [-1, 1504, 14, 14]               0
  292.           Conv2d-271          [-1, 384, 14, 14]         577,536
  293.      BatchNorm2d-272          [-1, 384, 14, 14]             768
  294.             ReLU-273          [-1, 384, 14, 14]               0
  295.           Conv2d-274          [-1, 384, 14, 14]          41,472
  296.      BatchNorm2d-275          [-1, 384, 14, 14]             768
  297.             ReLU-276          [-1, 384, 14, 14]               0
  298.           Conv2d-277         [-1, 1048, 14, 14]         402,432
  299.      BatchNorm2d-278         [-1, 1048, 14, 14]           2,096
  300.             ReLU-279         [-1, 1528, 14, 14]               0
  301.            Block-280         [-1, 1528, 14, 14]               0
  302.           Conv2d-281          [-1, 768, 14, 14]       1,173,504
  303.      BatchNorm2d-282          [-1, 768, 14, 14]           1,536
  304.             ReLU-283          [-1, 768, 14, 14]               0
  305.           Conv2d-284            [-1, 768, 7, 7]         165,888
  306.      BatchNorm2d-285            [-1, 768, 7, 7]           1,536
  307.             ReLU-286            [-1, 768, 7, 7]               0
  308.           Conv2d-287           [-1, 2176, 7, 7]       1,671,168
  309.      BatchNorm2d-288           [-1, 2176, 7, 7]           4,352
  310.           Conv2d-289           [-1, 2176, 7, 7]      29,924,352
  311.      BatchNorm2d-290           [-1, 2176, 7, 7]           4,352
  312.             ReLU-291           [-1, 2304, 7, 7]               0
  313.            Block-292           [-1, 2304, 7, 7]               0
  314.           Conv2d-293            [-1, 768, 7, 7]       1,769,472
  315.      BatchNorm2d-294            [-1, 768, 7, 7]           1,536
  316.             ReLU-295            [-1, 768, 7, 7]               0
  317.           Conv2d-296            [-1, 768, 7, 7]         165,888
  318.      BatchNorm2d-297            [-1, 768, 7, 7]           1,536
  319.             ReLU-298            [-1, 768, 7, 7]               0
  320.           Conv2d-299           [-1, 2176, 7, 7]       1,671,168
  321.      BatchNorm2d-300           [-1, 2176, 7, 7]           4,352
  322.             ReLU-301           [-1, 2432, 7, 7]               0
  323.            Block-302           [-1, 2432, 7, 7]               0
  324.           Conv2d-303            [-1, 768, 7, 7]       1,867,776
  325.      BatchNorm2d-304            [-1, 768, 7, 7]           1,536
  326.             ReLU-305            [-1, 768, 7, 7]               0
  327.           Conv2d-306            [-1, 768, 7, 7]         165,888
  328.      BatchNorm2d-307            [-1, 768, 7, 7]           1,536
  329.             ReLU-308            [-1, 768, 7, 7]               0
  330.           Conv2d-309           [-1, 2176, 7, 7]       1,671,168
  331.      BatchNorm2d-310           [-1, 2176, 7, 7]           4,352
  332.             ReLU-311           [-1, 2560, 7, 7]               0
  333.            Block-312           [-1, 2560, 7, 7]               0
  334. AdaptiveAvgPool2d-313           [-1, 2560, 1, 1]               0
  335.           Linear-314                    [-1, 4]          10,244
  336. ================================================================
  337. Total params: 67,994,324
  338. Trainable params: 67,994,324
  339. Non-trainable params: 0
  340. ----------------------------------------------------------------
  341. Input size (MB): 0.57
  342. Forward/backward pass size (MB): 489.24
  343. Params size (MB): 259.38
  344. Estimated Total Size (MB): 749.20
  345. ----------------------------------------------------------------
复制代码
  1. # 训练循环
  2. def train(dataloader, model, loss_fn, optimizer):
  3.     size = len(dataloader.dataset)  # 训练集的大小
  4.     num_batches = len(dataloader)   # 批次数目, (size/batch_size，向上取整)
  6.     train_loss, train_acc = 0, 0  # 初始化训练损失和正确率
  8.     for X, y in dataloader:  # 获取图片及其标签
  9.         X, y = X.to(device), y.to(device)
  11.         # 计算预测误差
  12.         pred = model(X)          # 网络输出
  13.         loss = loss_fn(pred, y)  # 计算网络输出pred和真实值y之间的差距，y为真实值，计算二者差值即为损失
  15.         # 反向传播
  16.         optimizer.zero_grad()  # grad属性归零
  17.         loss.backward()        # 反向传播
  18.         optimizer.step()       # 每一步自动更新
  20.         # 记录acc与loss
  21.         train_acc  += (pred.argmax(1) == y).type(torch.float).sum().item()
  22.         train_loss += loss.item()
  24.     train_acc  /= size
  25.     train_loss /= num_batches
  27.     return train_acc, train_loss
复制代码
  1. def test(dataloader, model, loss_fn):
  2.     size = len(dataloader.dataset)  # 训练集的大小
  3.     num_batches = len(dataloader)   # 批次数目, (size/batch_size，向上取整)
  4.     test_loss, test_acc = 0, 0  # 初始化测试损失和正确率
  6.     # 当不进行训练时，停止梯度更新，节省计算内存消耗
  7.    # with torch.no_grad():
  8.     for imgs, target in dataloader:  # 获取图片及其标签
  9.         with torch.no_grad():
  10.             imgs, target = imgs.to(device), target.to(device)
  12.             # 计算误差
  13.             tartget_pred = model(imgs)          # 网络输出
  14.             loss = loss_fn(tartget_pred, target)  # 计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失
  16.             # 记录acc与loss
  17.             test_loss += loss.item()
  18.             test_acc  += (tartget_pred.argmax(1) == target).type(torch.float).sum().item()
  20.     test_acc  /= size
  21.     test_loss /= num_batches
  23.     return test_acc, test_loss
复制代码
  1. import copy
  3. optimizer = torch.optim.Adam(model.parameters(), lr = 1e-4)
  4. loss_fn = nn.CrossEntropyLoss() #创建损失函数
  6. epochs = 40
  8. train_loss = []
  9. train_acc = []
  10. test_loss = []
  11. test_acc = []
  13. best_acc = 0 #设置一个最佳准确率，作为最佳模型的判别指标
  15. if hasattr(torch.cuda, 'empty_cache'):
  16.     torch.cuda.empty_cache()
  19. for epoch in range(epochs):
  21.     model.train()
  22.     epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, optimizer)
  23.     #scheduler.step() #更新学习率（调用官方动态学习率接口时使用）
  25.     model.eval()
  26.     epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)
  28.     #保存最佳模型到best_model
  29.     if epoch_test_acc > best_acc:
  30.         best_acc = epoch_test_acc
  31.         best_model = copy.deepcopy(model)
  33.     train_acc.append(epoch_train_acc)
  34.     train_loss.append(epoch_train_loss)
  35.     test_acc.append(epoch_test_acc)
  36.     test_loss.append(epoch_test_loss)
  38.     #获取当前的学习率
  39.     lr = optimizer.state_dict()['param_groups'][0]['lr']
  40.     template = ('Epoch: {:2d}. Train_acc: {:.1f}%, Train_loss: {:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}, Lr: {:.2E}')
  41.     print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss, lr))
  43. PATH = r'C:\Users\11054\Desktop\kLearning\J4_learning\J3_best_model.pth'
  44. torch.save(model.state_dict(), PATH)
  47. print('Done')
复制代码
  1. Epoch:  1. Train_acc: 42.3%, Train_loss: 1.389, Test_acc:48.7%, Test_loss:2.097, Lr: 1.00E-04
  2. Epoch:  2. Train_acc: 63.5%, Train_loss: 0.933, Test_acc:53.1%, Test_loss:2.493, Lr: 1.00E-04
  3. Epoch:  3. Train_acc: 69.2%, Train_loss: 0.795, Test_acc:69.9%, Test_loss:0.845, Lr: 1.00E-04
  4. Epoch:  4. Train_acc: 72.3%, Train_loss: 0.702, Test_acc:69.0%, Test_loss:1.069, Lr: 1.00E-04
  5. Epoch:  5. Train_acc: 78.3%, Train_loss: 0.585, Test_acc:82.3%, Test_loss:0.656, Lr: 1.00E-04
  6. Epoch:  6. Train_acc: 82.5%, Train_loss: 0.474, Test_acc:79.6%, Test_loss:0.602, Lr: 1.00E-04
  7. Epoch:  7. Train_acc: 83.6%, Train_loss: 0.458, Test_acc:83.2%, Test_loss:0.699, Lr: 1.00E-04
  8. Epoch:  8. Train_acc: 86.9%, Train_loss: 0.368, Test_acc:85.8%, Test_loss:0.577, Lr: 1.00E-04
  9. Epoch:  9. Train_acc: 88.5%, Train_loss: 0.371, Test_acc:78.8%, Test_loss:0.574, Lr: 1.00E-04
  10. Epoch: 10. Train_acc: 87.6%, Train_loss: 0.345, Test_acc:87.6%, Test_loss:0.392, Lr: 1.00E-04
  11. Epoch: 11. Train_acc: 91.6%, Train_loss: 0.247, Test_acc:80.5%, Test_loss:0.443, Lr: 1.00E-04
  12. Epoch: 12. Train_acc: 91.2%, Train_loss: 0.310, Test_acc:86.7%, Test_loss:0.361, Lr: 1.00E-04
  13. Epoch: 13. Train_acc: 93.6%, Train_loss: 0.201, Test_acc:87.6%, Test_loss:0.336, Lr: 1.00E-04
  14. Epoch: 14. Train_acc: 89.2%, Train_loss: 0.322, Test_acc:84.1%, Test_loss:0.438, Lr: 1.00E-04
  15. Epoch: 15. Train_acc: 91.8%, Train_loss: 0.226, Test_acc:88.5%, Test_loss:0.343, Lr: 1.00E-04
  16. Epoch: 16. Train_acc: 94.5%, Train_loss: 0.146, Test_acc:87.6%, Test_loss:0.321, Lr: 1.00E-04
  17. Epoch: 17. Train_acc: 96.7%, Train_loss: 0.127, Test_acc:88.5%, Test_loss:0.436, Lr: 1.00E-04
  18. Epoch: 18. Train_acc: 96.5%, Train_loss: 0.096, Test_acc:92.0%, Test_loss:0.241, Lr: 1.00E-04
  19. Epoch: 19. Train_acc: 97.1%, Train_loss: 0.094, Test_acc:86.7%, Test_loss:0.430, Lr: 1.00E-04
  20. Epoch: 20. Train_acc: 95.8%, Train_loss: 0.134, Test_acc:59.3%, Test_loss:2.130, Lr: 1.00E-04
  21. Epoch: 21. Train_acc: 95.1%, Train_loss: 0.125, Test_acc:92.9%, Test_loss:0.230, Lr: 1.00E-04
  22. Epoch: 22. Train_acc: 95.4%, Train_loss: 0.144, Test_acc:87.6%, Test_loss:0.402, Lr: 1.00E-04
  23. Epoch: 23. Train_acc: 97.1%, Train_loss: 0.081, Test_acc:91.2%, Test_loss:0.282, Lr: 1.00E-04
  24. Epoch: 24. Train_acc: 98.5%, Train_loss: 0.049, Test_acc:92.9%, Test_loss:0.280, Lr: 1.00E-04
  25. Epoch: 25. Train_acc: 98.5%, Train_loss: 0.054, Test_acc:88.5%, Test_loss:0.413, Lr: 1.00E-04
  26. Epoch: 26. Train_acc: 97.8%, Train_loss: 0.072, Test_acc:87.6%, Test_loss:0.330, Lr: 1.00E-04
  27. Epoch: 27. Train_acc: 98.9%, Train_loss: 0.045, Test_acc:91.2%, Test_loss:0.244, Lr: 1.00E-04
  28. Epoch: 28. Train_acc: 94.9%, Train_loss: 0.156, Test_acc:77.0%, Test_loss:0.813, Lr: 1.00E-04
  29. Epoch: 29. Train_acc: 95.8%, Train_loss: 0.149, Test_acc:91.2%, Test_loss:0.372, Lr: 1.00E-04
  30. Epoch: 30. Train_acc: 97.8%, Train_loss: 0.068, Test_acc:89.4%, Test_loss:0.281, Lr: 1.00E-04
  31. Epoch: 31. Train_acc: 98.5%, Train_loss: 0.030, Test_acc:83.2%, Test_loss:0.529, Lr: 1.00E-04
  32. Epoch: 32. Train_acc: 98.5%, Train_loss: 0.054, Test_acc:91.2%, Test_loss:0.304, Lr: 1.00E-04
  33. Epoch: 33. Train_acc: 98.7%, Train_loss: 0.048, Test_acc:91.2%, Test_loss:0.311, Lr: 1.00E-04
  34. Epoch: 34. Train_acc: 94.2%, Train_loss: 0.179, Test_acc:93.8%, Test_loss:0.244, Lr: 1.00E-04
  35. Epoch: 35. Train_acc: 95.8%, Train_loss: 0.119, Test_acc:87.6%, Test_loss:0.426, Lr: 1.00E-04
  36. Epoch: 36. Train_acc: 98.2%, Train_loss: 0.064, Test_acc:88.5%, Test_loss:0.341, Lr: 1.00E-04
  37. Epoch: 37. Train_acc: 98.9%, Train_loss: 0.047, Test_acc:92.9%, Test_loss:0.223, Lr: 1.00E-04
  38. Epoch: 38. Train_acc: 98.9%, Train_loss: 0.038, Test_acc:87.6%, Test_loss:0.307, Lr: 1.00E-04
  39. Epoch: 39. Train_acc: 98.9%, Train_loss: 0.035, Test_acc:92.9%, Test_loss:0.188, Lr: 1.00E-04
  40. Epoch: 40. Train_acc: 99.3%, Train_loss: 0.025, Test_acc:93.8%, Test_loss:0.159, Lr: 1.00E-04
  41. Done
复制代码
  1. import matplotlib.pyplot as plt
  2. import warnings
  3. warnings.filterwarnings("ignore")               #忽略警告信息
  4. plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签
  5. plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
  6. plt.rcParams['figure.dpi']         = 100        #分辨率
  8. epochs_range = range(epochs)
  10. plt.figure(figsize=(12, 3))
  11. plt.subplot(1, 2, 1)
  13. plt.plot(epochs_range, train_acc, label='Training Accuracy')
  14. plt.plot(epochs_range, test_acc, label='Test Accuracy')
  15. plt.legend(loc='lower right')
  16. plt.title('Training and Validation Accuracy')
  18. plt.subplot(1, 2, 2)
  19. plt.plot(epochs_range, train_loss, label='Training Loss')
  20. plt.plot(epochs_range, test_loss, label='Test Loss')
  21. plt.legend(loc='upper right')
  22. plt.title('Training and Validation Loss')
  23. plt.show()
复制代码


个人总结


  • 学习了ResNet与DenseNet团结网络->DPN网络
  • DPN网络的核心是双路径块（Dual Path Block），其结构如下：


  • 输入：输入特性图被分为两部分。
  • 分组卷积：一部分特性图通太过组卷积举行处置处罚，类似于ResNeXt中的操纵。
  • 麋集毗连：另一部分特性图通过麋集毗连举行处置处罚，类似于DenseNet中的操纵。
  • 特性融合：两部分特性图通过特定的融合方式（如相加或拼接）举行融合，形成终极的输出特性图。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

×
回复

使用道具 举报

返回列表

九天猎人
+ 我要发帖

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表