1 LeNet-5
1.1 模子介绍
LeNet-5是由 L e C u n LeCun LeCun 提出的一种用于识别手写数字和呆板印刷字符的卷积神经网络（Convolutional Neural Network，CNN） [ 1 ] ^{[1]} [1]，其定名来源于作者 L e C u n LeCun LeCun的名字，5则是其研究成果的代号，在LeNet-5之前尚有LeNet-4和LeNet-1鲜为人知。LeNet-5论述了图像中像素特征之间的相关性可以或许由参数共享的卷积操作所提取，同时使用卷积、下采样（池化）和非线性映射如许的组合结构，是当前流行的大多数深度图像识别网络的底子。
1.2 模子结构
图4.1 LeNet-5网络结构图
如图4.1所示，LeNet-5一共包含7层（输入层不作为网络结构），分别由2个卷积层、2个下采样层和3个毗连层构成，网络的参数设置如表4.1所示，其中下采样层和全毗连层的核尺寸分别代表采样范围和毗连矩阵的尺寸（如卷积核尺寸中的 “ 5 × 5 × 1 / 1 , 6 ” “5\times5\times1/1,6” “5×5×1/1,6”表示核巨细为 5 × 5 × 1 5\times5\times1 5×5×1、步长为 1 1 1且核个数为6的卷积核）。
表4.1 LeNet-5网络参数设置
网络层输入尺寸核尺寸输出尺寸可训练参数量卷积层 C 1 C_1 C1 32 × 32 × 1 32\times32\times1 32×32×1 5 × 5 × 1 / 1 , 6 5\times5\times1/1,6 5×5×1/1,6 28 × 28 × 6 28\times28\times6 28×28×6 ( 5 × 5 × 1 + 1 ) × 6 (5\times5\times1+1)\times6 (5×5×1+1)×6下采样层 S 2 S_2 S2 28 × 28 × 6 28\times28\times6 28×28×6 2 × 2 / 2 2\times2/2 2×2/2 14 × 14 × 6 14\times14\times6 14×14×6 ( 1 + 1 ) × 6 (1+1)\times6 (1+1)×6 ∗ ^* ∗卷积层 C 3 C_3 C3 14 × 14 × 6 14\times14\times6 14×14×6 5 × 5 × 6 / 1 , 16 5\times5\times6/1,16 5×5×6/1,16 10 × 10 × 16 10\times10\times16 10×10×16 151 6 ∗ 1516^* 1516∗下采样层 S 4 S_4 S4 10 × 10 × 16 10\times10\times16 10×10×16 2 × 2 / 2 2\times2/2 2×2/2 5 × 5 × 16 5\times5\times16 5×5×16 ( 1 + 1 ) × 16 (1+1)\times16 (1+1)×16卷积层 C 5 C_5 C5 ∗ ^* ∗ 5 × 5 × 16 5\times5\times16 5×5×16 5 × 5 × 16 / 1 , 120 5\times5\times16/1,120 5×5×16/1,120 1 × 1 × 120 1\times1\times120 1×1×120 ( 5 × 5 × 16 + 1 ) × 120 (5\times5\times16+1)\times120 (5×5×16+1)×120全毗连层 F 6 F_6 F6 1 × 1 × 120 1\times1\times120 1×1×120 120 × 84 120\times84 120×84 1 × 1 × 84 1\times1\times84 1×1×84 ( 120 + 1 ) × 84 (120+1)\times84 (120+1)×84输出层 1 × 1 × 84 1\times1\times84 1×1×84 84 × 10 84\times10 84×10 1 × 1 × 10 1\times1\times10 1×1×10 ( 84 + 1 ) × 10 (84+1)\times10 (84+1)×10 ∗ ^* ∗ 在LeNet中，下采样操作和池化操作类似，但是在得到采样结果后会乘以一个系数和加上一个偏置项，所以下采样的参数个数是 ( 1 + 1 ) × 6 (1+1)\times6 (1+1)×6而不是零。
∗ ^* ∗ C 3 C_3 C3卷积层可训练参数并未直接毗连 S 2 S_2 S2中全部的特征图（Feature Map），而是采用如图4.2所示的采样特征方式进行毗连（稀疏毗连），天生的16个通道特征图中分别按照相邻3个特征图、相邻4个特征图、非相邻4个特征图和全部6个特征图进行映射，得到的参数个数盘算公式为 6 × ( 25 × 3 + 1 ) + 6 × ( 25 × 4 + 1 ) + 3 × ( 25 × 4 + 1 ) + 1 × ( 25 × 6 + 1 ) = 1516 6\times(25\times3+1)+6\times(25\times4+1)+3\times(25\times4+1)+1\times(25\times6+1)=1516 6×(25×3+1)+6×(25×4+1)+3×(25×4+1)+1×(25×6+1)=1516，在原论文中解释了使用这种采样方式原因包含两点：限定了毗连数不至于过大（当年的盘算能力比较弱）;强制限定差别特征图的组合可以使映射得到的特征图学习到差别的特征模式。
图4.2 S 2 S_2 S2与 C 3 C_3 C3之间的特征图稀疏毗连
∗ ^* ∗ C 5 C_5 C5卷积层在图4.1中表现为全毗连层，原论文中解释这里实际采用的是卷积操作，只是刚幸亏 5 × 5 5\times5 5×5卷积后尺寸被压缩为 1 × 1 1\times1 1×1，输出结果看起来和全毗连很相似。
1.3 模子特性
- 卷积网络使用一个3层的序列组合：卷积、下采样（池化）、非线性映射（LeNet-5最紧张的特性，奠定了现在深层卷积网络的底子）
- 使用卷积提取空间特征
- 使用映射的空间均值进行下采样
- 使用 t a n h tanh tanh或 s i g m o i d sigmoid sigmoid进行非线性映射
- 多层神经网络（MLP）作为终极的分类器
- 层间的稀疏毗连矩阵以避免巨大的盘算开销
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
