对由多个输入平面组成的输入张量应用二维卷积，在最简朴的情况下，具有输入大小 ( N , C i n , H , W ) (N,C_{in},H,W) (N,Cin,H,W)和输出 ( N , C o u t , H o u t , W o u t ) (N,C_{out},H_{out},W_{out}) (N,Cout,Hout,Wout)的层的输出值可以正确地描述为：
out ( N i , C out j ) = bias ( C out j ) + ∑ k = 0 C in − 1 weight ( C out j , k ) ⋆ input ( N i , k ) \operatorname{out}(N_i,C_{\operatorname{out}_j})=\operatorname{bias}(C_{\operatorname{out}_j})+\sum_{k=0}^{C_{\operatorname{in}-1}}\operatorname{weight}(C_{\operatorname{out}_j},k)\star\operatorname{input}(N_i,k) out(Ni,Coutj)=bias(Coutj)+k=0∑Cin−1weight(Coutj,k)⋆input(Ni,k)
b i a s bias bias是偏置量、 w e i g h t weight weight就是常说的卷积核权重参数。
LeakyReLU激活函数的数学定义如下：
L e a k y R e L U ( x ) = { x , i f x ≥ 0 negative slope × x , o t h e r w i s e \mathrm{LeakyReLU}(x)=\begin{cases}x,&\mathrm{if}x\geq0\\\text{negative slope}\times x,&\mathrm{otherwise}&\end{cases} LeakyReLU(x)={x,negative slope×x,ifx≥0otherwise
LeakyReLU激活函数的特点如下：
Sigmoid激活函数的数学定义如下：
S i g m o i d ( x ) = σ ( x ) = 1 1 + exp ( − x ) \mathrm{Sigmoid}(x)=\sigma(x)=\frac{1}{1+\exp(-x)} Sigmoid(x)=σ(x)=1+exp(−x)1
Sigmoid激活函数的特点如下：
均方误差MSE计算输入 x 和目的 y 中每个元素之间的均方误差（平方 L2 范数），数学表达如下：
ℓ ( x , y ) = L = { l 1 , … , l N } ⊤ , l n = ( x n − y n ) 2 \ell(x,y)=L=\{l_1,\ldots,l_N\}^\top,\quad l_n=\left(x_n-y_n\right)^2 ℓ(x,y)=L={l1,…,lN}⊤,ln=(xn−yn)2
此中 N N N 是批次大小。如果 reduction 不是 ‘none’（默认值为 ‘mean’），则
ℓ ( x , y ) = { m e a n ( L ) , if reduction = ′ m e a n ′ ; s u m ( L ) , if reduction = ′ s u m ′ . \ell(x,y)=\begin{cases}\mathrm{mean}(L),&\text{if reduction}=\mathrm{'mean'};\\\mathrm{sum}(L),&\text{if reduction}=\mathrm{'sum'}.&\end{cases} ℓ(x,y)={mean(L),sum(L),if reduction=′mean′;if reduction=′sum′. 2. CrossEntropyLoss交叉熵损失
交叉熵损失函数（Cross-Entropy Loss）是深度学习中分类问题常用的损失函数，特殊适用于多分类问题。在PyTorch中，函数原型如下：
交叉熵损失函数是深度学习中分类问题常用的损失函数，特殊适用于多分类问题。它通过度量预测分布与真实分布之间的差别，来权衡模子输出的正确性。数学定义如下：
C r o s s E n t r o y L o s s = − ∑ i = 1 N y i ⋅ l o g ( y ^ i ) CrossEntroyLoss=-\sum_{i=1}^Ny_i\cdot log(\hat{y}_i) CrossEntroyLoss=−i=1∑Nyi⋅log(y^i)
N：类别数
y i y_i yi：真实的标签（用 one-hot 编码表示，只有目的类别对应的位置为 1，其他位置为 0）。
y ^ i \hat{y}_i y^i ：模子的预测概率，即 softmax 的输出值。
3. L1Loss均匀绝对误差
MAE计算输入 x x x 和目的 y y y 中每个元素之间的均匀绝对误差 (MAE)。在PyTorch中，函数原型如下：
L1 Loss（也称为绝对误差损失或曼哈顿损失）是一种常用的损失函数，广泛应用于回归任务中，其主要目的是权衡模子预测值与真实值之间的差别。数学定义如下：
ℓ ( x , y ) = L = { l 1 , … , l N } ⊤ , l n = ∣ x n − y n ∣ , \ell(x,y)=L=\{l_1,\ldots,l_N\}^\top,\quad l_n=|x_n-y_n|, ℓ(x,y)=L={l1,…,lN}⊤,ln=∣xn−yn∣,
2.4 容器模块（Container Modules)
