均方误差（Mean Squared Error, MSE）：
适用于回归问题，计算猜测值与真实值之间的平方差的平均值。
M S E {MSE} MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 n1∑i=1n(yi−y^i)2
其中， ( y i ) ( y_i ) (yi)是真实值， ( y ^ i ) ( \hat{y}_i) (y^i)是猜测值， ( n ) ( n ) (n) 是样本数量。
均方根误差（Root Mean Squared Error, RMSE）：
MSE 的平方根，用于回归问题，更直观地反映误差的尺度。
RMSE \ \text{RMSE} RMSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2} n1∑i=1n(yi−y^i)2
平均绝对误差（Mean Absolute Error, MAE）：
计算猜测值与真实值之间绝对差的平均值。
MAE = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| MAE=n1∑i=1n∣yi−y^i∣
交织熵损失（Cross-Entropy Loss）：
适用于分类问题，特别是二分类和多分类问题。
二分类交织熵损失：
Binary Cross-Entropy = − 1 n ∑ i = 1 n [ y i log ( y ^ i ) + ( 1 − y i ) log ( 1 − y ^ i ) ] \text{Binary Cross-Entropy} = - \frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)] Binary Cross-Entropy=−n1∑i=1n[yilog(y^i)+(1−yi)log(1−y^i)]
多分类交织熵损失：
Categorical Cross-Entropy = − 1 n ∑ i = 1 n ∑ c = 1 C y i , c log ( y ^ i , c ) \text{Categorical Cross-Entropy} = - \frac{1}{n} \sum_{i=1}^{n} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c}) Categorical Cross-Entropy=−n1∑i=1n∑c=1Cyi,clog(y^i,c)
其中， ( C ) (C) (C)是类别数，(( y i , c y_{i,c} yi,c) 是样本 ( i ) 在类别 ( c ) 的真实标签（通常为0或1）， ( y ^ i , c ) ( \hat{y}_{i,c} ) (y^i,c) 是猜测概率。
例子1：房价猜测（回归问题）
假设我们在做房价猜测，可以选择MSE作为损失函数：
MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE=n1∑i=1n(yi−y^i)2
选择MSE是由于它在回归问题中广泛使用，计算简单且误差放大效果有助于模子尽量淘汰大误差。 例子2：图片分类（分类问题）
假设我们在做手写数字识别，可以选择多分类交织熵损失：
Categorical Cross-Entropy = − 1 n ∑ i = 1 n ∑ c = 1 C y i , c log ( y ^ i , c ) \text{Categorical Cross-Entropy} = - \frac{1}{n} \sum_{i=1}^{n} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c}) Categorical Cross-Entropy=−n1∑i=1n∑c=1Cyi,clog(y^i,c)
选择交织熵损失是由于它能够很好地处理分类概率分布，帮助模子最大化精确分类的概率。
总结
