神经网络之损失函数

引言：损失函数 （Loss Function）是机器学习和深度学习中非常重要的一个概念。用于衡量模型的预测值与真实值之间的差异，从而指导模型优化其参数以最小化这种差异。

一、损失函数作用

• 量化误差：损失函数是将预测值和真实值之间的差异转化为一个标量值。
• 优化目标：通过最小化损失函数，模型可以逐步调整参数以提高预测的准确性，用来优化模型参数。
• 评估模型性能：反映模型预测结果与目标值的匹配程度。

二、常见损失函数

1. 回归问题

损失函数	公式	特点	适用场景
均方误差（MSE）	$L=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$	放大误差，对离群点敏感	标准线性回归
平均绝对误差（MAE）	$L=\frac{1}{n}{\sum }_{i=1}^n|y_i-{\hat{y}}_i|$	抗噪强，优化不稳定	离群点多的回归
Huber Loss	$L=\{\begin{array}{ll}\frac{1}{2}(y_i-{\hat{y}}_i{)}^2& \text{if }|y_i-{\hat{y}}_i|\le \delta \\ \delta |y_i-{\hat{y}}_i|-\frac{1}{2}{\delta }^2& \text{其他}\end{array}$	平衡 MAE 和 MSE	鲁棒回归任务
Log-Cosh Loss	$L=\sum \log (\cosh (\hat{y}-y))$	平滑的 MAE	对离群点略鲁棒

2. 分类问题

损失函数	公式	特点	适用场景
交叉熵损失（Binary Cross Entropy）	$L=-\frac{1}{n}{\sum }_{i=1}^n\left[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)\right]$	二分类	逻辑回归、二分类神经网络
交叉熵损失（Categorical Cross Entropy）	$L=-\frac{1}{n}{\sum }_{i=1}^n{\sum }_{j=1}^k{y}_{ij}\log ({\hat{y}}_{ij})$	多分类	Softmax 输出
稀疏分类交叉熵（Sparse Categorical Cross Entropy）	使用类索引而不是 one-hot	节省内存	类别数较多
Focal Loss	添加调节因子处理样本不平衡	小样本分类	检测、医学图像分类

3. 其他问题

损失函数	应用	说明
相对熵（KL Divergence）	分布拟合	常见于 NLP / VAE
Contrastive Loss	度量学习	Siamese 网络
Triplet Loss	排序学习	图像识别、人脸匹配
CTC Loss	序列对齐	语音识别、OCR 等
Dice Loss / IoU Loss	图像分割	非常常用于医学图像

三、如何选择损失函数

任务类型	输出形式	推荐损失函数	PyTorch API
回归（无离群）	连续数值	MSE	nn.MSELoss()
回归（有离群）	连续数值	MAE / Huber	nn.L1Loss() / nn.HuberLoss()
二分类	概率（Sigmoid）	Binary Cross Entropy	nn.BCELoss() / nn.BCEWithLogitsLoss()
多分类	概率（Softmax）	Cross Entropy	nn.CrossEntropyLoss()
多标签分类	多个 Sigmoid 输出	nn.BCEWithLogitsLoss()	多标签分类问题
图像分割	概率图	Dice Loss / Cross Entropy	自定义 Dice Loss
NLP（语言模型）	词分布	KL Divergence / CE	nn.KLDivLoss() / nn.CrossEntropyLoss()
度量学习	特征嵌入	Contrastive / Triplet	自定义损失函数

四、举个🌰

import numpy as np

# 真实值和预测值
y_true = np.array([1.0, 2.0, 3.0])
y_pred = np.array([1.2, 1.8, 2.5])

# 1. 均方误差 (MSE)
mse = np.mean((y_true - y_pred) ** 2)
print(f"均方误差: {mse:.4f}")

# 2. 均绝对误差 (MAE)
mae = np.mean(np.abs(y_true - y_pred))
print(f"均绝对误差: {mae:.4f}")

# 3. Huber损失 (delta=1.0)
delta = 1.0
diff = np.abs(y_true - y_pred)
huber = np.mean(np.where(diff <= delta, 0.5 * diff ** 2, delta * diff - 0.5 * delta ** 2))
print(f"Huber损失: {huber:.4f}")

# 4. 二分类交叉熵 (假设y_true是0/1标签，y_pred是概率)
y_true_binary = np.array([0, 1, 1])
y_pred_binary = np.array([0.2, 0.8, 0.9])
cross_entropy = -np.mean(y_true_binary * np.log(y_pred_binary + 1e-10) + 
                         (1 - y_true_binary) * np.log(1 - y_pred_binary + 1e-10))
print(f"二分交叉熵: {cross_entropy:.4f}")

均方误差: 0.1100
均绝对误差: 0.3000
Huber损失: 0.0550
二分交叉熵: 0.1839

五、总结

损失函数是机器学习和深度学习中不可或缺的一部分，合理选择和设计损失函数可以显著提高模型的性能。