### PyTorch 中常见的损失函数列表 在深度学习框架 PyTorch 中，损失函数用于衡量模型预测值与真实标签之间的差异，并指导模型优化。以下是 PyTorch 中一些常见的损失函数及其用途： #### 1. 分类任务中的损失函数 - **交叉熵损失 (CrossEntropyLoss)** 适用于多分类问题，结合了 `log_softmax` 和 `NLLLoss` 的功能[^1]。公式为： \[ \text{loss}(x, \text{class}) = -\log\left(\frac{\exp(x[\text{class}])}{\sum_j \exp(x[j])}\right) \] ```python loss_fn = nn.CrossEntropyLoss() ``` - **负对数似然损失 (NLLLoss)** 适用于分类问题，假设输入已经过 `log_softmax` 处理[^3]。公式为： \[ \text{loss}(x, \text{class}) = -x[\text{class}] \] ```python loss_fn = nn.NLLLoss() ``` - **二元交叉熵损失 (BCELoss)** 适用于二分类问题，输入应为未经过 sigmoid 激活的 logits[^4]。公式为： \[ \ell(x, y) = -\frac{1}{N} \sum_{i=1}^N \left[ y[i] \cdot \log(x[i]) + (1 - y[i]) \cdot \log(1 - x[i]) \right] \] ```python loss_fn = nn.BCELoss() ``` - **带逻辑激活的二元交叉熵损失 (BCEWithLogitsLoss)** 结合了 sigmoid 激活和二元交叉熵损失，数值更稳定[^2]。公式为： \[ \ell(x, y) = -\frac{1}{N} \sum_{i=1}^N \left[ y[i] \cdot \log(\sigma(x[i])) + (1 - y[i]) \cdot \log(1 - \sigma(x[i])) \right] \] ```python loss_fn = nn.BCEWithLogitsLoss() ``` #### 2. 回归任务中的损失函数 - **均方误差损失 (MSELoss)** 适用于回归问题，计算预测值与真实值之间的平方差[^2]。公式为： \[ \ell(x, y) = \frac{1}{N} \sum_{i=1}^N (x[i] - y[i])^2 \] ```python loss_fn = nn.MSELoss() ``` - **平均绝对误差损失 (L1Loss)** 计算预测值与真实值之间的绝对差[^4]。公式为： \[ \ell(x, y) = \frac{1}{N} \sum_{i=1}^N |x[i] - y[i]| \] ```python loss_fn = nn.L1Loss() ``` - **平滑 L1 损失 (SmoothL1Loss)** 在小误差时类似于 L1 损失，在大误差时类似于 L2 损失，常用于目标检测任务[^4]。公式为： \[ \text{loss}(x, y) = \begin{cases} 0.5 (x - y)^2, & \text{if } |x - y| < 1 \\ |x - y| - 0.5, & \text{otherwise} \end{cases} \] ```python loss_fn = nn.SmoothL1Loss() ``` #### 3. 高级损失函数 - **对比损失 (ContrastiveLoss)** 用于度量学习，鼓励相似样本靠近、不相似样本远离[^4]。 - **三元组损失 (TripletMarginLoss)** 用于度量学习，通过锚点样本、正样本和负样本构建损失[^4]。 --- ### 示例代码 以下是一个简单的 PyTorch 损失函数使用示例： ```python import torch import torch.nn as nn # 分类任务 input = torch.randn(3, 5, requires_grad=True) # 假设有 3 个样本，5 个类别 target = torch.empty(3, dtype=torch.long).random_(5) # 目标类别 loss_fn = nn.CrossEntropyLoss() loss = loss_fn(input, target) print("CrossEntropyLoss:", loss.item()) # 回归任务 input = torch.randn(3, requires_grad=True) # 假设有 3 个样本 target = torch.randn(3) # 真实值 loss_fn = nn.MSELoss() loss = loss_fn(input, target) print("MSELoss:", loss.item()) ``` ---