Grad Norm调整损失权重

### GradNorm 方法简介 GradNorm 是一种用于动态调整多任务学习中损失函数权重的技术。其核心思想是通过控制各任务梯度的相对大小，使得每个任务对整体优化过程的贡献大致相等[^1]。这种方法能够自动调节不同任务的重要性，而无需人工干预。 #### GradNorm 的基本原理 GradNorm 基于这样一个假设：如果某个任务的学习速度较快，则该任务的梯度会较大；反之亦然。因此，可以通过调整任务的权重 $ w_i $ 来改变其梯度的规模，从而使所有任务的梯度范数趋于一致[^3]。具体来说，GradNorm 定义了一个额外的目标函数，用来约束各个任务梯度的 L2 范数与其初始值的比例保持恒定。 #### 数学表达式设第 $ i $ 个任务的损失为 $ L_i(w, \theta) $，其中 $ w $ 表示权重向量，$ \theta $ 表示模型参数。则总损失可写为： $$ L_{\text{total}}(w, \theta) = \sum_{i=1}^{n} w_i L_i(\theta) $$ 为了使每项任务的梯度范数达到期望比例，定义目标函数如下： $$ G_i(t) = \| \frac{\partial (w_i L_i)}{\partial \theta} \| $$ 理想情况下，希望这些梯度满足以下条件： $$ \alpha G_i(t) = G_j(t), \quad \forall i,j $$ 这里 $ \alpha $ 是一个超参数，表示允许的不同任务间梯度差异的程度。最终，GradNorm 将上述约束转化为一个新的优化子问题，并将其加入到原始训练过程中[^4]。 #### 实现细节以下是使用 PyTorch 实现 GradNorm 的代码片段： ```python import torch from torch import nn from torch.optim import Adam class MultiTaskModel(nn.Module): def __init__(self): super(MultiTaskModel, self).__init__() # 初始化共享层和其他特定任务模块... def forward(self, x): # 返回多个任务预测结果... def gradnorm_loss(model, losses, alpha=1.0): """计算 GradNorm 损失""" shared_params = list(filter(lambda p: getattr(p, 'is_shared', False), model.parameters())) task_losses = [l.mean() for l in losses] initial_task_losses = [] if not hasattr(gradnorm_loss, "initial"): with torch.no_grad(): initial_task_losses = [l.item() for l in task_losses] gradnorm_loss.initial = True loss_gradients_magnitude = [] for idx, task_loss in enumerate(task_losses): grads = torch.autograd.grad( outputs=task_loss, inputs=shared_params, retain_graph=True ) norm = sum([g.norm().pow(2).item() for g in grads]) ** 0.5 target_ratio = initial_task_losses[idx] / sum(initial_task_losses) current_ratio = norm / sum(loss_gradients_magnitude + [norm]) loss_gradients_magnitude.append(norm * (target_ratio / current_ratio)**alpha) return sum(loss_gradients_magnitude) # 训练循环部分省略... ``` 此代码展示了如何利用 `torch.autograd` 功能获取每一项任务相对于共享网络参数的梯度，并据此构建新的惩罚项以实现 GradNorm 效果。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Pycharm同时看两个文件

目录

Grad Norm调整损失权重

Python内容推荐

Python CNN+Grad-CAM可解释性 类激活热力图课设

pytorch梯度剪裁方式

解决pytorch 交叉熵损失输出为负数的问题

TensorFlow梯度求解tf.gradients实例

梯度裁剪技术解析[项目源码]

最速下降法：最速下降法-matlab开发

浅谈pytorch grad_fn以及权重梯度不更新的问题

PyTorch中model.zero_grad()和optimizer.zero_grad()用法

在Pytorch中使用样本权重(sample_weight)的正确方法

PyTorch的SoftMax交叉熵损失和梯度用法

keras打印loss对权重的导数方式

可视化神经网络-Grad CAM.zip

Grad_Algorithms

带口罩的权重文件，解压后为pt文件

梯度下降与权重更新[可运行源码]

Tensorflow之梯度裁剪的实现示例

解决torch.autograd.backward中的参数问题

在pytorch中动态调整优化器的学习率方式

定制化深度学习：在PyTorch中实现自定义损失函数

Pytorch实现将模型的所有参数的梯度清0

【工业自动化】欧姆龙PLC产品线与编程软件应用：从选型架构到调试排错的全流程技术指南

CISP-CSE注册云安全工程师备考资源包

科技中介服务机构如何通过AI技术降低技术评估与匹配服务的操作门槛？.docx

国央企创新负责人如何借助平台实现创新资源的高效配置与项目落地？.docx

高校技术转移办公室人员如何高效筛选并推介科技成果？.docx

Rust系统编程与WebAssembly开发：LLVM IR教程及实战资源

OpenStock：中小企业可用的开源库存管理系统

PSO里的惯性权重怎么设才合理？为什么常常用线性递减的方式？

Windows平台ESP32开发环境一站式搭建包：MSYS2、ESP-IDF v3.3与VS Code集成配置

OpenStock：开源A股行情数据抓取与自动化选股策略工具

Python CNN+Grad-CAM可解释性类激活热力图课设