### 如何在 Hugging Face Transformers 库中正确使用 AdamW 优化器 AdamW 是一种广泛使用的优化算法，它通过权重衰减正则化改进了原始的 Adam 优化器。Hugging Face 的 `transformers` 库支持与 PyTorch 集成，因此可以轻松地将 AdamW 作为优化器引入到模型训练流程中。 以下是实现方法： #### 导入必要的模块 要使用 AdamW 优化器，需先安装并导入所需的依赖项[^2]： ```bash pip install transformers datasets evaluate accelerate torch ``` 接着，在 Python 脚本中导入所需模块： ```python import torch from torch.optim import AdamW from transformers import AutoTokenizer, AutoModelForSequenceClassification ``` #### 初始化模型和分词器 加载预训练模型及其对应的分词器： ```python model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) ``` #### 定义 AdamW 优化器 PyTorch 提供了一个内置的 AdamW 实现，可以直接用于 Transformer 模型的参数更新。以下是一个典型的定义方式： ```python optimizer = AdamW( model.parameters(), lr=5e-5, # 学习率 betas=(0.9, 0.999), # 默认动量参数 eps=1e-8, # 数值稳定性参数 weight_decay=0.01 # 权重衰减系数 ) ``` 上述代码片段展示了如何配置 AdamW 优化器的关键超参数[^4]。 #### 登录 Hugging Face Hub 并上传模型 如果希望将训练后的模型存储至 Hugging Face Hub，则需要完成登录操作[^3]: ```python from huggingface_hub import login login(token="your_token_here", add_to_git_credential=True) ``` 随后可以在训练结束后调用 `push_to_hub` 方法上传模型及相关元数据。 #### 训练过程中的优化器应用 在实际训练循环中，每次前向传播计算损失后，执行反向传播并通过 AdamW 更新模型参数： ```python for epoch in range(num_epochs): for batch in dataloader: optimizer.zero_grad() # 清除梯度 outputs = model(**batch) # 前向传播 loss = outputs.loss # 获取损失 loss.backward() # 反向传播 optimizer.step() # 参数更新 ``` 以上步骤涵盖了从初始化到训练结束整个过程中 AdamW 的正确集成方式。 ---