在使用 Python 的 Transformer 库（如 Hugging Face 的 `transformers`）进行深度学习实验时，为了确保实验结果的可复现性，需要设置随机种子。这不仅包括设置 Python 和 PyTorch 的随机种子，还需要配置其他相关库的种子以确保全局一致性。 ### 设置随机种子的方法 1. **设置 Python 的随机种子** 使用 `random` 模块设置 Python 内置随机数生成器的种子。 2. **设置 NumPy 的随机种子** 由于许多数据处理任务依赖于 NumPy，因此需要设置 NumPy 的随机种子。 3. **设置 PyTorch 的随机种子** 如果使用的是 PyTorch 框架，必须设置 `torch.manual_seed()`，并在使用 GPU 时启用确定性操作。 4. **启用 PyTorch 的确定性模式** 为了确保计算过程中的操作是确定性的，可以启用 `torch.backends.cudnn.deterministic` 并禁用 `torch.backends.cudnn.benchmark`。 5. **如果使用多 GPU 或分布式训练** 需要额外配置以确保不同设备之间的随机性一致。 ### 示例代码 以下是一个完整的示例，展示如何在使用 Hugging Face 的 `transformers` 库时设置随机种子： ```python import random import numpy as np import torch def set_seed(seed: int = 42): """ 设置全局随机种子以确保实验可复现。 """ random.seed(seed) # 设置 Python 的随机种子 np.random.seed(seed) # 设置 NumPy 的随机种子 torch.manual_seed(seed) # 设置 PyTorch 的随机种子 # 如果使用 GPU，启用以下设置以确保可复现性 if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) # 设置所有 GPU 的随机种子 torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False # 设置种子 set_seed(42) # 示例：加载模型和分词器 from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') # 示例输入 inputs = tokenizer("Hello, my dog is cute", return_tensors="pt") outputs = model(**inputs) # 打印输出的张量 print(outputs.last_hidden_state) ``` ### 说明 - `random.seed()` 和 `np.random.seed()` 用于控制数据预处理阶段的随机性。 - `torch.manual_seed()` 和 `torch.cuda.manual_seed_all()` 用于控制 PyTorch 的随机性，确保模型初始化、优化过程等是可复现的。 - `torch.backends.cudnn.deterministic = True` 确保在使用 cuDNN 加速时，卷积操作等是确定性的。 - `torch.backends.cudnn.benchmark = False` 防止 cuDNN 自动寻找最优算法，这可能会引入不确定性[^1]。 ### 注意事项 - 在某些情况下，如使用混合精度训练或特定的优化器，可能需要额外的配置。 - 如果使用 `transformers.Trainer` API，可以在 `TrainingArguments` 中设置 `seed` 参数，它会自动处理大部分种子设置。 ---