### 如何使用 `transformers` 库训练 BERT 模型 #### 准备工作 为了成功利用 `transformers` 库来训练 BERT 模型，需确保安装了最新版本的 `transformers` 和其他必要的依赖项。可以通过 pip 安装这些包： ```bash pip install transformers datasets torch ``` #### 加载数据集并进行预处理 在开始训练之前，要准备用于训练的数据集，并将其转换成适合输入到 BERT 的格式。这通常涉及将原始文本通过已有的 tokenizer 转换成 token ID 列表。 ```python from transformers import BertTokenizerFast, DataCollatorWithPadding import datasets dataset = datasets.load_dataset('glue', 'mrpc') # 这里以MRPC为例 tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased') def preprocess_function(examples): return tokenizer(examples['sentence1'], examples['sentence2'], truncation=True) encoded_dataset = dataset.map(preprocess_function, batched=True) data_collator = DataCollatorWithPadding(tokenizer=tokenizer) ``` #### 设置模型配置与初始化模型 接着定义模型架构以及加载预训练权重。对于微调任务来说，可以直接基于现有的预训练模型来进行调整。 ```python from transformers import BertForSequenceClassification model = BertForSequenceClassification.from_pretrained( "bert-base-uncased", num_labels=2 ) ``` #### 训练设置 指定训练参数如学习率、批量大小等，并创建 Trainer 对象负责整个训练过程管理。 ```python from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir='./results', learning_rate=2e-5, per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=encoded_dataset["train"], eval_dataset=encoded_dataset["validation"], data_collator=data_collator, tokenizer=tokenizer, ) ``` #### 开始训练 最后一步就是启动实际的训练流程，在此期间可以根据需求监控进度和其他指标变化情况。 ```python trainer.train() ``` 完成上述操作后即可实现对 BERT 模型的有效训练[^1]。