代码概述 下面是一个完整的 Python 代码示例，使用 Hugging Face 的 `transformers` 库从头训练一个基于 BERT 的文本分类模型。该代码包括数据预处理、自定义词表扩展、模型构建、训练与评估。 --- 代码解析 1. **导入必要的库**：使用 `transformers` 和 `datasets` 库加载数据和模型。 2. **准备数据集**：使用简单的文本列表和对应的标签进行演示，你可以替换为你自己的数据。 3. **分词器设置**：使用 `BertTokenizerFast` 并支持添加新词汇以应对未登录词。 4. **模型初始化**：使用 `BertForSequenceClassification`，并根据需要调整嵌入层大小。 5. **训练配置与训练器**：使用 `TrainingArguments` 配置训练参数，使用 `Trainer` 管理训练过程。 6. **模型评估**：输出验证集上的准确率。 ```python from transformers import BertTokenizerFast, BertForSequenceClassification, TrainingArguments, Trainer from datasets import load_dataset, Dataset import torch # 1. 准备数据（示例） # 假设你有一个包含文本和标签的列表 texts = [ "这是一段正常的中文文本。", "这是一个含有未登录词比如量子计算机的例子。", "这个模型可以处理新出现的词汇。", "未登录词在BERT中不会被完全忽略。" ] labels = [0, 1, 0, 1] # 二分类任务 # 构建 Dataset 对象 dataset = Dataset.from_dict({"text": texts, "label": labels}) # 划分训练集和验证集 dataset = dataset.train_test_split(test_size=0.2) train_dataset = dataset["train"] eval_dataset = dataset["test"] # 2. 加载分词器 tokenizer = BertTokenizerFast.from_pretrained("bert-base-chinese") # 可选：向分词器中添加未登录词 new_tokens = ["量子计算机", "未登录词", "深度学习框架"] tokenizer.add_tokens(new_tokens) # 3. 数据编码函数 def tokenize_function(examples): return tokenizer(examples["text"], padding="max_length", truncation=True) # 对整个数据集进行编码 train_dataset = train_dataset.map(tokenize_function, batched=True) eval_dataset = eval_dataset.map(tokenize_function, batched=True) # 设置格式为 PyTorch 张量 train_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'label']) eval_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'label']) # 4. 加载 BERT 分类模型 model = BertForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2) # 如果添加了新的 tokens，则要扩展词嵌入矩阵 model.resize_token_embeddings(len(tokenizer)) # 5. 定义训练参数 training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=2, num_train_epochs=3, weight_decay=0.01, save_strategy="epoch", logging_dir='./logs', ) # 6. 训练器定义 trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, tokenizer=tokenizer, ) # 7. 开始训练 trainer.train() # 8. 模型评估 results = trainer.evaluate() print(f"Evaluation results: {results}") ``` --- 知识点 1. **WordPiece 分词器**：通过子词分割处理未登录词，提高模型对陌生词汇的泛化能力。 2. **BertForSequenceClassification**：基于 BERT 的序列分类模型结构，适用于多类别文本分类任务。 3. **Tokenizer 与模型词表扩展**：可自定义增加词表内容，以适应特定领域或新词汇。