代码概述 训练好的 BERT 模型可以用于提取句子的向量表示。通常的做法是使用模型最后一层的 `[CLS]` 标记的隐藏状态作为整个句子的向量，或者对所有 token 的向量进行平均池化。以下是一个完整的 Python 示例，展示如何加载训练好的模型和分词器，并计算一个句子的向量表示。 --- 代码解析 1. **加载模型和分词器**：从保存路径加载训练好的 BERT 模型和分词器。 2. **对输入文本进行编码**：使用 `tokenizer` 将句子转换为模型可接受的输入格式（如 `input_ids`, `attention_mask`）。 3. **获取模型输出**：将输入数据传入模型，得到所有 token 的隐藏状态（`last_hidden_state`）。 4. **提取句子向量**： - 使用 `[CLS]` 位置的向量作为句子表示。 - 或者对所有 token 向量取平均值。 5. **输出结果**：打印句子向量的形状和数值。 ```python from transformers import BertTokenizerFast, BertModel import torch # 1. 加载训练好的模型和分词器 model_path = "./mlm_model" # 替换为你保存模型的路径 tokenizer = BertTokenizerFast.from_pretrained(model_path) model = BertModel.from_pretrained(model_path) # 2. 定义一个句子并进行编码 sentence = "这是一个包含未登录词量子计算机的例子" inputs = tokenizer(sentence, return_tensors="pt", padding=True, truncation=True, max_length=128) # 3. 获取模型输出 with torch.no_grad(): outputs = model(**inputs) # 4. 提取 [CLS] 向量（句子整体表示） cls_vector = outputs.last_hidden_state[:, 0, :] # shape: [1, hidden_size] # 或者使用平均池化获取句子向量 token_embeddings = outputs.last_hidden_state attention_mask = inputs['attention_mask'] input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float() sum_embeddings = torch.sum(token_embeddings * input_mask_expanded, 1) sum_mask = torch.clamp(input_mask_expanded.sum(1), min=1e-9) mean_pooled_vector = sum_embeddings / sum_mask # 5. 输出结果 print("CLS Vector shape:", cls_vector.shape) print("CLS Vector values:\n", cls_vector.detach().numpy()) print("\nMean Pooled Vector shape:", mean_pooled_vector.shape) print("Mean Pooled Vector values:\n", mean_pooled_vector.detach().numpy()) ``` --- 知识点 1. **BERT 句子向量化方法**：使用 `[CLS]` 向量或平均池化向量来表示整个句子的语义。 2. **Transformer 模型输出结构**：`last_hidden_state` 是各 token 的上下文嵌入表示。 3. **PyTorch 张量操作与掩码处理**：使用 `attention_mask` 处理填充部分，避免影响句向量质量。