<think>我们正在处理如何从翻译Transformer模型中获取词汇表的问题。 在PyTorch或TensorFlow的实现中，词汇表通常作为模型的一部分保存在tokenizer或字典文件中。 以下是获取词汇表的步骤： 1. 检查模型是否提供了内置的词汇表。 2. 如果使用Hugging Face Transformers库，可以通过tokenizer的get_vocab方法获取。 3. 如果是从预训练模型文件加载，则通常需要加载对应的vocab文件（如vocab.json、merges.txt等）。 以下提供具体代码示例： </think> ### 获取翻译Transformer模型词汇表的完整方案 以下为不同框架下获取词汇表的方法总结，包含代码示例和注意事项： #### 方法1：Hugging Face Transformers库（推荐） ```python from transformers import AutoTokenizer # 加载预训练模型对应的tokenizer model_name = "Hesc2/fugu-ja-en" # 以日英翻译模型为例 tokenizer = AutoTokenizer.from_pretrained(model_name) # 获取词汇表字典（token->id） vocab_dict = tokenizer.get_vocab() print(f"词汇表大小: {len(vocab_dict)}") # 查看特殊标记 print(f"起始符: {tokenizer.bos_token} -> {tokenizer.bos_token_id}") print(f"结束符: {tokenizer.eos_token} -> {tokenizer.eos_token_id}") # 导出完整词汇表到文件 with open("vocabulary.txt", "w", encoding="utf-8") as f: for token, idx in sorted(vocab_dict.items(), key=lambda x: x[1]): f.write(f"{token}\n") ``` **关键点**： 1. 使用`get_vocab()`获取完整映射字典 2. 特殊标记可通过`bos_token/eos_token/unk_token`等属性访问 3. 词汇表排序遵循分词器训练时的ID顺序[^1] #### 方法2：Fairseq序列到序列框架 ```python from fairseq.models.transformer import TransformerModel # 加载模型 model = TransformerModel.from_pretrained('transformer.wmt19.en-de', checkpoint_file='model.pt') # 获取词汇表 src_dict = model.task.src_dict # 源语言词汇表 tgt_dict = model.task.tgt_dict # 目标语言词汇表 # 遍历词汇表 print("英语词汇样例:") for i in range(1000, 1005): # 显示部分词例 print(f"{i}: {src_dict[i]}") print("\n德语词汇样例:") for i in range(2000, 2005): print(f"{i}: {tgt_dict[i]}") # 保存完整词汇表 src_dict.save('vocab.en') # 保存为Fairseq格式 ``` **注意**：Fairseq词汇表包含四种特殊标记： 1. `<pad>`（填充符） 2. `<s>`（起始符） 3. `</s>`（结束符） 4. `<unk>`（未知词） #### 方法3：自定义TensorFlow模型 ```python import tensorflow as tf from tensorflow.python.saved_model import load # 加载SavedModel model = load("transformer_zh-en/1") # 获取词汇表文件路径 assets = model.assets vocab_files = [f for f in assets if "vocab" in f] # 查找词汇文件 # 手动加载词汇表（若未生成需重建） if not vocab_files: # 从输入层重建词汇表 embedding_layer = model.signatures["serving_default"].inputs[0] vocab_size = embedding_layer.shape[-1] # 词汇表维度$V$ print(f"词汇量大小: {vocab_size}") # 但无法获取具体词例 else: with open(vocab_files[0], "r", encoding="utf-8") as f: vocab = [line.strip() for line in f] print(f"前10个词例: {vocab[:10]}") ``` **解决自定义模型挑战**： 1. 若词汇表未保存，可通过输入层维度反推$V$值： $$\text{vocab\_size} = \text{embedding\_layer.shape}[-1]$$ 2. 无法获取具体token时，需重新训练tokenizer或查询训练配置[^2] --- ### 词汇表关键结构示例 ```markdown # 典型翻译模型词汇表片段 (英->中) <pad> → 索引0 (填充符) <unk> → 索引1 (未知词) <s> → 索引2 (序列开始) </s> →→索引3 (序列结束) hello → 索引4 world → 索引5 你好 → 索引6 世界 → 索引7 ... ``` **特殊标记处理规则**： - 解码停止条件：当生成`</s>`或达到最大长度时终止 - 覆盖率控制：通过`<pad>`遮蔽无效位置注意力权重 - 概率归一化：输出层softmax覆盖全部$V$个token --- ### 词汇表分析实用工具 ```python from collections import Counter def analyze_vocab(vocab_list): # 统计词频特征 len_dist = Counter(len(token) for token in vocab_list) unk_rate = sum(1 for token in vocab_list if "##" in token) / len(vocab_list) # 输出分析结果 print(f"子词比例: {unk_rate:.2%}") print(f"最长token: {max(vocab_list, key=len)}") print("长度分布:") for length, count in len_dist.most_common(5): print(f" {length}字符: {count}个") # 使用示例 vocab = list(tokenizer.get_vocab().keys()) analyze_vocab(vocab) ``` ---