基于Transformer的文本摘要系统，其核心在于利用Transformer的编码器-解码器架构和自注意力机制，从长文本中提取或生成简洁、信息丰富的摘要。系统架构主要分为数据处理、模型构建、训练与微调、摘要生成及评估几个关键模块[ref_1][ref_3]。 ### 一、 系统核心架构设计 一个典型的基于Transformer的文本摘要系统遵循以下数据流和模块化设计： ```mermaid graph TD A[原始文本数据] --> B(数据预处理模块); B --> C{摘要任务类型}; C -->|抽取式| D[抽取式模型]; C -->|生成式| E[生成式模型]; D --> F[模型训练/微调模块]; E --> F; F --> G[摘要生成模块]; G --> H[摘要评估模块]; H --> I[最终摘要输出]; ``` #### 1. 数据处理模块 此模块负责将原始文本转换为模型可处理的格式，通常包括清洗、分词、编码和批处理。 * **清洗**：去除HTML标签、特殊字符、停用词等。 * **分词**：将文本分割成词元（Token）。对于预训练模型（如BERT、T5），需使用其对应的分词器。 * **编码**：将词元转换为模型词汇表中的ID，并添加特殊标记（如`[CLS]`, `[SEP]`）。 * **批处理**：将编码后的序列进行填充（Padding）和截断（Truncation），使其长度一致，并生成注意力掩码（Attention Mask）。 ```python from transformers import AutoTokenizer # 加载预训练模型的分词器，例如用于生成式摘要的T5模型 tokenizer = AutoTokenizer.from_pretrained("t5-small") def preprocess_function(examples): # 假设examples是包含“article”和“highlights”字段的数据集 model_inputs = tokenizer( examples["article"], max_length=512, truncation=True, padding="max_length" ) # 为摘要（目标文本）设置标签 with tokenizer.as_target_tokenizer(): labels = tokenizer( examples["highlights"], max_length=128, truncation=True, padding="max_length" ) model_inputs["labels"] = labels["input_ids"] return model_inputs # 应用预处理函数到数据集 encoded_dataset = raw_dataset.map(preprocess_function, batched=True) ``` *代码示例展示了使用Hugging Face Transformers库对数据进行预处理，为Seq2Seq模型（如T5）准备输入和标签[ref_5]。* #### 2. 模型构建模块 根据摘要任务类型（抽取式或生成式）选择或构建模型。 | 任务类型 | 核心模型/方法 | 工作原理 | 适用场景 | | :--- | :--- | :--- | :--- | | **抽取式摘要** | 基于BERT等编码器模型 | 将文本摘要视为二分类任务，为原文中的每个句子打分，选出最重要的句子组合成摘要[ref_1][ref_4]。 | 新闻摘要、科技文献摘要，要求摘要完全忠实于原文。 | | **生成式摘要** | Transformer编码器-解码器（如BART, T5, PEGASUS） | 编码器理解原文，解码器基于编码器的输出和已生成的内容，逐词生成全新的摘要文本[ref_1][ref_3][ref_5]。 | 需要高度概括、语言流畅、可进行措辞改写和重组的场景。 | 对于生成式摘要，通常直接使用预训练的Seq2Seq模型： ```python from transformers import AutoModelForSeq2SeqLM model = AutoModelForSeq2SeqLM.from_pretrained("t5-small") ``` *此代码加载了T5-small预训练模型，该模型专为文本到文本的生成任务设计，非常适合摘要生成[ref_5]。* #### 3. 训练与微调模块 由于从头训练Transformer成本极高，实践中普遍采用**预训练-微调**范式[ref_1][ref_3]。 1. **加载预训练模型**：使用在大量语料上预训练好的模型权重作为起点。 2. **准备任务特定数据**：使用上述预处理后的摘要数据集。 3. **配置训练参数**：设置学习率、批次大小、训练轮数等。 4. **微调模型**：在摘要数据集上继续训练，使模型适应摘要生成任务。 ```python from transformers import Seq2SeqTrainer, Seq2SeqTrainingArguments training_args = Seq2SeqTrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=4, per_device_eval_batch_size=4, weight_decay=0.01, save_total_limit=3, num_train_epochs=3, predict_with_generate=True, # 生成时评估需要 fp16=True, # 混合精度训练加速 ) trainer = Seq2SeqTrainer( model=model, args=training_args, train_dataset=encoded_dataset["train"], eval_dataset=encoded_dataset["validation"], tokenizer=tokenizer, ) trainer.train() ``` *代码展示了使用Hugging Face的`Seq2SeqTrainer`进行模型微调的典型流程[ref_5]。* #### 4. 摘要生成模块（推理） 使用微调好的模型进行摘要生成，核心是解码策略。 ```python def generate_summary(text): inputs = tokenizer.encode( "summarize: " + text, # T5模型需要任务前缀 return_tensors="pt", max_length=512, truncation=True ) summary_ids = model.generate( inputs, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, # 使用束搜索(Beam Search)提高质量 early_stopping=True ) summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True) return summary # 使用示例 article = "这里是一篇很长的新闻文章..." print(generate_summary(article)) ``` *在生成阶段，通过`model.generate()`函数并配置如`num_beams`（束搜索宽度）、`length_penalty`（长度惩罚）等参数来控制生成摘要的质量和长度[ref_5]。* #### 5. 评估模块 使用自动化指标评估生成摘要的质量，最常用的是**ROUGE**系列指标[ref_1][ref_6]。 * **ROUGE-N**：衡量N-gram（词序列）的重叠度。例如，ROUGE-1和ROUGE-2分别评估单单词和双词对的匹配情况。 * **ROUGE-L**：基于最长公共子序列（LCS），评估句子级别的结构相似性。 ```python from rouge_score import rouge_scorer scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True) scores = scorer.score(reference_summary, generated_summary) print(scores) ``` *ROUGE分数越高，通常意味着生成的摘要与参考摘要（人工撰写）在内容重叠上越好[ref_6]。* ### 二、 关键技术与优化点 1. **注意力机制**：Transformer的自注意力机制使模型能够在编码时权衡原文中所有词的重要性，并在解码时关注原文最相关的部分，这是其生成高质量摘要的基础[ref_3]。 2. **位置编码**：由于Transformer本身不具备序列顺序信息，通过正弦位置编码或可学习的位置嵌入，为模型注入词的位置信息[ref_3]。 3. **预训练任务**：如T5的“文本到文本”统一框架、BART的去噪自编码、PEGASUS的间隙句子生成（GSG）等，这些预训练任务