### Longformer模型概述 Longformer是一种基于Transformer的改进模型，专门用于处理超长序列的任务。它通过引入稀疏注意力机制解决了标准Transformer在处理长序列时内存和计算复杂度高的问题[^1]。具体而言，Longformer的核心在于其独特的注意力模式设计。 #### 长序列处理能力 传统的Transformer模型使用全注意力（Full Attention），这使其时间复杂度和空间复杂度均为 \(O(n^2)\)，其中 \(n\) 是输入序列长度。然而，Longformer通过结合全局注意力、滑动窗口注意力以及扩张窗口注意力三种方式，在保持性能的同时显著降低了计算开销[^2]。 - **全局注意力 (Global Attention)** 这种注意力允许某些特定标记在整个序列范围内接收信息。例如文档分类任务中的特殊标记 `[CLS]` 或者句子边界标记可能需要感知整个上下文的信息。 - **滑动窗口注意力 (Sliding Window Attention)** 每个位置仅关注固定大小的局部区域内的其他位置，从而将复杂度降低到线性级别 \(O(k \cdot n)\)，这里 \(k\) 表示窗口宽度。 - **扩张窗口注意力 (Dilated Window Attention)** 类似于膨胀卷积操作，该策略每隔一定步幅选取部分元素参与计算，进一步减少了计算量并扩展了感受野范围。 以上几种注意力建立起了一个灵活高效的框架来应对不同场景下的需求差异。 #### 架构特点总结 以下是关于Longformer主要特性的描述： - 利用了分块稀疏技术优化存储与运行效率； - 支持多种类型的自定义化配置方案满足实际应用环境的要求； - 继承了BERT等经典预训练语言模型的优势特性同时增强了它们适应更广泛领域的能力； 尽管如此，值得注意的是当前并没有官方发布的单独针对longformer结构详细的图表资料可以直接展示出来。不过可以根据上述原理自行绘制或者寻找社区贡献版本作为参考材料之一。 ```python import torch from transformers import LongformerModel, LongformerTokenizer tokenizer = LongformerTokenizer.from_pretrained('allenai/longformer-base-4096') model = LongformerModel.from_pretrained('allenai/longformer-base-4096') input_ids = tokenizer.encode("This is an example sentence.", return_tensors='pt') attention_mask = [1]*len(input_ids) global_attention_mask = [0]*len(input_ids) global_attention_mask[0] = 1 # Set global attention on the first token '[CLS]' outputs = model(input_ids=input_ids.unsqueeze(0), attention_mask=torch.tensor([attention_mask]), global_attention_mask=torch.tensor([global_attention_mask])) print(outputs.last_hidden_state.shape) # Output shape should be (batch_size, sequence_length, hidden_dim). ```