### Longformer 模型的工作原理 Longformer是一种改进版的Transformer架构，旨在解决处理超长文本序列的问题。传统Transformer由于全连接注意力机制，在处理较长输入时面临显著的计算成本和内存占用问题。为了克服这一局限性，Longformer引入了一种局部窗口注意力机制。 #### 局部窗口注意力 在标准Transformer中，每个位置上的token会与其他所有位置上的tokens建立联系，这导致了二次时间复杂度O(n²)，其中n表示序列长度。相比之下，Longformer通过限定每个token仅与其邻近固定大小范围内的其他tokens交互来降低这种复杂度至线性级别O(n)[^1]。 具体来说，对于给定的位置i，它只会考虑[i-w/2, i+w/2]区间内（即前后各w/2个单位宽度）的上下文信息作为其注意对象集合的一部分；这里w代表预定义好的窗口尺寸参数[^2]。 此外，除了上述提到的基础形式外，还存在一种称为“稀疏全局依赖”的扩展特性允许某些特定标记在整个文档范围内维持完整的相互作用关系——比如标题、段首句等具有特殊意义的角色可以不受限于本地视窗约束而获得更广泛的关注视野[^3]。 #### 数学表达式 设\(Q\)、\(K\) 和 \(V\) 分别为查询矩阵(query matrix)、键矩阵(key matrix) 以及 值矩阵(value matrix), 它们的形状均为 \([L,D]\)，其中 L 表示序列长度 D 则是隐藏层维度。那么原始 Transformer 中的标准自注意力分数可以通过下面公式计算： \[A_{ij}=\frac{Q_i K_j^\top}{\sqrt{d}}\] 然而，在 Longformer 架构下，当涉及到局部窗口内部元素间的关联度评估时，则采用如下调整后的版本: \[A'_{ij}= \begin{cases} A_{ij}, & \text{if } |j-i|<W \\ -\infty ,& \text{otherwise} \end{cases}\] 此处 W 即前述提及到的那个预先设定好用来界定局部区域边界的窗口半径值[^4]。 最后一步则是利用 Softmax 函数对所得得分进行规范化操作并乘上对应的 V 向量完成加权求和运算得出最终输出向量 O : \[O_i=softmax(A')_i * V\] ```python import torch from transformers import LongformerModel model = LongformerModel.from_pretrained('allenai/longformer-base-4096') input_ids = torch.randint(0, 30000, (1, 4096)) # Example input tensor with sequence length of 4096 tokens. attention_mask = None # No need to specify attention mask as longformer handles it internally. outputs = model(input_ids=input_ids, attention_mask=attention_mask) last_hidden_state = outputs.last_hidden_state ```