在传统神经网络中，Transformer在不同任务中有不同的标注方法。以下以图像标注和语义角色标注为例进行说明。 ### 图像标注 在计算机视觉领域，Vision Transformer（ViT）采用Transformer模型中的自注意力机制来建模图像的特征。其标注方法如下： 首先，将图像划分为多个固定大小的小块（patches），每个小块被展平为一维向量，并添加位置编码以保留位置信息。然后，这些向量被输入到Transformer的编码器中，通过多头自注意力机制捕捉图像中的全局信息。最后，在编码器的输出上添加分类头（如全连接层），用于预测每个小块对应的类别标签，从而实现图像的标注。 ```python import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, image_size, patch_size, in_channels, embed_dim): super().__init__() self.image_size = image_size self.patch_size = patch_size self.num_patches = (image_size // patch_size) ** 2 self.proj = nn.Conv2d(in_channels, embed_dim, kernel_size=patch_size, stride=patch_size) def forward(self, x): x = self.proj(x) # (B, C, H, W) -> (B, embed_dim, H', W') x = x.flatten(2) # (B, embed_dim, H', W') -> (B, embed_dim, num_patches) x = x.transpose(1, 2) # (B, embed_dim, num_patches) -> (B, num_patches, embed_dim) return x class VisionTransformer(nn.Module): def __init__(self, image_size, patch_size, in_channels, embed_dim, num_classes): super().__init__() self.patch_embed = PatchEmbedding(image_size, patch_size, in_channels, embed_dim) self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embed = nn.Parameter(torch.zeros(1, 1 + self.patch_embed.num_patches, embed_dim)) self.transformer_encoder = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model=embed_dim, nhead=8), num_layers=12 ) self.head = nn.Linear(embed_dim, num_classes) def forward(self, x): x = self.patch_embed(x) cls_tokens = self.cls_token.expand(x.shape[0], -1, -1) x = torch.cat((cls_tokens, x), dim=1) x = x + self.pos_embed x = self.transformer_encoder(x) cls_output = x[:, 0] logits = self.head(cls_output) return logits ``` ### 语义角色标注 在自然语言处理中，Transformer模型可用于语义角色标注任务。通过自注意力机制，Transformer能够有效地捕捉词语之间的长距离依赖关系。标注方法通常是将输入的句子进行分词，将每个词转换为词向量，并添加位置编码。然后，将这些向量输入到Transformer的编码器中，经过多层的自注意力和前馈神经网络处理后，在输出层使用分类器（如softmax）预测每个词对应的语义角色标签[^2]。 ```python import torch import torch.nn as nn from transformers import BertModel class SRLTransformer(nn.Module): def __init__(self, num_classes): super().__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') self.dropout = nn.Dropout(0.1) self.classifier = nn.Linear(self.bert.config.hidden_size, num_classes) def forward(self, input_ids, attention_mask): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) sequence_output = outputs[0] sequence_output = self.dropout(sequence_output) logits = self.classifier(sequence_output) return logits ```