Transformer模型是一种强大的深度学习架构，最初设计用于自然语言处理任务。然而，随着技术的发展，它也可以应用于多模态数据（例如文本、图像等）。下面是一个简单的例子，展示如何构建一个多模态Transformer模型的基本框架： ```python import torch from torchvision import models from transformers import BertModel class MultiModalTransformer(torch.nn.Module): def __init__(self, num_classes=10): super(MultiModalTransformer, self).__init__() # 图像特征提取模块 (ResNet) self.image_model = models.resnet50(pretrained=True) in_features = self.image_model.fc.in_features self.image_model.fc = torch.nn.Identity() # 去掉最后一层全连接 # 文本特征提取模块 (BERT) self.text_model = BertModel.from_pretrained('bert-base-uncased') # 融合模块 (可以使用Transformer Encoder Layer作为示例) encoder_layer = torch.nn.TransformerEncoderLayer(d_model=768 + in_features, nhead=8) self.fusion_transformer = torch.nn.TransformerEncoder(encoder_layer, num_layers=2) # 分类头 self.classifier = torch.nn.Linear(768 + in_features, num_classes) def forward(self, image_input, text_input, attention_mask=None): img_feature = self.image_model(image_input) # 提取图像特征 [batch_size, in_features] txt_output = self.text_model(text_input, attention_mask=attention_mask)[0] # BERT输出最后一个隐状态 [batch_size, seq_len, hidden_dim] txt_feature = txt_output[:, 0, :] # 使用[CLS] token对应的向量 [batch_size, hidden_dim] fused_feature = torch.cat([img_feature.unsqueeze(dim=1), txt_feature.unsqueeze(dim=1)], dim=-1) # 拼接得到融合特征 [batch_size, 1, d_model] output_fused = self.fusion_transformer(fused_feature.permute(1, 0, 2)).permute(1, 0, 2)[-1] # Transformer编码融合后的特征 logits = self.classifier(output_fused.squeeze()) # 得到分类结果 return logits # 测试网络结构是否正确 if __name__ == '__main__': model = MultiModalTransformer() # 示例输入张量 image_tensor = torch.randn((4, 3, 224, 224)) # batch_size x channels x height x width tokens_tensor = torch.randint(low=0, high=30000, size=(4, 128)) # batch_size x max_seq_length outputs = model(image_tensor, tokens_tensor) print(outputs.shape) # 应该打印出 (batch_size, num_classes)，即预测类别数 ``` 上面这个脚本展示了将预训练的ResNet用作视觉信息处理器，并结合BERT来捕获序列化的文字表示。然后通过拼接两种类型的嵌入形式再送进一个自定义层数较少的标准变压器完成联合建模过程。