### PyTorch 实现 CNN 与 Transformer 结合用于视频分类 为了实现CNN与Transformer结合进行视频分类的任务，在PyTorch框架下设计模型时，需注意确保CNN部分提取到的特征能有效传递给Transformer模块，并让两者共同参与到训练过程中。下面给出一段简化版的代码示例来展示这一过程。 ```python import torch from torch import nn, optim from torchvision.models.video import r3d_18 as backbone_model class VideoClassificationModel(nn.Module): def __init__(self, num_classes=400): super(VideoClassificationModel, self).__init__() # 使用预训练好的3D ResNet作为基础网络结构 self.backbone = backbone_model(pretrained=True) # 修改最后一层适应新的类别数量 self.backbone.fc = nn.Linear(self.backbone.fc.in_features, 512) # 定义Transformer Encoder Layer encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6) # 输出层调整至目标类别的数目 self.classifier = nn.Sequential( nn.Dropout(p=0.5), nn.ReLU(), nn.Linear(512, num_classes)) def forward(self, x): batch_size, channels, frames, height, width = x.shape # 提取空间-时间特征向量 features = self.backbone(x) # (batch_size, 512) # 调整形状以便送入Transformer features = features.unsqueeze(1).repeat(1, frames, 1) # (batch_size, frames, 512) # 应用Transformer编码器获取上下文感知表示 encoded_features = self.transformer_encoder(features.permute(1, 0, 2))[-1] # (frames, batch_size, 512)->(batch_size, 512) # 进行最终预测 output = self.classifier(encoded_features) return output if __name__ == '__main__': model = VideoClassificationModel(num_classes=10) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) dummy_input = torch.randn((2, 3, 16, 112, 112)) labels = torch.tensor([1, 2]) outputs = model(dummy_input) loss = criterion(outputs, labels) loss.backward() print('Backward pass completed successfully.') ``` 此段代码定义了一个基于3D卷积神经网络（ResNet-3D）和多层变压器编码器组成的混合架构来进行视频片段分类[^1][^2]。通过这种方式，不仅能够捕捉帧间的时间依赖关系，还能利用局部区域内的视觉模式信息。此外，该例子展示了如何设置优化器以使所有可学习参数都能正常更新权重，从而保证了整个系统的端到端训练能力[^3]。