### 使用 PyTorch 实现 3D 卷积与 Transformer 结合的分类训练 #### 构建 3D 卷积层 为了处理三维数据，如视频帧或医学影像中的体积数据，可以采用 `nn.Conv3d` 来构建 3D 卷积网络。该操作能够捕捉空间与时序特征。 ```python import torch.nn as nn class Conv3DEncoder(nn.Module): def __init__(self, input_channels=1, output_features=256): super(Conv3DEncoder, self).__init__() # 定义一系列3D卷积层 self.conv_layers = nn.Sequential( nn.Conv3d(input_channels, 32, kernel_size=(3, 3, 3), padding='same'), nn.ReLU(), nn.MaxPool3d(kernel_size=(2, 2, 2)), nn.Conv3d(32, 64, kernel_size=(3, 3, 3), padding='same'), nn.ReLU(), nn.MaxPool3d(kernel_size=(2, 2, 2)), nn.Flatten() ) def forward(self, x): return self.conv_layers(x) ``` #### 集成 Transformer 编码器 接下来定义基于自注意力机制的变压器编码部分，它接收由前面提到的3D CNN提取到的空间时间特征作为输入，并进一步增强这些表征的学习能力[^1]。 ```python from transformers import ViTModel class VisionTransformerEncoder(nn.Module): def __init__(self, config_path=None, img_size=224, vis=False): super(VisionTransformerEncoder, self).__init__() transformer_config = { 'img_size': (img_size, img_size), 'in_chans': 64, 'patch_size': 16, 'embed_dim': 768, 'depth': 12, 'num_heads': 12, 'mlp_ratio': 4., 'qkv_bias': True, 'norm_layer': nn.LayerNorm, 'act_layer': nn.GELU } if config_path is not None: from omegaconf import OmegaConf conf = OmegaConf.load(config_path) transformer_config.update(conf) self.transformer = ViTModel.from_pretrained('google/vit-base-patch16-224-in21k', num_labels=output_classes) self.vis = vis def forward(self, x): out_transformers, _ = self.transformer(x) if self.vis: print(f"out_transformers shape: {out_transformers.shape}") return out_transformers[:,0,:] # 只取cls_token对应的输出向量 ``` #### 组合模型并完成分类任务 最后一步是将上述两个组件组合起来形成完整的端到端学习框架，并附加一个全连接层来进行最终类别预测： ```python class CombinedModel(nn.Module): def __init__(self, conv_input_channels=1, vit_img_size=224, n_classes=10): super().__init__() self.encoder_3dcnn = Conv3DEncoder(conv_input_channels) self.vision_transformer = VisionTransformerEncoder(img_size=vit_img_size) self.classifier_head = nn.Linear(768, n_classes) def forward(self, inputs): features = self.encoder_3dcnn(inputs) embeddings = self.vision_transformer(features.unsqueeze(-1).unsqueeze(-1)) logits = self.classifier_head(embeddings) return logits ``` 通过这种方式，在PyTorch环境中实现了融合3D卷积神经网路和视觉变换器架构的方法来执行多模态数据分析的任务，比如医疗图像识别或者动作姿态估计等场景下的目标检测与分类工作[^2]。