### PyTorch 实现 CNN 和 Transformer 结合进行视频分类 为了实现基于 PyTorch 的 CNN 和 Transformer 组合模型来进行视频分类，下面提供了一个简化版的代码框架。此框架假设已经有一个预处理过的数据集，其中 `ids` 是视频文件名列表，而 `labels` 则是对应的类别标签列表。 #### 数据加载器定义 首先创建自定义的数据加载类来读取并准备训练所需的数据： ```python from torch.utils.data import Dataset, DataLoader import torchvision.transforms as transforms import os from PIL import Image class VideoDataset(Dataset): def __init__(self, ids, labels, transform=None): self.ids = ids self.labels = labels self.transform = transform def __len__(self): return len(self.ids) def __getitem__(self, idx): video_path = self.ids[idx] frames = [] # 假设每个视频已经被分割成帧存储在同一目录下 frame_files = sorted(os.listdir(video_path)) for file_name in frame_files[:16]: # 只选取前16帧作为样本 img = Image.open(os.path.join(video_path, file_name)).convert('RGB') if self.transform is not None: img = self.transform(img) frames.append(img.unsqueeze(0)) label = int(self.labels[idx]) tensor_frames = torch.cat(frames).permute(1, 0, 2, 3) # (C,T,H,W)，即通道数×时间步长×高度×宽度 return {'frames': tensor_frames, 'label': label} ``` #### 创建网络结构 接下来构建融合了卷积神经网络(CNNs)和转换器(Transformers)特性的混合架构: ```python import torch.nn as nn import timm # 使用timm库获取预训练好的CNN模型 class CnnTransformer(nn.Module): def __init__(self, num_classes=400): super().__init__() # 加载ResNet50作为基础特征提取器 base_model = timm.create_model('resnet50', pretrained=True, features_only=True) feature_dim = list(base_model.children())[-1][-1].out_features * 8 # ResNet最后一层输出维度乘以序列长度 self.backbone = nn.Sequential(*list(base_model.children())) self.positional_encoding = PositionalEncoding(feature_dim, dropout=0.) encoder_layer = nn.TransformerEncoderLayer(d_model=feature_dim, nhead=8) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=2) self.fc_out = nn.Linear(feature_dim, num_classes) def forward(self, x): batch_size, timesteps, C, H, W = x.size() c_in = x.view(batch_size*timesteps, C, H, W) # 将输入调整为适合CNN的形式(B*T,C,H,W) c_out = self.backbone(c_in)[-1] # 获取最后阶段的空间特征图 r_in = c_out.view(batch_size, timesteps, -1) # 调整回原始的时间序列形式(B,T,D) tr_out = self.transformer_encoder(r_in.permute(1, 0, 2)) # 输入到Transformers中(T,B,D) out = self.fc_out(tr_out.mean(dim=0)) # 对所有时间步求平均再通过全连接层得到最终预测结果 return out ``` 注意这里使用了`timm`这个第三方库来方便地获得经过ImageNet预训练后的ResNet50模型，并将其用作时空特征抽取的基础组件；同时也实现了位置编码(Positional Encoding)[^3]以及多头注意力机制(Multi-head Attention Mechanism)[^3]的核心部分——变压器编码器层(`nn.TransformerEncoderLayer`)。 #### 定义辅助函数 还需要一些额外的帮助方法比如位置编码等，在实际项目里这些通常会被封装在一个单独模块里面以便重用： ```python import math def get_position_angle_vec(position, dim): angle_rates = 1 / np.power(10000, (2*(np.arange(dim)//2))/dim) position_encodings = position[:, np.newaxis]*angle_rates[np.newaxis,:] sines = np.sin(position_encodings[:, ::2]) # 应用于偶数索引处的位置向量分量 coses = np.cos(position_encodings[:, 1::2]) # 应用于奇数索引处的位置向量分量 pos_emb = np.zeros_like(angle_rates) pos_emb[::2], pos_emb[1::2] = sines, coses # 合并正弦余弦值形成完整的嵌入矩阵 return pos_emb class PositionalEncoding(nn.Module): def __init__(self, d_hid, n_position=200, dropout=(0.,)): super(PositionalEncoding, self).__init__() # Compute the positional encodings once in log space. pe = torch.tensor(get_position_angle_vec(np.arange(n_position), d_hid)) pe = pe.unsqueeze(0) self.register_buffer('pe', pe) if isinstance(dropout, tuple) and len(dropout)==2: p_dropin, p_dropout = dropout self.dropin = nn.Dropout(p=p_dropin) self.dropout = nn.Dropout(p=p_dropout) elif isinstance(dropout, float): self.dropin = lambda x:x self.dropout = nn.Dropout(p=dropout) else: raise ValueError(f"Invalid value {dropout} given to argument 'dropout'.") def forward(self, x): x = x + Variable(self.pe[:,:x.size(1)], requires_grad=False) x = self.dropin(x) return self.dropout(x) ``` 以上就是如何利用PyTorch搭建一个结合了CNN与Transformer特点的深度学习模型来进行视频分类的一个简单例子[^1][^2]。