### 将特征图输入到基础Transformer网络 为了将卷积神经网络(CNN)中的特征图有效地转换并作为输入提供给基于注意力机制的Transformer模型，通常会经历几个处理阶段。CNN能够学习空间局部化特征[^1]，这些特征对于识别复杂的视觉模式至关重要。 #### 特征图展平与线性变换 首先，来自CNN的最后一层产生的多维张量（即特征图），会被调整形状以便适应Transformer的要求。这一步骤涉及将三维的空间维度（高度×宽度×通道数）转化为二维表示形式（序列长度×嵌入维度）。具体操作可以通过简单的矩阵重排来实现： ```python import torch def flatten_feature_maps(feature_map, patch_size=16): """ Args: feature_map (torch.Tensor): 输入的特征图，尺寸为(Batch_Size, Channels, Height, Width) patch_size (int): 切分图像成patch大小，默认设置为16 Returns: flattened_features (torch.Tensor): 展开后的特征向量，尺寸为(Batch_Size, Num_Patches, Embedding_Dim) """ batch_size, channels, height, width = feature_map.shape num_patches = (height // patch_size) * (width // patch_size) # 假设feature_map已经被划分为多个patches，并沿最后一个轴拼接在一起 patches = feature_map.unfold(2, patch_size, patch_size).unfold(3, patch_size, patch_size) reshaped_patches = patches.contiguous().view(batch_size, channels, -1, patch_size*patch_size) transposed_patches = reshaped_patches.transpose(1, 2) flattened_features = transposed_patches.reshape(batch_size, num_patches, -1) return flattened_features ``` #### 添加位置编码 由于原始的特征图丢失了绝对的位置信息，在将其送入自注意模块之前应当附加某种形式的位置编码。这种做法有助于保留关于像素之间相对距离的信息，这对于理解上下文关系非常重要。可以采用正弦/余弦函数生成固定的位置编码，也可以训练额外的学习参数来进行动态编码。 #### 构建Token Sequence 最后，经过上述两步处理之后得到的一系列token将会被当作标准的Transformer架构的标准输入。每个token代表了一个特定区域内的聚合特征描述子，它们共同构成了整个图片的内容表达。 通过这种方式，不仅继承了CNN强大的表征能力，同时也利用到了Transformers擅长捕捉全局依赖性的优势特性。