### RT-DETR 中多尺度特征展平成序列的方法 在 RT-DETR 的架构中，为了充分利用不同层次的卷积特征图并将其转换为适合 Transformer 输入的形式，采用了多尺度特征展平成序列的技术。具体来说，来自多个尺度的特征图被展平并拼接在一起形成一个统一的序列表示。 #### 特征提取网络 RT-DETR 使用了一个强大的骨干网络来提取图像中的多层次特征。这些特征图通常来自于不同的卷积层，每层对应着不同的感受野大小和空间分辨率[^1]。 #### 多尺度特征融合 从各个尺度获取到的特征图会先经过一些简单的操作（比如调整通道数），然后再按照一定的顺序排列起来。这个过程可以理解为将二维的空间信息转化为一维的时间维度上的向量集合，即所谓的“展平”。 #### 序列化处理 一旦完成了上述步骤之后，所有的特征都被视为独立的对象实例，并赋予位置编码以保留原始的空间关系。最终得到的就是一个由 N 个元素组成的有序列表 {f_1, f_2,... ,f_N} ，其中每一个 fi 都代表了原图片某一部分的信息摘要[^2]。 以下是 Python 实现的一个简化版本： ```python import torch from torchvision.models import resnet50 def extract_features(image_tensor): backbone = resnet50(pretrained=True).eval() with torch.no_grad(): features = backbone.conv1(image_tensor) features = backbone.bn1(features) features = backbone.relu(features) # 获取多尺度特征 feature_maps = [] for layer_name in ['layer1', 'layer2', 'layer3']: features = getattr(backbone, layer_name)(features) feature_maps.append(features) return feature_maps def flatten_and_concatenate(feature_maps): flattened_features = [] for fm in feature_maps: B, C, H, W = fm.shape # 将 (B,C,H,W) 转换为 (B,N,D)，N=H*W, D=C flattened_fm = fm.view(B, C, -1).permute(0, 2, 1) flattened_features.append(flattened_fm) concatenated_sequence = torch.cat(flattened_features, dim=1) return concatenated_sequence image_tensor = ... # 假设这里有一个输入张量 feature_maps = extract_features(image_tensor) sequence_representation = flatten_and_concatenate(feature_maps) print(sequence_representation.shape) # 输出形状应类似于 [batch_size, num_tokens, embedding_dim] ``` 此代码片段展示了如何利用预训练好的 ResNet 提取多尺度特征，并对其进行展平与连接的操作，从而获得可用于后续 Transformer 编码器部分处理的数据结构。