### Deformable DETR 的应用场景、输入数据格式及模型输出结果 #### 应用场景 Deformable DETR 是一种高效的目标检测模型，适用于需要快速收敛和低计算复杂度的场景。由于其在小目标检测上的改进以及对多尺度特征的有效处理能力，它特别适合以下应用场景： - **实时目标检测**：Deformable DETR 的加速收敛特性使其能够适应实时性要求较高的任务，例如自动驾驶中的障碍物检测[^1]。 - **资源受限环境**：通过降低内存消耗和计算量，该模型能够在嵌入式设备或移动设备上运行，满足边缘计算的需求[^4]。 - **多尺度目标检测**：对于包含多种尺寸目标的图像（如无人机拍摄的城市全景图），Deformable DETR 能够利用多尺度注意力机制有效检测不同大小的目标[^5]。 #### 输入数据格式 Deformable DETR 的输入数据通常为经过预处理的图像张量，具体格式如下： - **图像分辨率**：模型支持灵活的输入分辨率，但常见的输入尺寸为 800×800 或其他固定大小，以确保训练和推理的一致性[^2]。 - **通道数**：输入图像一般为 RGB 格式，因此通道数为 3。 - **归一化处理**：输入图像通常会进行归一化处理，即将像素值调整到 [0, 1] 或 [-1, 1] 范围内，以便更好地适配深度学习模型的要求[^3]。 - **批量大小**：在训练过程中，输入数据通常以批量形式传递，例如使用 8 张图像作为一个批次进行并行计算。 #### 模型输出结果 Deformable DETR 的输出结果包括以下几个部分： - **边界框坐标**：每个检测到的目标都会生成一个边界框，表示为目标的位置和大小，通常以 (x_min, y_min, x_max, y_max) 或 (cx, cy, w, h) 的形式表示[^1]。 - **类别标签**：每个边界框对应一个类别标签，表示检测到的目标类型，例如“人”、“汽车”或“猫”等。 - **置信度分数**：每个检测结果还会附带一个置信度分数，用于衡量模型对该检测结果的可信程度。分数越高，表示模型对该检测结果越有信心[^4]。 - **额外信息**（可选）：在某些变体中，模型可能还会输出其他信息，例如关键点位置（用于姿态估计）或分割掩码（用于实例分割）。 ```python # 示例代码：解析 Deformable DETR 输出结果 def parse_deformable_detr_output(output): # 提取边界框、类别标签和置信度分数 boxes = output['pred_boxes'] # 形状为 (num_queries, 4) scores = output['pred_logits'].softmax(-1)[:, :, :-1].max(-1)[0] # 形状为 (num_queries,) labels = output['pred_logits'].softmax(-1)[:, :, :-1].max(-1)[1] # 形状为 (num_queries,) # 过滤掉低置信度的结果 threshold = 0.5 valid_indices = scores > threshold filtered_boxes = boxes[valid_indices] filtered_scores = scores[valid_indices] filtered_labels = labels[valid_indices] return filtered_boxes, filtered_scores, filtered_labels ```