### PyTorch 中 `nn.Linear` 定义采样偏移和注意力权重的实现 在 Deformable DETR 的架构中，`self.sampling_offsets` 和 `attention_weights` 是通过 `nn.Linear` 层来生成的。以下是这些部分的核心概念及其具体实现： #### 1. `sampling_offsets` 实现 `sampling_offsets` 被用来计算相对于参考点的偏移量，从而确定最终用于特征提取的采样位置。其核心代码如下所示[^1]： ```python self.sampling_offsets = nn.Linear(embed_dims, num_heads * num_levels * num_points * 2) ``` 这里的参数解释为： - `embed_dims`: 输入嵌入维度。 - `num_heads`: 多头注意力机制中的头数。 - `num_levels`: 特征金字塔的不同层次数量。 - `num_points`: 每个参考点周围选取的关键点数目（通常设置为4）。 - `2`: 表示二维空间坐标 `(x, y)`。 该层的作用是从输入对象查询向量 (`object query`) 中学习出一组偏移量，使得模型能够动态调整采样的位置。 #### 2. 参考点归一化与双线性插值 为了确保参考点位于 `[0, 1]` 范围内并支持后续的双线性插值操作，在解码器中会利用 `nn.Linear` 将对象查询映射至参考点[^2]: ```python def get_reference_points(spatial_shapes, valid_ratios, device): reference_points_list = [] for lvl, (H_, W_) in enumerate(spatial_shapes): ref_y, ref_x = torch.meshgrid( torch.linspace(0.5, H_ - 0.5, H_, dtype=torch.float32, device=device), torch.linspace(0.5, W_ - 0.5, W_, dtype=torch.float32, device=device) ) ref_y = ref_y.reshape(-1)[None] / (valid_ratios[:, None, lvl, 1] * H_) ref_x = ref_x.reshape(-1)[None] / (valid_ratios[:, None, lvl, 0] * W_) ref = torch.stack((ref_x, ref_y), -1) reference_points_list.append(ref) reference_points = torch.cat(reference_points_list, 1) reference_points = reference_points[:, :, None] * valid_ratios[:, None] return reference_points ``` 上述代码片段展示了如何创建网格状分布的参考点，并将其归一化以便于跨尺度特征图上的有效采样[^2]。 #### 3. 注意力权重生成 对于变形注意力模块而言，除了偏移量外还需要定义每组键值对的关注程度即注意分数。这部分由另一个全连接层完成： ```python self.attention_weights = nn.Linear(embed_dims, num_heads * num_levels * num_points) ``` 此层负责从相同的输入表示中预测出各候选区域的重要性得分[^5]。值得注意的是，这些权值并非传统意义上的基于相似度计算得出的结果；相反它们直接来源于当前时刻的对象状态编码经过简单的变换获得。 #### 4. 整体流程总结 综上所述，整个过程可以概括为以下几个方面： - 利用 `nn.Linear` 构建两个独立但相互关联的部分——分别是控制几何变换方向大小的 offset vector 集合以及衡量局部上下文关系强度的比例系数集合； - 借助 mesh grid 技术构建标准化后的 anchor locations 并结合实际尺寸比例因子调整适应不同分辨率下的需求； - 应用 bilinear interpolation 方法高效读取目标像素附近的近似数值进而达成高质量的信息聚合目的。 ### 示例代码展示 下面给出一个完整的简化版伪代码例子帮助进一步理解这一逻辑结构: ```python import torch.nn as nn import torch class SamplingModule(nn.Module): def __init__(self, embed_dims=256, num_heads=8, num_levels=4, num_points=4): super(SamplingModule, self).__init__() # Define layers for offsets and weights prediction. self.sampling_offsets = nn.Linear(embed_dims, num_heads * num_levels * num_points * 2) self.attention_weights = nn.Linear(embed_dims, num_heads * num_levels * num_points) def forward(self, object_queries): """ Args: object_queries: Tensor of shape [batch_size, n_objects, embed_dim]. Returns: Tuple containing two tensors: sampling_offsets: Shape [batch_size, n_objects, num_heads*num_levels*num_points*2], representing predicted spatial offsets per head/level/point pair. attention_weights: Shape [batch_size, n_objects, num_heads*num_levels*num_points], indicating learned importance scores across all points at once. """ batch_size, _, _ = object_queries.size() # Predict offsets & normalize them into [-1,+1] range suitable for grid_sample function later on... sampling_offsets = self.sampling_offsets(object_queries).view(batch_size,-1,num_heads*num_levels*num_points,2)/1e3 # Similarly produce scalar values denoting relative significance among multiple sampled spots simultaneously. raw_attention_scores=self.attention_weights(object_queries).sigmoid().reshape(batch_size,-1,num_heads*num_levels*num_points,) return sampling_offsets,raw_attention_scores # Example usage scenario setup follows below hereafter then... if __name__=='__main__': smpl_modl=SampingModule() ; obj_qry=torch.randn((2,100,256)) offs,wgts=smpl_modl(obj_qry); print(f'Offsets:{offs.shape}\tWeights:{wgts.shape}') ```