第二阶段：基于可变形注意力的特征查询与语义补全机制流程图 ```mermaid flowchart TD subgraph Input[第一阶段输入] Q[稀疏体素查询特征<br/>(包含空间位置编码)] end Q --> A subgraph A[可变形交叉注意力] A1[将每个体素查询投影到多视图2D图像平面] A2[在每个视图图像上采样参考点邻域特征] A3[加权聚合多视图特征] A2 --> A3 end subgraph B[特征融合与增强] B1[将聚合的2D图像特征与原始查询特征融合] B2[通过前馈网络进行非线性变换] B1 --> B2 end A3 --> B1 B2 --> C subgraph C[掩码标记与自注意力精炼] C1[引入可学习的掩码标记] C2[与增强后的体素查询特征拼接] C3[通过多头自注意力进行特征交互与精炼] C1 --> C2 --> C3 end subgraph D[解码与输出] D1[语义类别预测头] D2[占用状态细化头] D3[生成高分辨率3D语义占用网格] C3 --> D1 & D2 D1 & D2 --> D3 end D3 --> Output[输出: 3D语义场景补全结果] ``` ### 第二阶段核心机制详解 #### 1. 输入：稀疏体素查询特征 第二阶段处理的输入是由第一阶段生成的**稀疏体素查询特征集合**。每个查询特征本质上是附着在三维空间中一个特定体素位置上的可学习向量，该向量编码了该位置的空间坐标信息。这些查询是稀疏的，仅对应于第一阶段被判定为“占用”的候选区域，从而将计算资源集中在场景中可能存在物体的部分 [ref_1]。 #### 2. 核心：3D到2D的可变形交叉注意力 这是VoxFormer第二阶段最核心的创新机制。其目标是从多视角的原始2D图像中，为每个3D体素查询提取最相关的视觉特征。 * **3D到2D投影**：对于每个体素查询（对应一个3D空间点），系统利用相机外参矩阵将其投影到所有输入图像的2D像素平面上。这确定了在每张图像上，该3D点对应的**参考像素位置** [ref_1]。 * **可变形特征采样**：传统的注意力机制需要计算查询与所有图像位置（或大量采样点）的相似度，计算开销巨大。VoxFormer采用了**可变形注意力（Deformable Attention）**。对于每个参考点，网络不是关注整个图像或一个大区域，而是**预测一小组（如4个）偏移量（offset）**。这些偏移量是网络根据查询内容自适应学习得到的，指向图像上对当前3D查询最有信息量的局部位置（例如物体边缘、纹理丰富的区域）[ref_1]。 * **多视图特征聚合**：系统在每张图像的这些预测偏移位置上，通过双线性插值采样图像特征。然后，对所有输入视图（多个相机视角）采样到的特征进行加权聚合。权重通常由查询特征与各视图采样特征的相似度决定，这允许模型融合来自不同角度的互补视觉信息，解决单视角下的遮挡问题。 #### 3. 特征融合与变换 将从2D图像中聚合得到的丰富视觉特征与原始的、包含几何先验的3D体素查询特征进行融合。这一融合操作（通常为相加或拼接后接线性变换）将**2D的语义、纹理信息**与**3D的空间结构信息**紧密结合。融合后的特征再通过一个前馈网络（FFN）进行非线性变换和增强，形成初步的、信息更完备的体素特征表示 [ref_1]。 #### 4. 掩码标记与自注意力精炼 为了进一步提升表示能力并建模体素之间的上下文关系，VoxFormer引入了**掩码标记（Mask Token）** 和自注意力机制。 * **掩码标记引入**：在特征序列中，除了来自第一阶段的真实体素查询特征，还添加了一组**可学习的掩码标记**。这些标记没有预设的3D位置，作为“占位符”或“待补全查询”，旨在让模型去预测那些可能被第一阶段遗漏的、但实际存在的物体区域的特征 [ref_1]。 * **自注意力精炼**：将所有体素查询特征（来自一阶段）和掩码标记拼接成一个序列，输入到一个由多层多头自注意力（Multi-Head Self-Attention, MHSA）模块构成的变换器中。自注意力机制允许序列中的所有元素（查询）相互交互，从而： 1. **整合全局上下文**：每个体素都能感知到场景中其他所有体素的状态，有助于进行全局一致的推理（例如，识别一个连贯的墙面或路面）。 2. **信息传播**：将已知区域（来自一阶段查询）的可靠信息传播到掩码标记，从而**预测和补全**可能缺失区域的几何与语义特征 [ref_1]。 3. **特征精炼**：进一步优化每个体素的特征表示，使其更具判别力。 #### 5. 解码与最终输出 经过自注意力层精炼后的特征序列（包含原始查询和“填充”后的掩码标记）被送入解码头。 * **语义类别预测头**：一个分类器，为每个体素预测其所属的语义类别（如：汽车、行人、建筑物、植被等）。 * **占用状态细化头**：一个回归器或分类器，对第一阶段的粗粒度二值占用预测进行**精细化修正**，可能输出更精确的占用置信度或更细粒度的占用状态（如在体素内部更精细的划分）。 最终，这些预测被重新组织成一个完整的、**高分辨率的三维体素网格**。该网格不仅包含了每个体素是否被占用的信息，还包含了其具体的语义类别，实现了从多视角2D图像到稠密3D语义场景的补全 [ref_1]。 #### 6. 第二阶段机制总结 VoxFormer的第二阶段是一个**从稀疏到稠密、从几何到语义的特征增强与补全过程**。它通过**可变形交叉注意力**这一高效机制，实现了从3D空间到多视角2D图像的特征查询与对齐，有效解决了3D视觉中视角变化和遮挡的挑战。随后，通过引入**掩码标记和自注意力**，模型能够在全局上下文中对特征进行精炼并预测缺失信息，从而补全场景。整个阶段以第一阶段的稀疏几何提议为引导，充分利用了2D图像丰富的纹理和语义信息，最终输出一个高质量、稠密的3D语义占用场景表示 [ref_1]。