BEVFormer通过其核心的时空注意力机制，将历史BEV特征与当前多视角图像特征进行融合，以生成具备强大先验信息的BEV查询向量。其核心流程围绕“BEV查询向量”的迭代演进展开，该向量在时序与空间两个维度上依次与历史特征及图像特征交互，最终输出当前时刻的BEV特征。 该机制的核心在于一个由**时序自注意力**与**空间交叉注意力**构成的级联结构。整个流程可以概括为：一个可学习的BEV查询向量首先在时序维度上与历史BEV特征进行交互，获取动态场景的上下文与先验信息；随后，这个被“增强”后的查询向量在空间维度上与当前时刻的多视角图像特征进行交互，从图像中聚合与查询位置最相关的视觉线索。具体实现步骤如下： **1. 时序自注意力：从历史中获取动态先验** BEV查询向量首先通过时序自注意力模块与历史BEV特征交互。此步骤旨在解决“如何引入前一时刻特征”以及“如何处理不同帧间物体的运动偏移”两个核心问题[ref_1]。 * **输入**：可学习的BEV查询向量（Query）与历史BEV特征（Memory）。 * **机制**：采用**可形变注意力**机制。对于BEV查询向量中的每一个空间位置（如坐标`(x, y)`），网络并非固定地关注其邻近位置，而是通过学习一个偏移量（offset），动态地从历史BEV特征中采样对其最有益的特征点[ref_1]。例如，一个查询点可能通过学习，发现历史BEV中某个远处的特征点（如一个移动车辆的轨迹点）比其邻近点更具信息价值。 * **过程**：该模块并行执行两种注意力计算：一是查询向量与历史BEV特征之间的交叉注意力，以引入历史信息；二是查询向量自身的自注意力，以强化其内部表征的一致性[ref_1]。 * **输出**：经过时序交互后，BEV查询向量不仅包含了初始的几何先验，更被注入了来自历史帧的动态场景先验（如物体的运动趋势、静止背景的稳定性信息），从而成为一个“具备先验信息的BEV查询向量”。 **2. 空间交叉注意力：从多视角图像中聚合特征** 携带了时序先验的BEV查询向量随后进入空间交叉注意力模块，与当前时刻的多视角图像特征进行交互。此步骤旨在解决“如何从庞大的图像特征中选择所需信息”以及“如何建模高度信息”的问题[ref_1]。 * **输入**：经过时序增强的BEV查询向量与当前时刻的Multi-Camera Features。 * **机制**：同样采用**可形变注意力**机制。对于每一个BEV查询位置（如`(x‘， y’)`），算法会将其投影到各个相机视图的成像平面上[ref_1]。在每个视图上，并非简单地采样投影点处的特征，而是再次通过学习偏移量，在该视图特征图上动态采样一组最相关的特征点进行聚合。 * **高度建模**：为了补偿BEV视角下损失的高度信息，BEVFormer预设了一系列不同高度的参考点（anchor），使得查询能够匹配不同高度的目标（如高大的卡车与低矮的路牌），从而在特征聚合时隐式地建模高度维度信息[ref_1]。 * **输出**：经过与所有相关相机视图的特征聚合后，每个BEV查询位置都获得了与之对应的、融合了多视角视觉信息的特征。此时，BEV查询向量已经转化为**当前BEV特征**。 为了更清晰地对比两个核心注意力模块的功能与特点，其关键差异如下表所示： | 维度 | **时序自注意力 (Temporal Self-Attention)** | **空间交叉注意力 (Spatial Cross-Attention)** | | :--- | :--- | :--- | | **主要目标** | 为BEV查询注入历史动态场景先验。 | 从当前多视角图像中聚合空间视觉特征。 | | **交互对象** | BEV查询向量 与 **历史BEV特征**。 | BEV查询向量 与 **当前多视角图像特征**。 | | **注意力类型** | 自注意力 & 交叉注意力。 | 交叉注意力。 | | **核心机制** | 可形变注意力，动态关联历史帧中的相关BEV位置。 | 可形变注意力，动态关联各相机视图中的相关图像位置。 | | **解决的问题** | 1. 引入历史信息；<br>2. 处理帧间目标位移。 | 1. 从图像特征中选择有效信息；<br>2. 建模目标高度信息。 | | **输出** | 具备时序先验的增强型BEV查询向量。 | 融合了多视角特征的当前时刻BEV特征。 | **代码流程示意（伪代码风格）**: ```python import torch import torch.nn as nn class BEVFormerEncoderLayer(nn.Module): def __init__(self, d_model, nhead, num_history_frames): super().__init__() # 时序自注意力模块（采用可形变注意力） self.temporal_attn = DeformableAttention(d_model, nhead, num_history_frames) # 空间交叉注意力模块（采用可形变注意力） self.spatial_cross_attn = DeformableCrossAttention(d_model, nhead) # 前馈网络等 self.ffn = nn.Sequential(...) def forward(self, bev_queries, multi_camera_features, history_bev_features): """ bev_queries: [H*W, C]， 可学习的BEV查询向量 multi_camera_features: List of [B, N, C, H_img, W_img]， 多视角图像特征 history_bev_features: [T, H*W, C]， 历史BEV特征序列 """ # 第一步：时序自注意力，融合历史信息 # 查询与历史BEV特征交互，获取动态先验 bev_queries_with_temporal_prior = self.temporal_attn( query=bev_queries, key=history_bev_features, value=history_bev_features ) # 输出: [H*W, C]， 已融入历史先验的查询向量 # 第二步：空间交叉注意力，聚合当前图像特征 # 将携带先验的查询与各视角图像特征交互 current_bev_features = self.spatial_cross_attn( query=bev_queries_with_temporal_prior, key=multi_camera_features, value=multi_camera_features ) # 输出: [H*W, C]， 当前时刻的BEV特征 # 可选的FFN等后续处理 current_bev_features = self.ffn(current_bev_features) return current_bev_features ``` 综上所述，BEVFormer的时空注意力机制是一个精密的、分步的特征融合引擎。其核心创新在于利用可形变注意力，使BEV查询向量能够主动、自适应地在历史BEV空间和多视角图像空间中“寻找”最相关的信息。通过先与时序记忆交互获取场景动态先验，再与空间图像交互获取精确的视觉观测，最终生成的BEV特征同时具备了时间上的连贯性与空间上的丰富性，为下游的3D检测、分割等任务提供了强大的统一表征基础[ref_1]。