AST模型通过Patch Embedding机制将二维梅尔频谱图转换为序列化Token的过程，本质上是将连续的音频信号表征重构为离散的语义单元。这一转换过程包含三个关键阶段：频谱图分块、线性投影和位置信息注入，最终形成适合Transformer架构处理的令牌序列。 ### 一、频谱图分块策略 梅尔频谱图作为时频域表征，其维度通常为`[频率轴, 时间轴]`（如128×1000）。分块操作沿袭了Vision Transformer的处理范式，将连续频谱离散化为规整的局部区域。 **分块参数配置**： - **块尺寸**：通常采用16×16的固定窗口，平衡局部特征粒度与计算复杂度 - **重叠策略**：标准AST采用非重叠分块，确保各块表征独立性 - **边界处理**：对于不能整除的频谱维度，采用填充或截断策略 数学表达为将原始频谱图$X \in \mathbb{R}^{H \times W}$划分为$N = \frac{H}{P} \times \frac{W}{P}$个块，其中$P$为块尺寸。每个块展平后的向量维度为$P^2 \times C$（C为通道数，单通道频谱图C=1）。 ### 二、线性投影与嵌入空间映射 分块后的像素级特征需通过可学习的线性变换映射到高维语义空间，这一过程由投影层实现： ```python import torch import torch.nn as nn class PatchEmbedding(nn.Module): def __init__(self, img_size=128, patch_size=16, in_channels=1, embed_dim=768): super().__init__() self.img_size = (img_size, img_size) # 假设为方型频谱图 self.patch_size = (patch_size, patch_size) self.grid_size = (img_size // patch_size, img_size // patch_size) self.num_patches = self.grid_size[0] * self.grid_size[1] # 使用卷积层实现分块与投影的联合操作 self.projection = nn.Conv2d( in_channels=in_channels, out_channels=embed_dim, kernel_size=patch_size, stride=patch_size ) def forward(self, x): # 输入x: [batch, 1, 128, 128] x = self.projection(x) # 输出: [batch, 768, 8, 8] x = x.flatten(2) # 展平空间维度: [batch, 768, 64] x = x.transpose(1, 2) # 调整维度: [batch, 64, 768] return x ``` 投影层的本质是通过卷积核权重$W_p \in \mathbb{R}^{D \times (P^2 \cdot C)}$实现从像素空间到嵌入空间的线性变换，其中$D$为嵌入维度（如768）。该变换使模型能够自动学习如何将局部频谱模式编码为有意义的语义表示。 ### 三、序列构建与特殊令牌注入 完成块嵌入后，需构建符合Transformer输入的序列结构： 1. **分类令牌插入**：在序列起始位置添加可学习的`[CLS]`令牌，其最终输出将作为全局音频表征用于分类任务 2. **位置编码融合**：为保留频谱块的时空位置信息，添加可学习的一维位置编码 ```python class ASTEmbedding(nn.Module): def __init__(self, num_patches, embed_dim): super().__init__() self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) self.pos_embedding = nn.Parameter(torch.zeros(1, num_patches + 1, embed_dim)) def forward(self, x): # x: [batch, num_patches, embed_dim] batch_size = x.shape[0] cls_tokens = self.cls_token.expand(batch_size, -1, -1) x = torch.cat([cls_tokens, x], dim=1) # 添加CLS令牌 x = x + self.pos_embedding # 添加位置编码 return x ``` 位置编码矩阵$E_{pos} \in \mathbb{R}^{(N+1) \times D}$使模型能够感知每个频谱块在原始时频坐标系中的绝对位置，这对于理解音频信号的时序结构和频域关系至关重要。 ### 四、技术实现细节与参数优化 在实际部署中，Patch Embedding的实现需考虑多个工程优化因素： **动态尺寸适配**： ```python def adaptive_patching(spec, target_frames=1000, patch_size=16): """处理可变长度频谱图的动态分块""" freq_bins, time_frames = spec.shape # 时间轴填充/截断至目标长度 if time_frames < target_frames: pad_width = target_frames - time_frames spec = np.pad(spec, ((0,0), (0,pad_width)), mode='constant') else: spec = spec[:, :target_frames] # 计算实际分块数量 num_patches_freq = freq_bins // patch_size num_patches_time = target_frames // patch_size return spec, num_patches_freq * num_patches_time ``` **嵌入维度选择策略**： 不同嵌入维度对模型性能的影响可通过以下对比体现： | 嵌入维度 | 参数量 | 表征能力 | 适用场景 | |---------|--------|----------|----------| | 384 | ~22M | 基础特征提取 | 移动端部署 | | 768 | ~86M | 平衡性能与效率 | 通用音频分类 | | 1024 | ~150M | 高精度表征 | 研究级应用 | ### 五、频谱特征到语义令牌的转换机理 Patch Embedding的核心价值在于实现了从低层次声学特征到高层次语义概念的转换桥梁： 1. **局部模式捕获**：每个16×16的频谱块对应约400ms的音频片段（假设10ms/帧），能够捕获音素、和弦等局部声学模式 2. **跨块关系建模**：通过后续的Transformer自注意力机制，模型能够建立不同时间片段和频率带之间的长程依赖 3. **多尺度特征融合**：浅层Transformer层关注局部频谱模式，深层网络整合全局音频语境 这种转换使得AST模型能够同时利用CNN的局部特征提取优势和Transformer的全局关系建模能力，在环境声音分类、音乐流派识别等任务中表现出色[ref_1]。通过将连续的声学信号离散化为语义化的令牌序列，AST成功地将自然语言处理中的Transformer架构适配到了音频理解领域，开创了基于纯Transformer的音频分类新范式。