### Transformer 架构的主要分类 #### 1. 基础Transformer模型 基础Transformer模型由编码器和解码器组成，适用于多种自然语言处理任务。这种结构通过自注意力机制捕捉输入序列内部的关系，并利用前馈网络进行特征变换[^1]。 ```python class BasicTransformer(nn.Module): def __init__(self, d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1): super(BasicTransformer, self).__init__() encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=dropout) decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=dropout) self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_encoder_layers) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_decoder_layers) ``` #### 2. 编码器-仅版本 (BERT-like Models) 这类模型去除了原始设计中的解码部分，专注于构建强大的上下文理解能力。它广泛应用于文本分类、命名实体识别等领域，在预训练阶段采用掩蔽语言建模等策略增强其泛化性能[^3]。 #### 3. 解码器-仅版本 (GPT-like Models) 相反地，此变体保留了解码组件并移除编码模块，形成了一种单向的语言生成框架。这些模型通常用于对话系统、文章创作等方面，能够根据给定提示连续产出连贯的文字内容。 --- ### 在视觉与语言处理的大规模模型中应用 #### 跨模态融合方法 为了实现图像到文本描述的任务，可以引入双流或多流架构，其中一条路径负责处理图片信息（如ResNet），另一条则接收词语作为输入；两者共享相同的参数空间并通过交叉注意层相互作用，从而建立起有效的关联模式。 #### 多模态预训练技术 近年来兴起的一种趋势是在大规模未标注数据集上联合训练视觉和语言表征，使得最终得到的模型不仅具备良好的迁移学习潜力，而且能够在零样本条件下完成特定下游任务。例如CLIP就是一个典型的例子，它可以接受任意形式的配对样本来优化目标函数。