### 使用 Transformer 构建垃圾邮件分类系统的实现方法 #### 3.1 数据预处理 为了使文本能够输入到 Transformer 模型中，首先需要对原始文本数据进行预处理。这包括分词、去除停用词以及将文本转换成数值表示形式。 ```python import jieba from sklearn.feature_extraction.text import CountVectorizer def preprocess_text(texts): # 对中文文本进行分词 segmented_texts = [' '.join(jieba.cut(text)) for text in texts] # 创建词汇表并转化为向量 vectorizer = CountVectorizer() X = vectorizer.fit_transform(segmented_texts) return X.toarray(), vectorizer.vocabulary_ ``` 此过程可以确保每封电子邮件被分解为其组成部分以便进一步分析[^1]。 #### 3.2 特征提取与位置编码 由于 Transformer 并不依赖于 RNN 或 CNN 的顺序结构来捕捉序列中的模式，因此引入了绝对位置编码以帮助模型识别单词的位置关系。对于字符级别的特征，则可以通过嵌入矩阵映射至高维空间。 ```python class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len=5000): super(PositionalEncoding, self).__init__() pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len).unsqueeze(1) div_term = torch.exp(torch.arange(0., d_model, 2) * -(math.log(10000.) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0) self.register_buffer('pe', pe) def forward(self, x): x = x + Variable(self.pe[:, :x.size(1)], requires_grad=False) return x ``` 上述代码展示了如何创建一个用于添加正弦波形作为位置信息的方法[^2]。 #### 3.3 模型搭建 接下来定义整个 Transformer 编码器部分，它由多头自注意力机制和全连接前馈神经网络组成。每一层都包含了残差链接和层规范化操作，从而提高了梯度传递效率并加速收敛速度。 ```python class TransformerModel(nn.Module): def __init__(self, vocab_size, embed_dim, num_heads, hidden_dim, dropout_rate, n_layers): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.positional_encoding = PositionalEncoding(embed_dim) encoder_layer = nn.TransformerEncoderLayer(d_model=embed_dim, nhead=num_heads, dim_feedforward=hidden_dim, dropout=dropout_rate) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=n_layers) self.fc_out = nn.Linear(embed_dim, 1) def forward(self, src, src_mask=None): embedded = self.embedding(src) * math.sqrt(self.embed_dim) encoded_input = self.positional_encoding(embedded) output = self.transformer_encoder(encoded_input, src_mask) logits = self.fc_out(output.mean(dim=1)) return torch.sigmoid(logits.squeeze(-1)) ``` 这段程序实现了完整的变压器架构，并通过平均池化得到最终预测概率值[^4]。 #### 3.4 训练流程 完成以上准备工作之后就可以开始训练阶段，在这里采用二元交叉熵损失函数配合 AdamW 优化算法来进行参数更新迭代直到达到预期性能指标为止。 ```python model = TransformerModel(...) optimizer = optim.AdamW(model.parameters()) criterion = nn.BCELoss() for epoch in range(num_epochs): model.train() running_loss = 0 for batch_idx, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels.float()) loss.backward() optimizer.step() running_loss += loss.item() * inputs.size(0) ``` 经过充分的学习周期后，所建立起来的系统应该能够在新样本上表现出良好的泛化能力[^3]。