### 使用 PyTorch 实现简化版 Transformer 进行情感分析 为了实现一个简化的 Transformer 模型用于情感分析，可以通过以下方式构建模型并运行训练脚本。以下是完整的实现过程： #### 1. 数据准备 在情感分析任务中，通常需要将文本转化为数值表示。可以使用 `torchtext` 或者 Hugging Face 的 `transformers` 库中的工具完成这一工作。 ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') def encode_text(texts, max_length=128): return tokenizer( texts, padding=True, truncation=True, max_length=max_length, return_tensors="pt" ) ``` 上述代码展示了如何利用预训练的 BERT Tokenizer 将文本编码为适合输入到 Transformer 中的形式[^2]。 #### 2. 构建简化版 Transformer 模型 下面是一个简化的 Transformer 模型实现，适用于二分类的情感分析任务（正面/负面情绪）。 ```python import torch.nn as nn import torch class SimpleTransformer(nn.Module): def __init__(self, vocab_size, d_model, nhead, num_layers, output_dim, dropout=0.1): super(SimpleTransformer, self).__init__() self.embedding = nn.Embedding(vocab_size, d_model) encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dropout=dropout) self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) self.fc_out = nn.Linear(d_model, output_dim) def forward(self, src): embedded = self.embedding(src).permute(1, 0, 2) # (seq_len, batch_size, d_model) transformer_output = self.transformer_encoder(embedded) pooled_output = transformer_output.mean(dim=0) # Average pooling over sequence length out = self.fc_out(pooled_output) return out ``` 该模型的核心部分是 `nn.TransformerEncoder` 和自定义嵌入层。最终通过全连接层映射到目标维度（例如二分类问题的目标维度为 2）。[^4] #### 3. 训练流程设计 创建训练循环以优化模型参数。 ```python criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) def train_step(model, inputs, labels): optimizer.zero_grad() outputs = model(inputs['input_ids']) loss = criterion(outputs, labels) loss.backward() optimizer.step() _, preds = torch.max(outputs, dim=1) accuracy = torch.sum(preds == labels.data) / len(labels) return loss.item(), accuracy.item() ``` 这段代码实现了单步训练逻辑，包括前向传播、损失计算、反向传播和参数更新。 #### 4. 终端运行命令 假设已经编写了一个名为 `train_sentiment.py` 的脚本，则可以在终端中运行如下命令启动训练： ```bash python train_sentiment.py --data_path ./data/sentiment.csv --epochs 10 --batch_size 32 ``` 其中 `sentiment.csv` 是包含情感标注的数据集文件路径。 --- ###