### 如何在Transformer模型中定义类别标签 在构建用于分类任务的Transformer模型时，类别标签通常作为目标变量被提供给模型。具体来说，在准备数据集的过程中，每个输入样本都会关联一个对应的类别标签。 对于文本分类或其他基于序列的任务而言，这些标签通常是整数形式表示的不同类别的索引值。例如，在情感分析场景下，正面评价可以标记为`0`，负面评价则标记为`1`[^1]。 当实际编写代码实现这一过程时，可以通过PyTorch或TensorFlow等框架中的Dataset和Dataloader接口来加载带有标签的数据。下面给出一段简单的Python代码片段展示如何创建这样的数据集： ```python from torch.utils.data import Dataset, DataLoader class TextClassificationDataset(Dataset): def __init__(self, texts, labels): self.texts = texts # 输入文本列表 self.labels = labels # 对应的类别标签列表 def __len__(self): return len(self.texts) def __getitem__(self, idx): text = self.texts[idx] label = self.labels[idx] sample = {"text": text, "label": label} return sample # 假设我们有如下训练数据 train_texts = ["example sentence one", "another example"] train_labels = [0, 1] # 类别标签 dataset = TextClassificationDataset(train_texts, train_labels) dataloader = DataLoader(dataset, batch_size=2, shuffle=True) ``` 上述代码展示了如何自定义一个继承自`torch.utils.data.Dataset`类的新类，并重写了其构造函数以及获取单条记录的方法。通过这种方式，可以在每次迭代过程中返回一条包含文本及其对应标签的数据项。 为了使Transformer能够处理这些标签，在最终层之前还需要加入线性变换（全连接层），该层会将隐藏状态映射到与类别数量相匹配的空间维度上。之后再经过softmax激活函数计算得到各个类别的概率分布，从而完成多分类预测任务。 ```python import torch.nn as nn class TransformerClassifier(nn.Module): def __init__(self, transformer_model, num_classes): super(TransformerClassifier, self).__init__() self.transformer = transformer_model self.fc = nn.Linear(transformer_model.config.hidden_size, num_classes) def forward(self, input_ids, attention_mask=None): outputs = self.transformer(input_ids=input_ids, attention_mask=attention_mask) pooled_output = outputs[1] # 取CLS token的最后一层输出 logits = self.fc(pooled_output) return logits ``` 这里假设使用的预训练好的Transformer已经包含了特殊的[CLS]token，它位于每句话的第一个位置处；而在微调阶段，则利用这个特殊token所代表的信息来进行下游任务的学习。最后一行代码说明了如何提取并传递给新增加的全连接层以获得最终的分类结果。