### 不同神经网络模型在多标签文本分类中的应用 #### CNN用于多标签文本分类 卷积神经网络(CNN)能够并行处理输入数据，在局部特征提取方面表现出色。对于多标签文本分类任务，CNN可以通过多个过滤器捕捉到不同的n-gram特征组合[^1]。 优点在于： - 并行化能力强，训练速度较快； - 能够有效保留位置信息，有助于理解词序关系； 缺点则是： - 对于远距离依赖性的建模效果较差，可能影响某些复杂语义模式的理解； ```python import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim=100, num_classes=2): super(TextCNN,self).__init__() self.embedding = nn.Embedding(vocab_size,embed_dim) kernel_sizes=[3,4,5] convs = [ nn.Conv2d(1, 100, (K, embed_dim)) for K in kernel_sizes ] self.convs = nn.ModuleList(convs) def forward(self,x): x=self.embedding(x).unsqueeze(1)# batch * channel(1) * seq_len * emb_dim conved = [F.relu(conv(x)).squeeze(3) for conv in self.convs] pooled = [F.max_pool1d(i,i.size(2)).squeeze(2) for i in conved] cat = torch.cat(pooled,dim=-1) return F.sigmoid(cat) ``` #### RNN用于多标签文本分类 循环神经网络(RNN)，特别是其变体如LSTM和GRU，擅长处理序列化的输入数据流，非常适合解决涉及时间维度的任务，比如多标签文本分类。这类模型能记住之前的信息来帮助预测当前时刻的结果[^2]。 优势体现在： - 可以很好地表示上下文之间的长期依赖关系； 然而也存在局限性： - 计算效率较低，难以支持大规模并行运算； - 随着序列长度增加可能出现梯度消失等问题； ```python import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self,vocab_size,output_dim,bidirectional=True,n_layers=2,hidden_dim=128): super().__init__() embedding_dim = 100 self.embedding = nn.Embedding(vocab_size,embedding_dim) self.rnn = nn.LSTM(embedding_dim, hidden_dim, bidirectional=bidirectional, dropout=0.5, num_layers=n_layers) self.fc_out = nn.Linear(hidden_dim*2 if bidirectional else hidden_dim,output_dim) def forward(self,text): embedded = self.embedding(text) output,(hidden,cell)=self.rnn(embedded) final_hidden = torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1) \ if isinstance(self.rnn,nn.LSTM)\ and hasattr(self,'bidirectional')\ and self.bidirectional==True\ else hidden.squeeze(0)[-1,:] logits = self.fc_out(final_hidden) return torch.sigmoid(logits) ``` #### Transformer用于多标签文本分类 Transformers引入了自注意力机制(Self-Attention Mechanism),使得该类模型不仅可以在不牺牲性能的情况下大幅减少参数量，而且还能显著提升对长程依存关系的学习能力。这使其成为处理多标签文本分类的理想选择之一[^3]。 主要特性有： - 自注意力层允许任意两个单词之间建立联系而不受距离限制； - 多头注意机制增强了表达力，提高了泛化性能； 不足之处包括： - 当前实现通常需要更多的内存资源来进行训练； ```python from transformers import BertModel,BertTokenizerFast,get_linear_schedule_with_warmup import torch.optim as optim import torch.nn.functional as F tokenizer=BertTokenizerFast.from_pretrained('bert-base-cased') model=BertModel.from_pretrained('bert-base-cased') class BERTClass(torch.nn.Module): def __init__(self,num_labels): super(BERTClass, self).__init__() self.bert=model self.dropout=torch.nn.Dropout(0.3) self.out=torch.nn.Linear(model.config.hidden_size,num_labels) def forward(self,input_ids,attention_mask=None,token_type_ids=None): outputs=self.bert(input_ids=input_ids,attention_mask=attention_mask,token_type_ids=token_type_ids)[1] drop_output=self.dropout(outputs) out=self.out(drop_output) return F.sigmoid(out) ```