### 使用 Sentence Transformer 实现长文本分类 Sentence Transformer 是一种用于生成高质量句子嵌入的工具，可以应用于多种 NLP 任务，包括文本分类。以下是实现长文本分类的具体方法和示例代码。 #### 数据准备 为了训练 Sentence Transformer 模型进行文本分类，需要准备好带有标签的数据集。假设我们有一个二分类问题，其中每条样本由一段长文本组成，并附带一个类别标签（如 `0` 或 `1`）。可以通过以下方式构建输入数据： ```python from sentence_transformers import InputExample train_examples = [ InputExample(texts=["这是一段很长的中文文本描述某个类别的内容"], label=0), InputExample(texts=["另一段较长的文本属于另一个类别"], label=1) ] ``` 上述代码定义了一个简单的训练样例列表，其中每个 `InputExample` 对象包含一条或多条文本以及对应的标签[^2]。 --- #### 加载预训练模型并微调 加载 Sentence Transformer 预训练模型并通过自定义损失函数对其进行微调。对于多分类任务，通常采用 Softmax Loss；而对于二分类任务，则可以选择 CosineSimilarityLoss 或其他适合的损失函数。 ```python from sentence_transformers import SentenceTransformer, losses, models from torch.utils.data import DataLoader # 定义基础模型 model_name = "paraphrase-multilingual-MiniLM-L12-v2" word_embedding_model = models.Transformer(model_name) # 添加池化层以获取固定长度向量表示 pooling_model = models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_mean_tokens=True, pooling_mode_cls_token=False, pooling_mode_max_tokens=False ) # 构建最终模型 model = SentenceTransformer(modules=[word_embedding_model, pooling_model]) # 设置损失函数 (Softmax Loss适用于多分类场景) train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16) train_loss = losses.SoftmaxLoss( model=model, sentence_embedding_dimension=model.get_sentence_embedding_dimension(), num_labels=len(set([example.label for example in train_examples])) ) ``` 在此部分中，选择了 multilingual MiniLM 模型作为初始权重，并通过 Pooling 层提取句子级特征。 --- #### 训练过程 配置好模型之后即可开始训练流程。注意调整超参数以适应具体应用场景的需求。 ```python num_epochs = 3 warmup_steps = int(len(train_dataloader) * num_epochs * 0.1) model.fit( train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path="./output/sentence-transformer-model", save_best_model=True, show_progress_bar=True ) ``` 此脚本执行指定轮次的梯度下降优化操作，在每次迭代结束时保存最佳性能版本至本地目录下。 --- #### 推理阶段 完成训练后可利用该模型预测新样本所属类别。 ```python import numpy as np def predict_category(text, threshold=0.5): embeddings = model.encode([text], convert_to_tensor=True) logits = train_loss.predict(embeddings).cpu().numpy()[0] predicted_label = np.argmax(logits) confidence_score = max(logits / sum(logits)) return { "predicted_class": predicted_label, "confidence": float(confidence_score) } test_text = "测试一下这个模型能否正确判断这段文字的类别？" result = predict_category(test_text) print(result) ``` 以上片段展示了如何计算给定字符串的概率分布并向用户提供最可能的结果及其置信度得分。 --- ### 注意事项 当面对非常冗长的文章时，需考虑截断策略或者分块处理机制来避免超出最大序列长度限制。此外还可以尝试引入注意力掩码进一步增强表达能力[^4]。