### 使用 Sentence Transformers 进行模型训练 Sentence Transformers 是一种用于计算句子、段落或其他文本单元之间相似度的工具包。为了使用 `model.fit` 方法进行训练，可以遵循以下方法： #### 准备数据集 在开始之前，确保已经准备好适合的任务的数据集。这通常意味着要有一个标注好的成对句子以及它们之间的相似度评分。 ```python from sentence_transformers import SentenceTransformer, InputExample, losses from torch.utils.data import DataLoader import math train_examples = [ InputExample(texts=['My first sentence', 'My second sentence'], label=0.8), InputExample(texts=['Another pair of sentences.', 'Third sentence'], label=0.3) ] ``` #### 加载预训练模型并定义损失函数 加载一个预先存在的 Sentence Transformer 模型，并指定所使用的损失函数来指导学习过程[^1]。 ```python model_name = 'distilbert-base-nli-mean-tokens' train_batch_size = 16 num_epochs = 4 model_save_path = './output/training_stsb_'+model_name.replace("/", "-")+"-"+''.join(random.choices(string.ascii_uppercase + string.digits, k=10)) # Use Huggingface/transformers model (like BERT, RoBERTa, XLNet, XLM-R) for mapping tokens to embeddings word_embedding_model = models.Transformer(model_name) # Apply mean pooling to get one fixed sized sentence vector pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension(), pooling_mode_mean_tokens=True, pooling_mode_cls_token=False, pooling_mode_max_tokens=False) model = SentenceTransformer(modules=[word_embedding_model, pooling_model]) # Define your train dataset, the dataloader and the train loss train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=train_batch_size) train_loss = losses.CosineSimilarityLoss(model=model) ``` #### 设置评估器（可选） 如果希望监控训练进度，则设置评估者可以帮助定期测试性能改进情况。 ```python from sentence_transformers.evaluation import EmbeddingSimilarityEvaluator evaluator = EmbeddingSimilarityEvaluator.from_input_examples(val_examples, name='sts-dev') warmup_steps = math.ceil(len(train_dataset)*num_epochs/train_batch_size*0.1) #10% of train data for warm-up ``` #### 开始训练 最后一步就是调用 fit() 来启动实际的学习流程[^2]。 ```python model.fit( train_objectives=[(train_dataloader, train_loss)], evaluator=evaluator, epochs=num_epochs, evaluation_steps=1000, warmup_steps=warmup_steps, output_path=model_save_path ) ``` 通过上述代码片段展示了如何利用 Sentence Transformers 库中的 `fit()` 接口完成自定义语料上的微调操作。注意这里假设读者已经有了适当格式化的输入样例列表作为训练样本。