### SentenceTransformer 函数使用方法与示例 #### 什么是 SentenceTransformer？ `SentenceTransformer` 是 Hugging Face 提供的一个库，用于加载预训练的模型来生成高质量的句子嵌入向量。这些嵌入可以应用于语义相似度计算、聚类分析以及信息检索等多种自然语言处理任务。 以下是 `SentenceTransformer` 的基本功能及其使用方法： --- #### 安装依赖 在使用 `SentenceTransformer` 前，需安装对应的 Python 库： ```bash pip install sentence-transformers ``` --- #### 加载预训练模型 通过 `SentenceTransformer` 类可以从 Hugging Face Model Hub 中加载预训练模型。以下是一个简单的例子： ```python from sentence_transformers import SentenceTransformer # 初始化模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 预训练模型名称 [^1] # 输入待编码的句子列表 sentences = ["这是一个测试句子", "这是另一个不同的句子"] # 计算句子嵌入 embeddings = model.encode(sentences) print(f"句子数量: {len(embeddings)}") print(f"每个句子的嵌入维度: {len(embeddings[0])}") ``` 上述代码展示了如何加载名为 `'all-MiniLM-L6-v2'` 的预训练模型并将其应用到两个中文句子上。最终会得到每句话对应的一组固定长度的浮点数数组作为其嵌入表示。 --- #### 句子相似度计算 利用生成的句子嵌入，可以通过余弦相似度衡量两句话之间的语义距离： ```python import numpy as np from scipy.spatial.distance import cosine # 示例句子 sentence_1 = "我喜欢吃苹果" sentence_2 = "我不喜欢香蕉" # 获取嵌入 embedding_1 = model.encode(sentence_1) embedding_2 = model.encode(sentence_2) # 计算余弦相似度 similarity_score = 1 - cosine(embedding_1, embedding_2) print(f"句子 '{sentence_1}' 和 '{sentence_2}' 的相似度分数为: {similarity_score:.4f}") [^2] ``` 此片段说明了如何比较两条短句间的语义相近程度。 --- #### 批量数据处理 当面对大量文本时，可一次性传入整个批次的数据以提高效率： ```python large_sentences_list = [ "今天天气真好", "我们一起去公园散步吧。", "明天可能会下雨哦！" ] batch_embeddings = model.encode(large_sentences_list, batch_size=32, show_progress_bar=True) [^3] for i, emb in enumerate(batch_embeddings): print(f"Sentence {i}: Embedding shape={emb.shape}") ``` 这里设置了批量大小参数 (`batch_size`) 并启用了进度条显示选项 (`show_progress_bar`) 来跟踪执行状态。 --- #### 自定义微调模型 如果希望针对特定领域优化性能，则可通过迁移学习技术调整现有权重至新任务之上。下面给出一段简化版流程概览： ```python from torch.utils.data import DataLoader from sentence_transformers import losses, models, SentencesDataset, InputExample train_examples = [ InputExample(texts=['句子A', '正样本B'], label=1), InputExample(texts=['句子C', '负样本D'], label=0) ] word_embedding_model = models.Transformer('bert-base-chinese') pooling_model = models.Pooling(word_embedding_model.get_word_embedding_dimension()) model = SentenceTransformer(modules=[word_embedding_model, pooling_model]) train_dataset = SentencesDataset(train_examples, model=model) train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=8) train_loss = losses.CosineSimilarityLoss(model=model) model.fit( train_objectives=[(train_dataloader, train_loss)], epochs=1, warmup_steps=100, output_path="./fine_tuned_model" ) ``` 该脚本演示了一个基础框架——构建输入实例集合、指定损失函数类型（此处采用余弦相似度）、配置超参后启动训练循环直至保存结果文件为止。 ---