### Python 实现高性能两段文本语义相似度计算方法 在 Python 中，实现高性能的两段文本语义相似度计算通常依赖于先进的自然语言处理技术和预训练的语言模型。以下是几种推荐的方法及其技术细节： #### spaCy 的内置功能 spaCy 是一个流行的 NLP 库，提供了一种简单的方式来计算两个句子之间的相似度。通过加载预训练的语言模型（如 `en_core_web_md` 或更大的模型），可以直接调用 `.similarity()` 方法来获得句子间的余弦相似度[^1]。 ```python import spacy nlp = spacy.load("en_core_web_md") # 加载较大的语言模型以提高准确性 doc1 = nlp("I love programming.") doc2 = nlp("Coding is my passion.") similarity = doc1.similarity(doc2) print(f"文本相似度: {similarity:.4f}") ``` 这种方法的优点在于其实现简便且速度快，但由于其基于词向量的方式可能无法充分捕捉复杂的上下文关系。 --- #### 使用 FastText 计算语义相似度 FastText 是 Facebook 开源的一种高效工具，能够生成高质量的词向量并支持子词级别的特征提取。对于给定的一组词语，可以利用训练好的 FastText 模型计算它们之间的语义相似度[^2]。 ```python from gensim.models import FastText model = FastText.load_fasttext_format('cc.en.300.bin') # 加载预训练模型 word1 = 'computer' word2 = 'software' similarity = model.wv.similarity(word1, word2) print(f"{word1} 和 {word2} 的语义相似度为: {similarity:.4f}") ``` 尽管如此，单独依靠单个词汇的相似性不足以反映整个句子的意义；因此需要扩展至句级表示法。 --- #### 基于 BERT 的深度学习方法 近年来，Transformer 架构（尤其是 BERT 及其变体）已成为解决各种 NLP 任务的标准工具之一。相比于传统方法，BERT 能够更好地理解上下文中单词的真实含义，从而显著提高了语义相似度评估的质量[^3]。 Hugging Face 提供了一个易于使用的接口——Transformers 库，允许我们轻松访问多个版本的 BERT 模型来进行推理或微调。 ```python from sentence_transformers import SentenceTransformer, util # 初始化预训练模型 (可以选择其他更高效的变体如 distilbert-base-nli-mean-tokens) model = SentenceTransformer('paraphrase-MiniLM-L6-v2') sentence1 = "A man is playing guitar." sentence2 = "Someone plays the acoustic guitar." embedding1 = model.encode(sentence1, convert_to_tensor=True) embedding2 = model.encode(sentence2, convert_to_tensor=True) cosine_score = util.pytorch_cos_sim(embedding1, embedding2)[0][0].item() print(f"Cosine-Similarity: {cosine_score:.4f}") ``` 此代码片段展示了如何使用 `Sentence-BERT` 来编码输入句子并将结果传递给余弦相似度函数。值得注意的是，这类方法虽然精确但往往伴随着较高的计算成本。 --- #### 平均词嵌入加权策略 另一种较为轻便的技术是先分别获取每个句子中所有单词对应的词向量，再按照一定规则对其进行聚合得到最终的句子表示形式。例如，可以通过 TF-IDF 对各个维度赋予不同的重要性权重后再求平均值[^4]。 ```python from sklearn.feature_extraction.text import TfidfVectorizer from scipy.spatial.distance import cosine sentences = ["The cat sits on the mat.", "There is a cat sitting on the floor."] vectorizer = TfidfVectorizer(stop_words="english", max_features=5000) tfidf_matrix = vectorizer.fit_transform(sentences).todense() vec1, vec2 = tfidf_matrix[0], tfidf_matrix[1] similarity = 1 - cosine(vec1, vec2) print(f"Tfidf Weighted Cosine Similarity: {similarity:.4f}") ``` 这种方式相对灵活可控，不过仍然受限于静态词典表征带来的表达力不足问题。 --- #### Pearson/Spearman 相关系数评价标准 最后值得一提的是，在某些情况下仅靠单一数值并不能完全描述两者间的关系强弱程度。此时可考虑引入统计学上的相关性测度手段比如皮尔逊积矩相关系数(Pearson Correlation Coefficient)或者斯皮尔曼等级相关(Spearman Rank Correlation)，后者已被证实特别适用于评测 STS(semantic textual similarity) 类型的任务表现情况[^5]。 ```python import numpy as np from scipy.stats import pearsonr, spearmanr scores_true = [3.8, 4.9, 2.7, ... ] # 替换真实标签分数列表 scores_pred = [3.6, 5.0, 2.5, ... ] # 替换预测得分数组 p_corr, _ = pearsonr(scores_true, scores_pred) s_corr, _ = spearmanr(scores_true, scores_pred) print(f"Pearson Correlation: {p_corr:.4f}, Spearman Correlation: {s_corr:.4f}") ``` 以上介绍了几种不同的 python 高性能两段文本语义相似度计算方法，各有优劣需视具体情况选用合适方案。 ---