### 文本相似性分析的 Python 实现方法 文本相似性分析是自然语言处理中的重要任务，广泛应用于文本去重、抄袭检测、推荐系统等场景。Python 提供了多种方法来实现文本相似性分析，包括基于字符串匹配、词频统计以及向量化模型等技术。 #### 基于字符串匹配的方法 **Levenshtein 距离**是一种衡量两个字符串之间差异的方法，表示将一个字符串转换为另一个字符串所需的最少编辑操作（插入、删除、替换）次数。该方法适用于短文本或字符级别的对比，适用于拼写检查、字符串匹配等场景[^1]。 例如，使用 `python-Levenshtein` 库计算两个字符串的编辑距离： ```python import Levenshtein str1 = "文本相似性分析" str2 = "文本比较分析" distance = Levenshtein.distance(str1, str2) print(f"Levenshtein 距离为：{distance}") ``` #### 基于词频统计的方法 **Jaccard 相似系数**通过计算两个集合的交集与并集的比例来衡量相似性，适用于分词后的文本比较。其计算公式为： $$ J(A, B) = \frac{|A \cap B|}{|A \cup B|} $$ 该方法适合于判断两段文本在词汇层面的重合度。 ```python def jaccard_similarity(text1, text2): set1 = set(text1.split()) set2 = set(text2.split()) intersection = set1.intersection(set2) union = set1.union(set2) return len(intersection) / len(union) text1 = "这是一个用于测试的文本" text2 = "这是一个用于比较的文本" similarity = jaccard_similarity(text1, text2) print(f"Jaccard 相似度为：{similarity:.2f}") ``` #### 基于向量空间模型的方法 **TF-IDF + 余弦相似度**是一种常见的文本向量化方法。通过将文本转化为 TF-IDF 向量，再计算向量之间的余弦相似度，可以衡量文本的主题相似性。值越接近1表示越相似。 使用 `TfidfVectorizer` 和 `cosine_similarity` 实现如下： ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity corpus = [ "这是一个用于测试的文本", "这是一个用于比较的文本" ] vectorizer = TfidfVectorizer() tfidf_matrix = vectorizer.fit_transform(corpus) cos_sim = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix[1:2]) print(f"余弦相似度为：{cos_sim[0][0]:.2f}") ``` #### 基于哈希算法的方法 **SimHash** 是一种局部敏感哈希算法，通过将文本映射为一个指纹（哈希值），再计算汉明距离来判断相似性。适用于大规模文本去重任务[^3]。 ```python import simhash hash1 = simhash.Simhash("这是一个用于测试的文本") hash2 = simhash.Simhash("这是一个用于比较的文本") distance = hash1.distance(hash2) print(f"SimHash 汉明距离为：{distance}") ``` #### 基于中文分词与词向量的方法 对于中文文本，通常需要先进行分词处理。使用 `jieba` 进行分词后，可以结合词频统计或词向量（如 Word2Vec、BERT）进行相似性分析[^4]。 ```python import jieba def tokenize(text): return " ".join(jieba.cut(text)) text1 = "这是一个用于测试的文本" text2 = "这是一个用于比较的文本" tokenized_text1 = tokenize(text1) tokenized_text2 = tokenize(text2) print(f"分词结果1：{tokenized_text1}") print(f"分词结果2：{tokenized_text2}") ``` #### 使用深度学习模型进行语义相似性分析 近年来，基于深度学习的文本表示方法（如 Sentence-BERT、Universal Sentence Encoder）可以更准确地捕捉语义相似性。使用 `sentence-transformers` 可以快速实现语义级别的文本相似性分析。 ```python from sentence_transformers import SentenceTransformer, util model = SentenceTransformer('paraphrase-MiniLM-L6-v2') sentences = ["这是一个用于测试的文本", "这是一个用于比较的文本"] embeddings = model.encode(sentences, convert_to_tensor=True) cos_sim = util.cos_sim(embeddings[0], embeddings[1]) print(f"语义相似度为：{cos_sim.item():.2f}") ``` ---