### Python 实现文本相似度分析的代码示例 以下是几种常见的方法来计算文本之间的相似度： #### 方法一：基于TF-IDF和余弦相似度 这种方法通过`TfidfVectorizer`将文本向量化，并利用`cosine_similarity`函数计算两段文本的相似度。 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity def text_similarity_tfidf(text1, text2): vectorizer = TfidfVectorizer() vectors = vectorizer.fit_transform([text1, text2]) similarity = cosine_similarity(vectors)[0][1] return similarity text1 = "这是一段文本" text2 = "这是另一段相似的文本" similarity_score = text_similarity_tfidf(text1, text2) print(f"TF-IDF 和余弦相似度得分: {similarity_score}") ``` 此方法适用于简单的场景，能够快速评估短文本间的相似程度[^1]。 --- #### 方法二：基于Gensim库中的LSI模型 该方法使用词袋模型表示文本数据，并借助潜在语义索引（Latent Semantic Indexing, LSI）提取主题特征，从而更深入地理解文本含义。 ```python from gensim import corpora, models, similarities # 输入文本 text1 = "我喜欢看电影" text2 = "他喜欢看电影" # 构建词典并生成语料库 texts = [[word for word in doc.split()] for doc in [text1, text2]] dictionary = corpora.Dictionary(texts) corpus = [dictionary.doc2bow(text) for text in texts] # 创建LSI模型 lsi_model = models.LsiModel(corpus, id2word=dictionary, num_topics=2) # 计算相似度矩阵 index = similarities.MatrixSimilarity(lsi_model[corpus]) sims = list(index[lsi_model[corpus]]) for i, sim_vector in enumerate(sims): print(f"文档{i}与其他文档的相似度: {list(sim_vector)}") ``` 上述代码展示了如何构建一个低维空间下的文本表征方式，适合处理较长或复杂的自然语言材料[^2]。 --- #### 方法三：结合Jieba分词与Cosine Similarity 对于中文文本而言，先对其进行精确模式切分可以提高后续操作的效果。这里采用第三方工具——`jieba`完成预处理工作后再调用之前提到过的sklearn组件执行最终运算过程。 ```python import jieba from sklearn.feature_extraction.text import CountVectorizer from sklearn.metrics.pairwise import cosine_similarity def preprocess_text_jieba(text): words = jieba.lcut(text) return ' '.join(words) def text_similarity_with_jieba(text1, text2): processed_texts = [ preprocess_text_jieba(text1), preprocess_text_jieba(text2) ] vectorizer = CountVectorizer().fit_transform(processed_texts) vectors = vectorizer.toarray() cos_sim = cosine_similarity(vectors)[0][1] return cos_sim text1 = "这是一个测试例子" text2 = "这个是一个实验样本" score = text_similarity_with_jieba(text1, text2) print(f"经过 Jieba 处理后的 Cosine Similarity 得分为: {score:.4f}") ``` 这种组合形式特别推荐给那些专注于汉语领域研究者们尝试应用[^3]。 --- ### 总结 以上三种方案分别代表了不同层次上的解决方案，具体选择哪一种取决于实际需求以及待解决问题的特点等因素考虑之后再做决定即可。