### 实现文本相似度计算 #### 余弦相似度 (Cosine Similarity) 一种常用的文本相似度衡量方式是通过计算两个向量之间的夹角来评估它们的方向一致性。对于文本而言，这通常涉及将文档转换成词频向量并计算这些向量间的余弦值。 ```python from sklearn.feature_extraction.text import CountVectorizer from sklearn.metrics.pairwise import cosine_similarity def calculate_cosine_similarity(texts): vectorizer = CountVectorizer().fit_transform(texts) vectors = vectorizer.toarray() cos_sim = cosine_similarity(vectors) return cos_sim ``` 此代码片段展示了如何利用 `sklearn` 库中的工具来进行基于计数模型的余弦相似度运算[^1]。 #### Jaccard 相似度 (Jaccard Similarity) 另一种简单直观的方式是比较集合间共同元素的比例，即所谓的Jaccard系数。这种方法适用于处理短语或关键词集合作为输入的情况。 ```python import numpy as np def jaccard_similarity(list1, list2): intersection = len(set.intersection(*[set(list1), set(list2)])) union = len(set.union(*[set(list1), set(list2)])) return float(intersection) / union if union != 0 else 0 ``` 上述函数实现了基本形式下的Jaccard指数计算逻辑[^2]。 #### 编辑距离 (Edit Distance) 编辑距离指的是使一个字符串变为另一个所需最少操作次数的一种测度；常用的操作包括插入字符、删除字符以及替换字符等动作。Levenshtein 距离是最著名的例子之一。 ```python def levenshtein_distance(s1, s2): if len(s1) < len(s2): return levenshtein_distance(s2, s1) # len(s1) >= len(s2) if len(s2) == 0: return len(s1) previous_row = range(len(s2) + 1) for i, c1 in enumerate(s1): current_row = [i + 1] for j, c2 in enumerate(s2): insertions = previous_row[j + 1] + 1 deletions = current_row[j] + 1 substitutions = previous_row[j] + (c1 != c2) current_row.append(min(insertions, deletions, substitutions)) previous_row = current_row return previous_row[-1] ``` 这段程序定义了一个递归过程用于求解两串文字间的最小变换代价[^3]。 #### TF-IDF 加权方案 为了更精确地捕捉词语的重要性，在构建特征空间之前可以先采用TF-IDF加权策略调整原始频率统计结果。之后再以此为基础执行诸如KNN分类器训练之类的任务。 ```python from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(use_idf=True) X = vectorizer.fit_transform(corpus).toarray() ``` 这里给出了创建TfidfVectorizer对象并将给定语料库转化为稀疏矩阵表示的例子[^4]。 #### Word Embedding 方法（如Word2Vec） 除了传统的基于词汇表征的技术外，近年来兴起了一些能够学习到低维连续型分布表达的学习框架。这类技术允许我们超越简单的同义关系而深入理解上下文含义关联性更强的概念层面的信息。 ```python import gensim.downloader as api model = api.load("glove-wiki-gigaword-100") # 预训练好的GloVe模型 result = model.most_similar('king') print(result) ``` 上面给出的是加载预训练嵌入模型并通过查询最接近某个特定单词的方式来展示近邻检索功能的一个实例[^5]。