使用Python实现中文语义相似度查找功能有多种方法，下面分别介绍基于TF - IDF和余弦相似度，以及基于预训练模型`bert - base - chinese`的实现方式。 ### 基于TF - IDF和余弦相似度的实现 ```python import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 示例语料库 corpus = [ "我无法登录账号", "登录不了我的账户", "忘记密码怎么办", "密码忘了怎么找回" ] # 分词并去除停用词，这里假设stopwords是停用词列表 stopwords = [] # 需根据实际情况填充停用词 vectorizer = TfidfVectorizer(tokenizer=jieba.lcut, stop_words=stopwords) X = vectorizer.fit_transform(corpus) # 计算相似度矩阵 sim_matrix = cosine_similarity(X) # 查找与第一句话最相似的句子 query_index = 0 similarities = sim_matrix[query_index] most_similar_index = similarities.argsort()[-2] # 排除自身，取第二大的索引 print(f"与 '{corpus[query_index]}' 最相似的句子是: '{corpus[most_similar_index]}'，相似度为: {similarities[most_similar_index]}") ``` ### 基于`bert - base - chinese`预训练模型的实现 ```python from transformers import AutoTokenizer, AutoModel import torch from sklearn.metrics.pairwise import cosine_similarity # 加载预训练模型和分词器 tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese') model = AutoModel.from_pretrained('bert-base-chinese') # 示例语料库 corpus = [ "我无法登录账号", "登录不了我的账户", "忘记密码怎么办", "密码忘了怎么找回" ] # 对语料库中的每个句子进行编码 embeddings = [] for sentence in corpus: inputs = tokenizer(sentence, return_tensors='pt') outputs = model(**inputs) # 这里简单地取[CLS]标记的输出作为句子的表示 embedding = outputs.last_hidden_state[:, 0, :].detach().numpy() embeddings.append(embedding) # 转换为二维数组 embeddings = torch.tensor([emb[0] for emb in embeddings]) # 计算相似度矩阵 sim_matrix = cosine_similarity(embeddings) # 查找与第一句话最相似的句子 query_index = 0 similarities = sim_matrix[query_index] most_similar_index = similarities.argsort()[-2] # 排除自身，取第二大的索引 print(f"与 '{corpus[query_index]}' 最相似的句子是: '{corpus[most_similar_index]}'，相似度为: {similarities[most_similar_index]}") ```