### PyTorch 文本相似度计算入门教程 文本相似度计算是一种常见的自然语言处理任务，用于衡量两个文本之间的语义接近程度。以下是基于 PyTorch 的一种简单方法来实现这一功能。 #### 数据预处理 在进行文本相似度计算之前，通常需要对输入数据进行一些基本的预处理操作。这包括分词、转换为数值表示以及填充序列长度等步骤[^1]。 ```python import torch from transformers import BertTokenizer, BertModel # 加载 BERT tokenizer 和模型 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def preprocess_text(texts): tokens = tokenizer( texts, padding=True, truncation=True, max_length=50, return_tensors="pt" ) return tokens ``` #### 计算句子嵌入向量 通过加载预训练的语言模型（如 BERT），可以提取每个句子的上下文感知嵌入向量作为其特征表示[^2]。 ```python def get_sentence_embedding(tokens): with torch.no_grad(): outputs = model(**tokens) embeddings = outputs.last_hidden_state[:, 0, :] # 使用 [CLS] token 表示整个句子 return embeddings ``` #### 度量相似度 常用的相似度度量方式有余弦相似度和欧几里得距离两种。这里我们采用更普遍使用的余弦相似度来进行比较[^3]。 ```python from sklearn.metrics.pairwise import cosine_similarity def calculate_cosine_similarity(embedding_1, embedding_2): sim_matrix = cosine_similarity(embedding_1.numpy(), embedding_2.numpy()) return sim_matrix[0][0] text_pair = ["I love programming.", "Programming is my passion."] tokenized_texts = preprocess_text(text_pair) embeddings = get_sentence_embedding(tokenized_texts) similarity_score = calculate_cosine_similarity(embeddings[:1], embeddings[1:]) print(f"Cosine Similarity Score: {similarity_score}") ``` 以上代码展示了如何利用 Hugging Face 提供的 `transformers` 库中的 BERT 模型，在 PyTorch 中完成简单的文本相似度计算过程[^4]。 #### 总结 此教程介绍了从零开始构建一个基础版本的文本相似度计算器所需的关键组件和技术细节。它涵盖了数据准备阶段的操作流程；借助深度学习框架获取高质量句向量的方法论探讨；最后还涉及到了实际应用层面的具体实施策略——即选取合适的算法评估两份材料间的关系紧密程度。