### 1. 数据预处理 在使用 Word2Vec 计算两个 Word 文档之间的相似度之前，需要对文档进行预处理。预处理通常包括以下步骤： - **文本清洗**：去除文档中的特殊字符、标点符号、数字等无关内容。 - **分词处理**：将文档内容切分为单词或词语。对于中文文档，可以使用 `jieba` 进行分词。 - **去除停用词**：去除一些常见的无意义词汇，如“的”、“是”、“在”等。 ```python import jieba import re def preprocess_text(text): # 清洗文本 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', '', text) # 分词 words = jieba.lcut(text) # 去除停用词 stop_words = set([ '的', '是', '在', '了', '和', '就', '都', '而', '及', '与', '着', '不', '很', '但', '还', '也', '都', '要', '被', '所', '向', '去', '从', '由', '此' ]) filtered_words = [word for word in words if word not in stop_words] return filtered_words ``` ### 2. 训练 Word2Vec 模型 接下来，使用 `Gensim` 库中的 `Word2Vec` 模型来训练词向量。假设你已经对多个文档进行了预处理，并将它们存储在一个列表中。 ```python from gensim.models import Word2Vec # 假设 documents 是一个包含预处理后文档的列表 documents = [ ["机器", "学习", "是", "人工智能", "的重要", "分支"], ["深度", "学习", "是", "机器", "学习", "的", "一种"], ["自然", "语言", "处理", "是", "人工智能", "的", "重要", "领域"] ] # 训练 Word2Vec 模型 model = Word2Vec(sentences=documents, vector_size=100, window=5, min_count=1, workers=4) ``` ### 3. 计算文档相似度 为了计算两个文档之间的相似度，通常需要将文档表示为词向量的平均值或加权平均值。然后，可以使用余弦相似度来衡量两个文档向量之间的相似性。 #### 3.1 文档向量化 ```python import numpy as np def document_vector(doc, model): # 获取文档中每个词的向量，并计算平均值作为文档向量 vectors = [model.wv[word] for word in doc if word in model.wv] if not vectors: return np.zeros(model.vector_size) return np.mean(vectors, axis=0) # 假设有两个文档 doc1 和 doc2 doc1 = ["机器", "学习", "是", "人工智能", "的重要", "分支"] doc2 = ["深度", "学习", "是", "机器", "学习", "的", "一种"] # 获取文档向量 vec1 = document_vector(doc1, model) vec2 = document_vector(doc2, model) ``` #### 3.2 计算余弦相似度 ```python from sklearn.metrics.pairwise import cosine_similarity # 计算余弦相似度 similarity = cosine_similarity([vec1], [vec2])[0][0] print(f"文档相似度: {similarity:.4f}") ``` ### 4. 使用预训练模型 如果你不想从头开始训练 Word2Vec 模型，可以使用预训练的模型，如 Google News 数据集上的 Word2Vec 模型。你可以从 [Google's Word2Vec](https://code.google.com/archive/p/word2vec/) 下载预训练模型。 ```python from gensim.models import KeyedVectors # 加载预训练的 Word2Vec 模型 model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True) ``` 加载预训练模型后，可以直接使用上面提到的文档向量化和余弦相似度计算方法来计算文档之间的相似度。 ### 5. 注意事项 - **词向量维度**：选择合适的词向量维度（如 100 或 300）会影响最终的相似度计算结果。 - **窗口大小**：在训练 Word2Vec 模型时，窗口大小（`window`）决定了模型考虑上下文的范围，通常设置为 5 到 10。 - **最小词频**：`min_count` 参数用于过滤低频词，避免噪声干扰。 - **文档长度**：长文档可能需要更复杂的向量化方法，如 TF-IDF 加权平均或使用更高级的模型（如 Doc2Vec）。 ###