### 如何使用 Python 构建共现矩阵 构建共现矩阵是自然语言处理中的一个重要工具，可以用来衡量不同实体之间的关联程度。以下是基于 Python 的共现矩阵构建方法。 #### 数据准备 为了创建共现矩阵，首先需要准备好数据集。通常情况下，这是一系列文档或语料库，在这里假设已经有一个包含多个文本片段的数据集合[^1]。 ```python documents = [ "Shakespeare wrote Hamlet", "Hamlet is a tragedy by Shakespeare", "Macbeth and Banquo are characters in Macbeth" ] ``` #### 提取词汇并建立索引映射 接下来要做的就是提取所有的唯一单词作为特征，并给它们分配唯一的整数 ID 来简化后续操作过程[^4]。 ```python from collections import defaultdict, Counter import numpy as np def build_vocab(documents): vocab = {} reverse_vocab = [] word_counts = Counter(word for doc in documents for word in set(doc.split())) sorted_words = [word for (word, _) in word_counts.most_common()] for idx, word in enumerate(sorted_words): vocab[word] = idx reverse_vocab.append(word) return vocab, reverse_vocab ``` #### 创建共现计数器 通过遍历每篇文档内的词语组合来统计两个词在同一上下文中出现次数，从而形成一个二维字典形式的临时存储结构[^5]。 ```python def count_cooccurrences(documents, window_size=2): cooccur_counter = defaultdict(lambda :defaultdict(int)) for document in documents: words = document.lower().split() for i, word in enumerate(words): start = max(i - window_size, 0) end = min(i + window_size + 1, len(words)) context = {words[j] for j in range(start, end) if j != i} for ctx_word in context: cooccur_counter[word][ctx_word] += 1 return dict(cooccur_counter) ``` #### 将共现频率转换成矩阵表示法 最后一步则是把上述获得的信息转化为易于计算的形式—即稀疏矩阵或者密集型数组等形式之一[^3]。 ```python def create_matrix(vocab, cooccur_dict): matrix_shape = (len(vocab), len(vocab)) cooccur_matrix = np.zeros(matrix_shape) for w1, contexts in cooccur_dict.items(): row_idx = vocab[w1] for w2, freq in contexts.items(): col_idx = vocab.get(w2, None) if col_idx is not None: cooccur_matrix[row_idx, col_idx] = freq # 对角线设为零 np.fill_diagonal(cooccur_matrix, 0) return cooccur_matrix ``` 以上代码展示了如何从原始文本中抽取信息并通过简单的窗口滑动机制捕捉到相邻词语之间潜在联系的方式；同时也实现了将这种关系量化表达的功能，最终得到了一张反映各元素相互作用强度模式化的表格——这就是所谓的“共现矩阵”。