### Python 实现中文文本语义网络分析 以下是基于用户需求实现的一个完整的 Python 脚本，用于完成中文文本的分词、去停用词、词性标注以及 TF 加权等步骤。脚本利用 `jieba` 进行分词和词性标注，并计算词语频率作为权重。 #### 代码实现 ```python import jieba.posseg as pseg from collections import Counter def preprocess_text(text, stop_words=None): """ 预处理函数：分词、词性过滤、去除停用词。 参数: text (str): 输入文本。 stop_words (set): 停用词集合，默认为空。 返回: list: 处理后的关键词列表。 """ allowed_pos = {'n', 'nz', 'v', 'vd', 'vn', 'l', 'a', 'd'} # 允许的词性[^1] words_with_pos = pseg.cut(text) # 使用 jieba 的 posseg 方法获取词性和分词结果 filtered_words = [ word for word, flag in words_with_pos if flag in allowed_pos and (stop_words is None or word not in stop_words) ] return filtered_words def calculate_tf(words): """ 计算词频（Term Frequency）。 参数: words (list): 关键词列表。 返回: dict: 单词及其对应的 TF 值。 """ total_count = len(words) counter = Counter(words) tf_dict = {word: count / total_count for word, count in counter.items()} return tf_dict if __name__ == "__main__": # 示例输入文本 source_material = "自然语言处理是一门充满挑战的学科，它涉及计算机科学、人工智能等多个领域。" # 定义停用词表 stop_words = {"是", "一门", "多个"} # 可扩展为更大的停用词集 # 步骤一：预处理文本 processed_words = preprocess_text(source_material, stop_words=stop_words) # 步骤二：计算 TF 权重 term_frequencies = calculate_tf(processed_words) print("处理后的关键词:", processed_words) print("TF 权重:", term_frequencies) ``` --- #### 结果解释 上述代码实现了以下功能： 1. **分词与词性标注**：通过 `jieba.posseg` 提取指定词性的单词[^1]。 2. **去除停用词**：提供了一个简单的停用词集合来过滤无意义词汇。 3. **TF 加权**：计算每个关键词在文档中的相对重要程度。 --- #### 扩展到语义网络分析 为了进一步构建语义网络，可以引入如下工具和技术： - 利用 `networkx` 库绘制节点关系图，其中节点表示关键词，边代表它们之间的共现次数或其他关联度量。 - 将 TF-IDF 替代简单 TF，增强跨文档比较能力。 - 引入外部知识库（如 WordNet 或 HowNet），补充词语间的语义相似性信息[^2]。 ---