以下是基于 `jieba` 库实现的一个完整的 Python 中文分词代码示例，该代码展示了如何加载自定义词典、统计词语频率以及生成高频词汇列表等功能。此代码长度约为100行。 ```python import jieba def load_custom_dict(dict_path): """ 加载自定义词典文件。 参数 dict_path 是词典路径。 """ try: jieba.load_userdict(dict_path) print(f"成功加载自定义词典: {dict_path}") except Exception as e: print(f"加载自定义词典失败: {e}") def read_file(file_path): """ 读取文本文件并返回其内容。 参数 file_path 是目标文件的路径。 """ content = "" try: with open(file_path, 'r', encoding='utf-8') as f: content = f.read() except FileNotFoundError: print("指定的文件未找到，请检查路径是否正确.") return content def segment_text(text, cut_all=False): """ 对输入文本进行分词处理。 参数 text 是待分词的文本；参数 cut_all 控制是否采用全模式分词。 返回分词后的结果列表。 """ seg_list = jieba.lcut(text, cut_all=cut_all) return seg_list def count_word_frequency(word_list): """ 统计单词出现的频次。 参数 word_list 是分词后的列表。 返回一个字典，键为单词，值为其对应的频次。 """ freq_dict = {} for word in word_list: if len(word.strip()) >= 2: # 过滤掉单字符或空白符 freq_dict[word] = freq_dict.get(word, 0) + 1 return freq_dict def sort_words_by_freq(freq_dict, top_n=10): """ 按照词频降序排列，并提取前 N 个高频词。 参数 freq_dict 是词频统计字典；top_n 表示要提取的高频词数量。 返回排序后的列表。 """ sorted_items = sorted(freq_dict.items(), key=lambda x: x[1], reverse=True)[:top_n] return sorted_items if __name__ == "__main__": custom_dict_path = "custom_dictionary.txt" input_file_path = "input_text.txt" # 步骤一：加载自定义词典（如果存在） load_custom_dict(custom_dict_path) # 步骤二：读取输入文件的内容 raw_content = read_file(input_file_path) if not raw_content: exit() # 步骤三：执行分词操作 segmented_result = segment_text(raw_content, cut_all=False) # 步骤四：计算词频分布 frequency_distribution = count_word_frequency(segmented_result) # 步骤五：按词频排序并显示前N个高频词 high_freq_words = sort_words_by_freq(frequency_distribution, top_n=20) print("Top 20 高频词汇:") for idx, (word, freq) in enumerate(high_freq_words, start=1): print(f"{idx}. {word}: 出现次数={freq} 次") ``` ### 关于代码的功能说明 以上代码实现了以下功能： 1. **加载自定义词典**：通过调用 `jieba.load_userdict()` 方法支持用户扩展特定领域术语[^3]。 2. **文本读取与预处理**：能够从本地文件中读入原始文本数据[^4]。 3. **精确/全模式分词切换**：提供灵活选项来控制分词粒度[^1]。 4. **过滤低质量词条**：仅保留有意义的双字符及以上长度的词汇[^3]。 5. **词频分析与排名展示**：利用内置排序机制找出最常用的若干关键词及其出现次数[^4]。 ---