### Python 实现文件文本读取、词频统计、TF-IDF 计算及关键词提取与词云生成 以下是完整的代码示例，涵盖了文件读取、文本预处理、词频统计、TF-IDF 计算以及生成前 20 关键词的词云图。 #### 文件读取与文本预处理 通过 `open()` 函数读取本地文件内容，并利用 `jieba` 进行中文分词操作。为了提高准确性，可以引入停用词表过滤掉无意义的词汇[^1]。 ```python import jieba from collections import Counter def read_and_preprocess(file_path, stop_words=None): with open(file_path, 'r', encoding='utf-8') as file: text = file.read() words = list(jieba.lcut(text)) if stop_words is not None: words = [word for word in words if word not in stop_words and word.strip()] return words ``` #### 词频统计 使用 `Counter` 对分词结果进行计数，得到每个单词出现的次数[^2]。 ```python words = read_and_preprocess('example.txt') frequency = Counter(words) # 输出前 20 高频词汇及其频率 top_20_freq = frequency.most_common(20) for word, freq in top_20_freq: print(f"{word}: {freq}") ``` #### TF-IDF 计算 借助 `sklearn.feature_extraction.text.TfidfVectorizer` 完成 TF-IDF 的计算过程。此方法能够自动构建语料库中的特征矩阵，并返回每篇文档对应的权重分布[^3]。 ```python from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(max_features=20) # 提取前 20 个关键词 X_tfidf = vectorizer.fit_transform([' '.join(words)]) keywords = vectorizer.get_feature_names_out() weights = X_tfidf.toarray()[0] # 打印关键词及其对应的重要性分数 for keyword, weight in zip(keywords, weights): print(f"{keyword}: {weight:.4f}") ``` #### 绘制词云图 调用 `WordCloud` 类生成可视化图像，支持自定义参数调整样式效果。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt wc_text = ' '.join([w * int(c / sum(weights) * 100) for w, c in zip(keywords, weights)]) # 加权拼接字符串 word_cloud = WordCloud(font_path="simhei.ttf", background_color="white").generate(wc_text) plt.figure(figsize=(10, 6)) plt.imshow(word_cloud, interpolation="bilinear") plt.axis("off") plt.show() ``` 以上流程实现了从原始数据到最终展示的一整套解决方案，适用于多种场景需求。