TF-IDF热词分析在Python中的实现主要基于`scikit-learn`库的`TfidfVectorizer`类，并需配合中文分词库（如`jieba`）及文本预处理函数共同完成[ref_1][ref_5][ref_6]。整个过程通常被封装为一系列函数，以实现从原始文本到热词排名及可视化的完整流程。 #### 1. 核心计算函数：`TfidfVectorizer` `sklearn.feature_extraction.text.TfidfVectorizer`是实现TF-IDF矩阵转换的核心类，它封装了词频（TF）和逆文档频率（IDF）的计算。其核心方法是`fit_transform()`，它一次性完成词汇表的构建和TF-IDF权重的计算[ref_1]。 ```python from sklearn.feature_extraction.text import TfidfVectorizer def calculate_tfidf(texts): """ 计算文本集合的TF-IDF矩阵。 参数: texts (list of str): 预处理后的文本列表，每个元素为用空格连接的分词字符串。 返回: tfidf_matrix: 稀疏矩阵，形状为 [文档数, 词汇表大小]。 feature_names: 列表，词汇表中的所有特征词。 """ vectorizer = TfidfVectorizer() tfidf_matrix = vectorizer.fit_transform(texts) feature_names = vectorizer.get_feature_names_out() return tfidf_matrix, feature_names ``` **应用场景**：此函数是TF-IDF分析的枢纽，接收经过清洗和分词的文本列表，输出可供后续分析的数值矩阵。例如，在分析多篇新闻文章时，`texts`是每篇文章的分词结果，输出的`tfidf_matrix`则量化了每个词在每篇文章中的重要性[ref_1][ref_5]。 #### 2. 文本预处理函数集 原始文本必须经过预处理才能输入`TfidfVectorizer`，这通常涉及清洗、分词和去除停用词。 ```python import jieba import re def load_stopwords(filepath='stopwords.txt'): """加载停用词表。""" try: with open(filepath, 'r', encoding='utf-8') as f: return set([line.strip() for line in f]) except FileNotFoundError: print(f"警告: 停用词文件 {filepath} 未找到，将不使用停用词。") return set() def clean_chinese_text(text): """清洗文本，仅保留中文字符。""" # 使用正则表达式移除所有非中文字符，并用空格替换[ref_1] return re.sub(r'[^\u4e00-\u9fa5]', ' ', text) def segment_and_filter(text, stopwords): """对单条文本进行分词并过滤停用词。""" cleaned_text = clean_chinese_text(text) # 使用jieba进行精确模式分词[ref_1] words = jieba.lcut(cleaned_text) # 过滤停用词和长度小于2的词（如单字无意义词） filtered_words = [word for word in words if word not in stopwords and len(word) > 1] return ' '.join(filtered_words) # 返回空格连接字符串，供TfidfVectorizer使用 def preprocess_documents(raw_docs, stopwords_file='stopwords.txt'): """批量预处理原始文档。""" stopwords = load_stopwords(stopwords_file) processed_docs = [] for doc in raw_docs: processed_doc = segment_and_filter(doc, stopwords) processed_docs.append(processed_doc) return processed_docs ``` **应用场景**：例如，分析社交媒体评论时，评论中可能包含表情符号、英文、数字和标点。`clean_chinese_text`函数能将其清理为纯中文字符串，`segment_and_filter`函数则将其拆分为有意义的词汇并去除“的”、“了”等常见但无分析价值的停用词，为TF-IDF计算提供高质量输入[ref_1][ref_4]。 #### 3. 热词提取与排序函数 得到TF-IDF矩阵后，需要汇总分析以识别出最重要的“热词”。 ```python import numpy as np def extract_top_keywords_global(tfidf_matrix, feature_names, top_k=20): """ 从所有文档中提取全局重要性最高的热词。 原理：计算每个词在所有文档中的平均TF-IDF值作为其全局重要性指标[ref_6]。 参数: tfidf_matrix: TF-IDF稀疏矩阵。 feature_names: 特征词列表。 top_k: 返回的热词数量。 返回: list of tuple: (关键词, 平均TF-IDF值) 列表，按值降序排列。 """ # 将稀疏矩阵转为密集数组，计算列（特征词）的平均值 avg_weights = np.asarray(tfidf_matrix.mean(axis=0)).flatten() # 获取权重最高的前top_k个索引 top_indices = avg_weights.argsort()[-top_k:][::-1] top_keywords = [] for idx in top_indices: top_keywords.append((feature_names[idx], avg_weights[idx])) return top_keywords def extract_top_keywords_per_doc(tfidf_matrix, feature_names, doc_index, top_k=5): """ 提取指定文档中最重要的关键词。 参数: doc_index: 文档在矩阵中的索引。 top_k: 返回的每个文档的关键词数量。 返回: list of tuple: (关键词, TF-IDF值) 列表，按值降序排列。 """ # 获取指定文档的TF-IDF向量并转为数组 doc_vector = tfidf_matrix[doc_index].toarray().flatten() # 获取该文档中权重最高的前top_k个索引 top_indices = doc_vector.argsort()[-top_k:][::-1] doc_keywords = [] for idx in top_indices: doc_keywords.append((feature_names[idx], doc_vector[idx])) return doc_keywords ``` **应用场景**：`extract_top_keywords_global`适用于主题挖掘或趋势分析，例如，分析一个季度的科技新闻稿，可以找出该季度最受关注的技术术语[ref_6]。而`extract_top_keywords_per_doc`则用于文档摘要或标签生成，例如，为一篇具体的产品评论文章提取核心观点词[ref_4]。 #### 4. 可视化函数 将提取的热词进行可视化是分析结果呈现的关键一步，常用词云（Word Cloud）图。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt def generate_tfidf_wordcloud(top_keywords_tuples, font_path='simhei.ttf'): """ 根据关键词及其权重（TF-IDF值）生成词云。 参数: top_keywords_tuples: 由`extract_top_keywords_global`返回的 (词, 权重) 元组列表。 font_path: 中文字体文件路径，确保词云能正确显示中文。 """ # 将元组列表转换为字典 {词: 权重} word_weights = dict(top_keywords_tuples) # 配置词云对象 wordcloud = WordCloud(font_path=font_path, width=800, height=600, background_color='white', max_words=200, max_font_size=150, contour_width=1) # 根据词频字典生成词云 wordcloud.generate_from_frequencies(word_weights) # 绘制图像 plt.figure(figsize=(10, 8)) plt.imshow(wordcloud, interpolation='bilinear') plt.axis('off') plt.title('TF-IDF热词词云', fontsize=16, pad=20) plt.show() ``` **应用场景**：在生成季度技术报告或舆情分析简报时，将提取出的热词生成词云图，可以直观、醒目地展示核心话题分布，使非技术人员也能快速抓住重点[ref_1][ref_6]。 #### 5. 完整流程集成示例 以下是一个将这些函数串联起来的完整示例，演示如何对一组视频标题进行热词分析[ref_5]。 ```python # 模拟数据：一组视频标题 raw_titles = [ "Python入门教程：从零开始学习数据分析", "深度学习实战：利用TensorFlow构建神经网络模型", "大数据处理框架Hadoop与Spark核心技术详解", "人工智能时代：机器学习算法应用全解析", "云计算平台AWS vs. Azure：架构与成本对比分析" ] # 第一步：文本预处理 print("正在进行文本预处理...") processed_titles = preprocess_documents(raw_titles) print(f"预处理后样例: {processed_titles[0][:50]}...") # 打印第一条处理后的片段 # 第二步：计算TF-IDF矩阵 print("\n正在计算TF-IDF...") tfidf_matrix, vocab = calculate_tfidf(processed_titles) print(f"词汇表大小: {len(vocab)}") # 第三步：提取全局Top 15热词 print("\n--- 全局热词排行 ---") global_hot_words = extract_top_keywords_global(tfidf_matrix, vocab, top_k=15) for rank, (word, weight) in enumerate(global_hot_words, 1): print(f"{rank:2d}. {word:10s} : {weight:.4f}") # 第四步：查看特定文档（如第一篇）的关键词 print(f"\n--- 第一篇文档《{raw_titles[0]}》的关键词 ---") doc1_keywords = extract_top_keywords_per_doc(tfidf_matrix, vocab, doc_index=0, top_k=5) for word, weight in doc1_keywords: print(f" - {word}: {weight:.4f}") # 第五步：生成全局热词词云 print("\n正在生成热词词云...") generate_tfidf_wordcloud(global_hot_words) ``` ### 核心函数与工具总结 | 类别 | 函数/类名称 | 所属库/模块 | 核心功能 | 关键说明 | | :--- | :--- | :--- | :--- | :--- | | **核心计算** | `TfidfVectorizer` | `sklearn.feature_extraction.text` | 将文本集转换为TF-IDF特征矩阵 | 需输入已分词且空格连接的字符串列表；`fit_transform()`是关键方法[ref_1] | | **中文分词** | `jieba.lcut()` | `jieba` | 将中文句子切分成词语列表 | 是中文文本分析的基础预处理步骤[ref_1] | | **文本清洗** | `re.sub()` | `re` (Python标准库) | 使用正则表达式替换或删除特定字符 | 常用模式`r'[^\u4e00-\u9fa5]'`来仅保留中文[ref_1] | | **数值运算** | `numpy.mean()` | `numpy` | 计算数组沿指定轴的平均值 | `axis=0`计算特征均值，用于评估全局重要性[ref_6] | | **数据排序** | `numpy.argsort()` | `numpy` | 返回数组排序后的索引 | 用于快速获取权重最高/最低的词汇索引 | | **可视化** | `WordCloud.generate_from_frequencies()` | `wordcloud` | 根据频率字典生成词云图像 | 输入为`{‘词’: 权重}`字典，权重越大词云中显示越大[ref_1] | 综上所述，TF-IDF热词分析的Python实现是一套组合函数，遵循**“数据清洗与分词 -> 向量化表示 -> 权重计算与排序 -> 结果呈现”** 的标准流程。核心函数`calculate_tfidf`依赖于`TfidfVectorizer`，而其输入则依赖于预处理函数`preprocess_documents`。最终的分析结果通过`extract_top_keywords_global`和`generate_tfidf_wordcloud`等函数进行提炼和可视化，共同构成了一个从原始文本到洞察结论的完整分析工具箱[ref_1][ref_5][ref_6]。