### 使用Python爬取知乎数据并制作词云图 #### 准备工作 为了实现这一目标，首先需要安装必要的库。可以使用`pip install`命令来安装所需的包。 ```bash pip install scrapy beautifulsoup4 requests wordcloud jieba matplotlib ``` 这些库分别用于构建爬虫、解析HTML文档、发起HTTP请求以及处理中文分词和绘制词云图像[^1]。 #### 获取知乎页面内容 对于知乎这样的动态加载网站来说，直接利用Scrapy可能无法获取完整的页面源码。此时可以选择先用Selenium模拟浏览器行为加载完整页面后再进行抓取操作；另一种方法是观察API接口调用来直接向服务器发送请求得到所需JSON格式的数据。这里假设已经找到了合适的API端点[^2]。 #### 解析与保存数据 一旦获得了包含话题讨论详情的响应体，则可以通过BeautifulSoup轻松定位到每条评论及其对应的点赞数等信息： ```python from bs4 import BeautifulSoup as soup import json def parse_zhihu_topic(html_content): parsed_data = [] # 假设html_content是从知乎特定结构化页面获得的内容 page_soup = soup(html_content, 'lxml') # 这里仅作为示范，实际应用中需依据具体网页结构调整查找逻辑 items = page_soup.find_all('div', class_='Item') for item in items: comment_text = item.select_one('.CommentText').text.strip() like_count = int(item.select_one('.LikeCount')['data-count']) parsed_data.append({ "comment": comment_text, "likes": like_count }) return parsed_data ``` 上述代码片段展示了如何从HTML文档中抽取评论文字及对应获赞次数，并将其整理成列表形式以便后续处理[^3]。 #### 关键词提取与频率计算 接下来要做的就是对收集来的文本做预处理——去除停用词（如“的”，“了”）、标点符号和其他不必要的字符之后再借助jieba来进行精确模式下的词语切分。最后统计各个词汇出现频次形成字典对象供下一步绘图所用。 ```python import re import jieba.analyse def extract_keywords(texts_list): stop_words = set(['的','了']) # 可扩展更多常见无意义词汇 all_texts = ''.join([re.sub(r'[^\w\s]', '', text['comment']).strip() for text in texts_list]) seg_result = jieba.cut(all_texts) filtered_words = [word for word in seg_result if not any((len(word)<2, word.isdigit(), word.lower().isalpha(), word in stop_words))] tfidf_tags = dict(jieba.analyse.extract_tags(' '.join(filtered_words), topK=50, withWeight=True)) return tfidf_tags ``` 此部分采用了TF-IDF算法评估每个候选特征的重要性程度，选取排名靠前的一批标签代表整个语料库的主题倾向性[^4]。 #### 绘制词云图表 最后一步便是创建美观直观的视觉呈现效果啦！ ```python from wordcloud import WordCloud import matplotlib.pyplot as plt def draw_word_cloud(frequencies_dict): wc = WordCloud(font_path='simhei.ttf', background_color="white", max_font_size=80).generate_from_frequencies(frequencies_dict) plt.figure(figsize=(16,9)) plt.imshow(wc, interpolation="bilinear") plt.axis("off") plt.show() if __name__ == '__main__': comments_with_likes = [...] # 此处应填入之前通过parse_zhihu_topic函数取得的结果集 keyword_frequncies = extract_keywords(comments_with_likes) draw_word_cloud(keyword_frequncies) ``` 这段脚本定义了一个简单的流程：先是读入先前准备好的带权重的关键短语映射表，接着实例化WordCloud类配置好字体样式参数后传入待渲染的文字素材集合，最终展示生成后的图片文件。