### Python Requests 和 BS4 爬取小说内容并进行词频统计和生成词云 要使用 Python 的 `requests` 和 `BeautifulSoup4 (bs4)` 库爬取小说内容，并进行词频统计和生成词云，可以按照以下方法实现。 #### 1. 安装必要的库 确保安装了以下库： - `requests`: 用于发送 HTTP 请求。 - `beautifulsoup4`: 用于解析 HTML 内容。 - `jieba`: 用于中文分词。 - `wordcloud`: 用于生成词云。 - `matplotlib`: 用于显示词云图。 可以通过以下命令安装这些库： ```bash pip install requests beautifulsoup4 jieba wordcloud matplotlib ``` #### 2. 爬取小说内容 使用 `requests` 发送请求获取小说页面的 HTML 内容，然后用 `BeautifulSoup` 解析出小说正文部分。以下是代码示例： ```python import requests from bs4 import BeautifulSoup def fetch_novel_content(url): try: response = requests.get(url) response.raise_for_status() # 检查请求是否成功 response.encoding = 'utf-8' # 设置编码为 UTF-8 soup = BeautifulSoup(response.text, 'html.parser') # 假设小说正文在 <div class="content"> 标签中 content_div = soup.find('div', class_='content') if content_div: return content_div.get_text(strip=True) # 获取纯文本内容 else: return None except Exception as e: print(f"Error: {e}") return None ``` #### 3. 进行词频统计 使用 `jieba` 对小说内容进行分词，并统计每个词出现的频率。 ```python import jieba from collections import Counter def word_frequency(text): words = jieba.lcut(text) # 使用 jieba 分词 filtered_words = [word for word in words if len(word) > 1] # 过滤掉单字 word_counts = Counter(filtered_words) # 统计词频 return word_counts.most_common(100) # 返回前 100 个高频词 ``` #### 4. 生成词云 使用 `wordcloud` 和 `matplotlib` 生成词云图。 ```python from wordcloud import WordCloud import matplotlib.pyplot as plt def generate_word_cloud(word_counts): wc = WordCloud(font_path='simhei.ttf', # 中文字体路径 width=800, height=400, background_color='white').generate_from_frequencies(dict(word_counts)) plt.figure(figsize=(10, 5)) plt.imshow(wc, interpolation='bilinear') plt.axis('off') # 关闭坐标轴 plt.show() ``` #### 5. 整合代码 将上述功能整合到一个主函数中： ```python if __name__ == "__main__": novel_url = "https://example.com/novel" # 替换为目标小说的 URL content = fetch_novel_content(novel_url) if content: word_counts = word_frequency(content) print("Top 10 Words:", word_counts[:10]) # 输出前 10 个高频词 generate_word_cloud(word_counts) else: print("Failed to fetch novel content.") ``` #### 注意事项 - 小说网站的 HTML 结构可能不同，需要根据实际情况调整解析逻辑。 - 确保遵守目标网站的 `robots.txt` 文件规定，避免违反爬虫规则[^1]。 - 如果目标网站有反爬机制（如验证码、IP 限制等），可能需要使用代理或模拟浏览器行为。 --- ###