### 使用 Python 和 jieba 库爬取新闻网站内容并生成中文词云图 以下是完整的代码模板，展示了如何利用 `requests` 获取网页内容、`BeautifulSoup` 解析 HTML 数据、`jieba` 中文分词以及 `WordCloud` 绘制词云图。 #### 安装依赖库 在运行代码之前，请确保安装所需的库： ```bash pip install requests beautifulsoup4 jieba wordcloud matplotlib ``` #### 完整代码实现 以下是一个详细的代码示例： ```python import requests from bs4 import BeautifulSoup import jieba from wordcloud import WordCloud import matplotlib.pyplot as plt from collections import Counter # Step 1: 爬取新闻网站的内容 def fetch_news_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') paragraphs = soup.find_all('p') # 提取所有的<p>标签内的文本 content = ''.join([para.get_text(strip=True) for para in paragraphs]) return content else: raise Exception(f"Failed to retrieve data from {url}. Status code: {response.status_code}") # Step 2: 对获取的文本进行分词处理 def process_text(text): words = jieba.lcut(text) # 使用结巴分词对文本进行分割 filtered_words = [word for word in words if len(word.strip()) > 1 and not is_stop_word(word)] return filtered_words # 停用词过滤函数 def load_stopwords(): with open('stopwords.txt', 'r', encoding='utf-8') as f: stopwords = set(line.strip() for line in f.readlines()) return stopwords def is_stop_word(word): stopwords = load_stopwords() return word in stopwords or any(char.isdigit() for char in word) # Step 3: 构建词频统计表 def build_word_frequency(words): word_count = Counter(words) most_common_words = dict(word_count.most_common(100)) return most_common_words # Step 4: 绘制词云图 def generate_word_cloud(word_freq_dict): wc = WordCloud( font_path='/path/to/simhei.ttf', # 替换为本地支持中文的字体路径 width=800, height=600, background_color='white', max_words=100, colormap='viridis' # 调整颜色映射方案 ) wc.generate_from_frequencies(word_freq_dict) plt.figure(figsize=(10, 8)) plt.imshow(wc, interpolation='bilinear') plt.axis('off') plt.title("新闻热点词云", fontsize=20) plt.show() # 主程序入口 if __name__ == "__main__": url = "https://example.com/news" # 将此处替换为目标新闻网站URL try: news_content = fetch_news_content(url) segmented_words = process_text(news_content) word_freq = build_word_frequency(segmented_words) generate_word_cloud(word_freq) except Exception as e: print(f"An error occurred: {e}") ``` --- ### 关键点说明 1. **爬虫部分** 利用了 `requests` 发起 HTTP 请求，并通过 `BeautifulSoup` 解析 HTML 文档结构。提取 `<p>` 标签中的纯文本作为目标数据[^1]。 2. **中文分词** 结合 `jieba` 实现了对中文文本的有效分词操作。为了提高准确性，还引入了一个停用词列表去除无关词汇[^2]。 3. **词频统计与筛选** 使用 `collections.Counter` 计算词语频率，并选取排名靠前的部分构建最终的数据集[^3]。 4. **词云生成** 配置了多种参数优化视觉效果，例如指定字体路径以支持中文显示、调整尺寸和背景色等属性[^4]。 --- ###