### 唐诗数据爬取与可视化分析 #### 数据爬取部分 以下是基于 Python 的唐诗数据爬取示例代码。此代码通过发送 HTTP 请求获取网页内容并解析 HTML 来提取所需的信息。 ```python import requests from bs4 import BeautifulSoup def crawl_tang_poems(url, num_pages=10): poems_data = [] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } for page in range(1, num_pages + 1): response = requests.get(f"{url}?page={page}", headers=headers) soup = BeautifulSoup(response.text, 'html.parser') poem_list = soup.find_all('div', class_='poem') # 修改为实际页面结构中的标签名和属性 for poem in poem_list: title = poem.find('h3').text.strip() author = poem.find('p', class_='author').text.strip() content = poem.find('div', class_='content').text.strip() poems_data.append({ 'title': title, 'author': author, 'content': content }) return poems_data ``` 以上代码实现了从指定 URL 中爬取多个页面上的唐诗信息，并将其存储到列表 `poems_data` 中[^1]。 --- #### 可视化分析部分 对于唐诗数据的可视化分析，可以通过生成词云图来直观展示高频词汇分布情况。以下是一个完整的词云生成示例： ```python from wordcloud import WordCloud import jieba import matplotlib.pyplot as plt def generate_word_cloud(poems_data): all_text = ''.join([item['content'] for item in poems_data]) words = jieba.lcut(all_text) text = ' '.join(words) wc = WordCloud(font_path='simhei.ttf', width=800, height=400, background_color='white').generate(text) plt.figure(figsize=(10, 5)) plt.imshow(wc, interpolation='bilinear') plt.axis("off") plt.show() # 调用函数 tang_poems = crawl_tang_poems("https://example.com/tang-poems", num_pages=5) generate_word_cloud(tang_poems) ``` 该代码片段首先将所有诗歌的内容拼接成一段连续文本，接着使用结巴分词工具对其进行中文分词处理，最后调用 `WordCloud` 类生成词云图像并通过 Matplotlib 展示[^2][^3]。 --- #### 扩展功能：ECharts 图表绘制 为了进一步增强数据分析效果，可以引入 Pyecharts 库创建交互式的图表。例如统计不同作者的作品数量或按朝代分类作品比例等指标。 ```python from pyecharts.charts import Bar from collections import Counter def plot_author_statistics(poems_data): authors = [item['author'] for item in poems_data] counter = Counter(authors).most_common(10) bar = ( Bar(init_opts={"width": "800px", "height": "400px"}) .add_xaxis([name for name, _ in counter]) .add_yaxis("作品数", [count for _, count in counter]) .set_global_opts(title_opts={"text": "唐代诗人作品数量排名前十"}) ) bar.render("authors_statistic.html") plot_author_statistics(tang_poems) ``` 上述脚本会生成一个柱状图，反映唐代著名诗人及其对应创作的数量关系[^4]。 ---