### 古典诗文网爬虫实现方案 为了从古典诗文网下载中国古代经典文集或诗词曲合集，可以按照以下方法编写 Python 爬虫程序。此过程涉及网页请求、HTML 解析以及数据保存等操作。 #### 1. 使用 `requests` 和 `BeautifulSoup` 获取页面内容 可以通过 `requests` 库发送 HTTP 请求获取目标网页的内容，并使用 `BeautifulSoup` 对 HTML 进行解析提取所需的数据[^1]。 ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') return soup else: raise Exception(f"Failed to load page {url}, status code: {response.status_code}") ``` #### 2. 提取诗词列表 假设目标网站的结构允许直接抓取诗词链接或者具体内容，则需要定位对应的 HTML 元素来提取这些信息。通常会查找 `<div>` 或者 `<a>` 标签下的特定类名或 ID 来找到诗词名称及其 URL 链接[^1]。 ```python def extract_poems(soup): poems = [] poem_links = soup.find_all('a', class_='poem-title') # 假设这是包含诗歌标题的标签 for link in poem_links: title = link.text.strip() url = link['href'] poems.append({'title': title, 'url': url}) return poems ``` #### 3. 下载并保存诗词内容 针对每首诗词的具体页面，进一步访问其详情页以获取完整的正文部分，并将其写入文件或其他存储介质中。 ```python def download_poem(poem_url): detail_soup = fetch_page(poem_url) content_div = detail_soup.find('div', id='poem-content') # 替换为实际容器ID if not content_div: return None lines = [line.strip() for line in content_div.stripped_strings] return '\n'.join(lines) def save_to_file(filename, text): with open(filename, mode="w", encoding="utf-8") as file: file.write(text) ``` #### 4. 主函数逻辑控制流程 将上述功能组合起来形成最终的应用入口点，遍历多个类别或作者主页逐步积累更多资源。 ```python if __name__ == "__main__": base_url = "https://www.gudianshiwen.com/" # 示例网址，请替换为目标站点的真实地址 main_soup = fetch_page(base_url) all_poems = extract_poems(main_soup) for idx, poem_info in enumerate(all_poems[:10]): # 测试仅限前十条记录 try: full_text = download_poem(poem_info["url"]) if full_text: filename = f"{idx}_{poem_info['title']}.txt" save_to_file(filename, full_text) print(f"Saved {filename}") except Exception as e: print(f"Error processing {poem_info}: {e}") ``` 以上代码片段展示了基本框架和技术要点，但具体实现细节取决于目标网站的实际布局情况，可能需调整选择器路径等内容匹配真实环境需求。 ---