要爬取 https://www.gushiwen.cn/mingjus/ 的名句，然后点击每个名句进入下一个页面来爬取对应的古诗原文，可以按照以下步骤实现： --- ### 所需准备 1. 安装必要的库：`requests` 和 `BeautifulSoup` - 如果尚未安装这些库，请运行以下命令： ```bash pip install requests beautifulsoup4 ``` 2. 弄清楚网页结构： - 首先访问 https://www.gushiwen.cn/mingjus/ - 分析页面的 HTML 结构，定位包含“名句”的标签以及指向详细页的链接。 --- ### 实现代码示例 ```python import requests from bs4 import BeautifulSoup # 设置 User-Agent 模拟浏览器行为 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36' } def get_famous_sentences(url): """ 获取首页的所有名句 """ response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 查找所有名句及其链接 sentence_links = [] sentences_div = soup.find_all('div', class_='cont') # 名句所在的 div 标签 for s in sentences_div: link_tag = s.find('a') if link_tag and '/mingju/' in link_tag['href']: # 确保是名句链接 sentence_link = 'https://so.gushiwen.cn' + link_tag['href'] sentence_links.append(sentence_link) return sentence_links else: print(f"无法访问页面 ({response.status_code})") return [] def extract_poem_detail(poem_url): """ 进入单条名句详情页并提取整首古诗的信息 """ response = requests.get(poem_url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 提取题目 title = soup.find('h1').text.strip() # 提取作者 author = soup.find('p', class_='source').find('a').text.strip() # 提取全文（通常在 <div> 中） content = "" paragraphs = soup.find('div', class_='contson').find_all('p') if len(paragraphs) > 0: # 存在一个或多个段落的情况 for para in paragraphs: content += para.text.strip() + '\n' else: # 单独一个大块文字的情况 content = soup.find('div', class_='contson').get_text(separator='\n').strip() return f"{title}\n{author}\n\n{content}" else: print(f"无法访问页面 ({response.status_code})") return "" if __name__ == '__main__': base_url = 'https://www.gushiwen.cn/mingjus/' famous_sentence_urls = get_famous_sentences(base_url) # 对于每一条名句，进一步获取其完整古诗信息 for idx, url in enumerate(famous_sentence_urls[:5]): # 限制前五个作为测试样例 try: poem_content = extract_poem_detail(url) print('-'*40, end=f"\n第 {idx+1} 条结果:\n") print(poem_content) except Exception as e: print(f"处理失败：{e}") ``` --- ### 主要功能说明 1. **主函数 `get_famous_sentences()`**： - 抓取主页上的所有“名句”链接列表。 2. **辅助函数 `extract_poem_detail()`**： - 访问每一个名句对应的具体页面，并从中抽取完整的古诗内容（包括标题、作者和正文）。 3. **循环遍历**： - 对所有的名句逐一抓取，并打印出它们对应的古诗原文。 --- ### 注意事项 - 在实际项目中需要注意遵守目标站点的服务条款，避免过于频繁地发起请求导致 IP 被封禁。 - 此外还可以加入更复杂的错误处理逻辑及日志记录等功能提升程序稳定性。 ---