要用 `requests` 库爬取笔趣阁网站上《三国演义》的前10章节内容并保存到本地文件 `三国演义.txt` 中，你需要完成以下几个步骤： ### 步骤说明 #### 1. **安装必要的库** 首先需要确保已经安装了 Python 的 `requests` 和 `bs4` (BeautifulSoup) 库。如果未安装可以运行以下命令： ```bash pip install requests beautifulsoup4 ``` #### 2. **分析目标网页结构** 打开笔趣阁的相关页面，找到每章链接以及文本所在的标签位置。 例如假设每一章节的内容都在 `<div class="content">...</div>` 标签内，并且每个章节都有单独的 URL 链接如： https://www.biquge.info/5_5876/... 你可以通过浏览器开发者工具(F12)查看具体的 HTML 结构。 #### 3. **编写Python脚本** 以下是完整的代码示例: ```python import requests from bs4 import BeautifulSoup # 定义请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_chapter(url): """获取单章内容""" response = requests.get(url, headers=headers) if response.status_code == 200: # 假设编码为utf-8，请视实际情况调整 soup = BeautifulSoup(response.text.encode('utf-8'), "html.parser") # 找到文章标题和正文部分(依据实际HTML结构调整选择器） title_tag = soup.find("h1") # 这里假设 h1 是标题标签 content_div = soup.find("div", {"class": "content"}) # 内容块 if title_tag and content_div: title = title_tag.get_text().strip() text_content = "\n".join([p.get_text() for p in content_div.find_all('p')]) return f"{title}\n{text_content}" print(f"无法抓取 {url}") return "" def save_to_file(filename, data): with open(filename, mode='a', encoding='utf-8') as file: file.write(data + '\n\n') if __name__ == "__main__": base_url = "https://example.com/chapters/" # 替换为目标站点的具体URL urls_of_first_ten_chapters = [ f"https://www.example.com/triangle/{i}" for i in range(1, 11)] # 换成真实的章节地址列表 filename = "三国演义.txt" try: with open(filename, mode='w+', encoding='utf-8'): pass # 创建新空文档覆盖原有数据 count_success = 0 for url in urls_of_first_ten_chapters: chapter_data = fetch_chapter(url) if not chapter_data.strip(): continue save_to_file(filename, chapter_data) count_success += 1 print(f"\n成功下载{count_success}个章节至 '{filename}' 文件中.") except Exception as e: print(e) ``` 注意上述例子中的伪代码替换为你真实的目标网址路径等信息。 --- ### 提醒事项 由于反爬虫机制的存在，直接爬取某些网站可能会遇到 IP 封禁、验证码等问题。因此，在使用此脚本之前最好检查一下该网站是否允许爬虫操作（可通过其 robots.txt 或者用户协议了解）。此外建议适当降低频率或加入随机延时避免触发保护措施。