### 爬取《逆命相师》前50章并存储到TXT或MySQL 在爬取纵横中文网小说《逆命相师》的前50章内容时，需要遵循以下步骤：使用Python编写爬虫程序，获取目标网页中的章节内容，并将数据保存至TXT文件或MySQL数据库中。以下是详细的实现方式。 #### 数据采集部分 为了从网站上提取数据，可以使用`requests`库来发送HTTP请求，以及`BeautifulSoup`库解析HTML文档。需要注意的是，爬取过程中应遵守目标网站的`robots.txt`规则，避免对服务器造成过大的访问压力[^1]。 ```python import requests from bs4 import BeautifulSoup def fetch_chapter(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') chapter_title = soup.find('h1').text.strip() chapter_content = soup.find('div', {'class': 'content'}).text.strip() return chapter_title, chapter_content ``` #### 存储到TXT文件 将爬取到的数据保存为TXT文件，每章内容以标题和正文的形式写入文件。 ```python def save_to_txt(chapters, filename="逆命相师.txt"): with open(filename, "w", encoding="utf-8") as file: for title, content in chapters: file.write(f"{title}\n\n{content}\n\n{'='*40}\n\n") ``` #### 存储到MySQL数据库 若选择将数据存储到MySQL数据库中，则需要先安装`pymysql`库，并创建相应的表结构以适应存储需求。例如，可以设计一个包含章节编号、标题和内容字段的表。 ```sql CREATE TABLE IF NOT EXISTS novel ( id INT AUTO_INCREMENT PRIMARY KEY, chapter_number INT NOT NULL, chapter_title VARCHAR(255) NOT NULL, chapter_content TEXT NOT NULL ); ``` 以下是将数据插入MySQL的代码示例： ```python import pymysql def save_to_mysql(chapters, db_config): connection = pymysql.connect( host=db_config['host'], user=db_config['user'], password=db_config['password'], database=db_config['database'], charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor ) try: with connection.cursor() as cursor: for idx, (title, content) in enumerate(chapters, start=1): sql = "INSERT INTO novel (chapter_number, chapter_title, chapter_content) VALUES (%s, %s, %s)" cursor.execute(sql, (idx, title, content)) connection.commit() finally: connection.close() ``` #### 主程序逻辑 整合上述功能模块，主程序负责调用各个子函数完成整个流程。 ```python def main(): base_url = "https://www.zongheng.com/book/XXXXX/chapter/" # 替换为实际URL chapters = [] for i in range(1, 51): # 假设前50章的URL可以通过简单数字递增构造 url = f"{base_url}{i}.html" title, content = fetch_chapter(url) chapters.append((title, content)) # 保存到TXT文件 save_to_txt(chapters) # 或者保存到MySQL数据库 db_config = { 'host': 'localhost', 'user': 'root', 'password': 'your_password', 'database': 'novel_storage' } save_to_mysql(chapters, db_config) if __name__ == "__main__": main() ```