### Python爬取小说排行榜数据并存储到数据库 要实现通过Python爬取小说排行榜的数据并将其存储到数据库中，可以按照以下方法完成： #### 数据获取部分 为了抓取网络上的公开数据，通常会使用`requests`库来发送HTTP请求，并利用`BeautifulSoup`解析HTML页面中的结构化信息。 以下是基于假设的小说排行榜URL为例的代码片段[^2]： ```python import requests from bs4 import BeautifulSoup def fetch_novel_ranking(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url=url, headers=headers, timeout=10) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') novels = [] items = soup.find_all('div', class_='novel-item') # 假设这是小说项的选择器 for item in items: title = item.find('h2').text.strip() # 获取小说名称 author = item.find('span', class_='author').text.strip() # 获取作者名 ranking = int(item.find('span', class_='rank').text.strip()) # 获取排名 novel_info = {'title': title, 'author': author, 'ranking': ranking} novels.append(novel_info) return novels raise Exception(f"Failed to retrieve data from {url}. Status code: {response.status_code}") ``` 这段代码实现了从小说网站提取所需的信息（如书名、作者和排名），具体选择器需根据实际目标站点调整。 #### 存储至数据库部分 对于将这些数据存入MySQL数据库的操作，推荐采用`pymysql`作为驱动程序。如果连接参数不常变动，则可考虑配置于单独文件或环境变量之中以便管理[^1]。 下面展示了一个简单的例子用于说明如何建立与执行SQL语句向表内插入记录的过程： ```python import pymysql def save_to_database(data_list): connection_params = { 'host': '127.0.0.1', 'user': 'root', 'password': 'root', 'database': 'novels_db', 'charset': 'utf8mb4', 'cursorclass': pymysql.cursors.DictCursor, } try: with pymysql.connect(**connection_params) as conn: with conn.cursor() as cursor: sql_insert_query = """ INSERT INTO `novel_rankings` (`title`, `author`, `ranking`) VALUES (%s, %s, %s); """ for entry in data_list: values = (entry['title'], entry['author'], entry['ranking']) cursor.execute(sql_insert_query, values) conn.commit() except Exception as e: print(f"Error while saving data into database: {e}") ``` 此脚本负责打开一个新的事务，在其中逐条处理传来的字典列表形式的数据集并通过预编译好的查询模板提交给服务器端进行持久化操作；最后记得调用commit确认更改生效。 以上两段逻辑结合起来即可达成整个需求的功能实现路径描述。