### 编写Python网络爬虫抓取人邮网新书推荐板块的数据 为了实现对人邮网新书推荐板块的数据采集和存储，可以采用 `requests` 和 `BeautifulSoup` 库来完成网页数据的获取与解析工作。以下是具体方法： #### 数据采集部分 通过发送 HTTP 请求访问目标网站页面，并利用 HTML 解析库提取所需的信息。 ```python import requests from bs4 import BeautifulSoup def fetch_new_books(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') books = [] book_items = soup.find_all('div', class_='book-item') # 假设书籍信息位于此类标签下 for item in book_items: title = item.find('h3').text.strip() if item.find('h3') else None author = item.find('span', class_='author').text.strip() if item.find('span', class_='author') else None price = item.find('span', class_='price').text.strip() if item.find('span', class_='price') else None books.append({ 'title': title, 'author': author, 'price': price }) return books raise Exception(f"Failed to retrieve data from {url}. Status code: {response.status_code}") ``` 此函数定义了一个简单的爬虫逻辑，用于从指定 URL 中提取书籍的相关字段（如标题、作者、价格）。注意需要调整 CSS 选择器以匹配实际的人邮网结构[^1]。 #### 数据存储部分 将收集到的数据保存至本地文件或者数据库中以便后续分析使用。 ##### 存储为 JSON 文件 如果希望简单快速地记录结果，则可以选择将其序列化成 JSON 格式的字符串再存入磁盘。 ```python import json def save_to_json(data, filename='new_books.json'): with open(filename, mode='w', encoding='utf-8') as f: json.dump(data, f, ensure_ascii=False, indent=4) books_data = fetch_new_books("https://www.example.com/new-books") # 替换为目标网址 save_to_json(books_data) ``` 上面展示了如何把之前获得的新书列表转换成易于阅读的JSON文档形式持久化下来。 ##### 使用 SQLite 进行关系型管理 对于更复杂的查询需求来说，可能还需要考虑引入轻量级的关系型数据库解决方案比如SQLite来做进一步处理。 ```python import sqlite3 def init_db(db_name="library.db"): conn = sqlite3.connect(db_name) cursor = conn.cursor() create_table_sql = """ CREATE TABLE IF NOT EXISTS new_books ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, author TEXT DEFAULT '', price REAL DEFAULT 0.0 ); """ cursor.execute(create_table_sql) conn.commit() conn.close() def insert_book(book_info, db_name="library.db"): conn = sqlite3.connect(db_name) cursor = conn.cursor() insert_sql = "INSERT INTO new_books(title, author, price) VALUES (?, ?, ?);" cursor.execute(insert_sql, tuple(book_info.values())) conn.commit() conn.close() init_db() for each_book in books_data: insert_book(each_book) ``` 这里先创建好表单模型之后逐一插入每一条有效记录进去[^1]。 ---