### Python爬虫抓取人民邮电出版社新书推荐类别 为了实现抓取人民邮电出版社的新书推荐类别，可以基于HTTP GET请求获取API返回的数据并解析JSON结构。以下是完整的解决方案： #### 数据源分析 目标网站提供了RESTful API接口用于查询书籍信息。通过观察引用中的代码片段[^2]和实际测试发现，可以通过调整URL参数来分页加载更多数据。 #### 实现方案 以下是一个完整的Python脚本，能够完成从人民邮电出版社获取新书推荐类别的功能，并将结果保存至CSV文件中。 ```python import requests import pandas as pd def fetch_new_books(page=1): """ 获取指定页码的新书推荐列表 :param page: 当前页数，默认第一页 :return: JSON格式的响应数据 """ base_url = "https://www.ptpress.com.cn/bookinfo/wsBookSearch" params = { "rows": 9, # 每页显示数量 "page": page, "keyword": "", # 关键词为空表示不筛选特定关键词 "jc": "" # 其他过滤条件留空 } headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"} response = requests.get(base_url, params=params, headers=headers) if response.status_code != 200: raise Exception(f"Failed to retrieve data from server with status code {response.status_code}") return response.json() def extract_book_info(data): """ 提取每本书的关键字段 :param data: 单条记录的字典形式数据 :return: 字段提取后的元组 """ try: category = data["category"][:data["category"].index(",")] if "," in data["category"] else data["category"] except KeyError: category = None return ( data.get("bookName", ""), # 书名 data.get("author", ""), # 作者 data.get("price", ""), # 价格 data.get("picPath", ""), # 封面图片路径 category # 类别 ) def save_to_csv(filename, books_data): """ 将书籍数据保存到CSV文件 :param filename: 输出文件名称 :param books_data: 要写入的数据集 """ df = pd.DataFrame( books_data, columns=["书名", "作者", "价格", "封面图片路径", "类别"] ) df.to_csv(filename, index=False, encoding="utf_8_sig") if __name__ == "__main__": all_books = [] max_pages = 10 # 假设最多爬取10页作为示例 for current_page in range(1, max_pages + 1): result = fetch_new_books(current_page) rows = result.get("rows", []) for row in rows: extracted_row = extract_book_info(row) all_books.append(extracted_row) output_file = "new_books_recommendations.csv" save_to_csv(output_file, all_books) ``` 此程序分为三个主要部分： 1. **`fetch_new_books`**: 发送GET请求以获取某一页上的所有书籍详情。 2. **`extract_book_info`**: 解析单个书籍对象，从中抽取所需属性（如书名、作者、价格等），特别关注“类别”这一项。 3. **`save_to_csv`**: 使用Pandas库把最终收集好的全部书籍资料导出成CSV文档以便后续查阅或进一步处理。 注意，在运行该脚本之前需安装必要的依赖包 `requests`, `pandas`. 如果尚未安装这些模块，则可通过pip命令安装它们: ```bash pip install requests pandas ``` 此外，考虑到反爬机制的存在，建议适当降低访问频率或者增加随机延时逻辑以免被封禁IP地址。 ---