### 使用 Python 爬取京东商品评论的源代码示例 以下是基于 `requests` 和 `BeautifulSoup` 的简单示例，用于爬取京东商品评论的数据。需要注意的是，在实际应用中应遵循网站的 robots.txt 文件规定以及相关法律法规。 #### 1. 安装依赖库 在运行代码之前，请先安装所需的第三方库： ```bash pip install requests beautifulsoup4 lxml ``` #### 2. 示例代码 以下代码展示了如何通过请求接口获取京东商品的部分评论数据： ```python import requests from bs4 import BeautifulSoup import json def get_jd_comments(product_id, page=0): """ 获取京东商品评论 :param product_id: 商品ID :param page: 页数，默认第一页 :return: 返回评论列表 """ url = f"https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page={page}&pageSize=10" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to fetch data from JD with status code {response.status_code}") try: data = json.loads(response.text) comments = data['comments'] result = [] for comment in comments: item = { 'content': comment['content'], # 评论内容 'creationTime': comment['creationTime'], # 创建时间 'nickname': comment['nickName'] # 用户昵称 } result.append(item) return result except KeyError as e: print(f"Parsing error: Missing key {e}") if __name__ == "__main__": product_id = "100008236634" # 替换为具体商品ID comments = get_jd_comments(product_id, page=0) for idx, comment in enumerate(comments[:5]): print(f"{idx + 1}. Nickname: {comment['nickname']} | Time: {comment['creationTime']} | Content: {comment['content']}") ``` 此代码片段实现了对指定商品 ID 的评论抓取功能，并提取了用户的昵称、评论时间和具体内容[^1]。 --- #### 3. 注意事项 - **反爬机制**：京东可能针对频繁访问设置 IP 封禁或其他防护措施。建议合理控制请求频率，或者使用代理池来规避风险。 - **动态加载**：如果某些页面采用 JavaScript 动态渲染，则需借助 Selenium 或 Playwright 工具模拟真实浏览器行为[^4]。 - **合法性**：务必确认自己的用途符合平台的服务条款和国家法律要求。 --- #### 4. 数据处理与存储 可以进一步扩展程序的功能，比如将收集到的信息保存至本地文件或数据库中。下面是一段简单的 CSV 存储逻辑作为补充说明： ```python import csv def save_to_csv(data, filename="jd_comments.csv"): keys = ['nickname', 'creationTime', 'content'] with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=keys) writer.writeheader() writer.writerows(data) # 调用函数保存结果 save_to_csv(comments) print("Data has been saved successfully!") ``` 以上方法可方便后续分析工作开展[^3]。 ---