### 爬取京东单个电脑商品信息的Python代码示例 在爬取京东网站上的单个电脑商品信息时，通常需要获取如商品名称、价格、评分、评论数等关键信息。由于京东网站采用了动态加载技术，部分数据需要通过AJAX请求获取。以下是一个完整的Python代码示例，使用`requests`和`BeautifulSoup`库来实现这一目标。 首先，需要发送HTTP请求获取商品详情页面的内容，然后解析HTML以提取所需的信息。对于动态加载的数据，可以构造特定的API请求来获取。 #### 安装依赖库 在运行代码之前，请确保安装了`requests`和`BeautifulSoup`库： ```bash pip install requests beautifulsoup4 ``` #### Python代码示例 以下代码展示了如何爬取京东上某个电脑商品的详细信息： ```python import requests from bs4 import BeautifulSoup import json import time # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Referer': 'https://www.jd.com/' } def get_product_info(product_id): # 构造商品详情页URL url = f'https://item.jd.com/{product_id}.html' # 发送GET请求 response = requests.get(url, headers=headers) # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 提取商品名称 product_name = soup.find('h1', class_='sku-name').get_text(strip=True) if soup.find('h1', class_='sku-name') else 'N/A' # 提取商品价格 price_script = soup.find('script', {'ddata-price': True}) price = price_script['ddata-price'] if price_script and 'ddata-price' in price_script.attrs else 'N/A' # 提取商品评分 comment_url = f'https://sclub.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page=0&pageSize=10' comment_response = requests.get(comment_url, headers=headers) # 解析JSON格式的评论数据 comments_data = json.loads(comment_response.text) average_score = comments_data.get('averageScore', 'N/A') # 平均评分 comment_count = comments_data.get('productCommentSummary', {}).get('commentCount', 'N/A') # 评论总数 return { 'product_id': product_id, 'product_name': product_name, 'price': price, 'average_score': average_score, 'comment_count': comment_count } # 示例：爬取商品ID为100008379239的商品信息 product_id = '100008379239' # 替换为你想要爬取的商品ID product_info = get_product_info(product_id) # 打印结果 print(json.dumps(product_info, ensure_ascii=False, indent=4)) ``` #### 代码说明 - **商品名称**：通过解析商品详情页的HTML，找到`<h1>`标签中带有`sku-name`类的部分来提取商品名称。 - **商品价格**：京东的价格信息通常包含在自定义属性`ddata-price`中，可以通过查找具有该属性的`<script>`标签来获取。 - **商品评分与评论数**：京东的评论数据是通过AJAX请求获取的，因此需要构造一个针对评论接口的请求，并解析返回的JSON数据。平均评分和评论数分别来自`averageScore`和`productCommentSummary.commentCount`字段[^4]。 #### 注意事项 - **反爬虫机制**：京东对爬虫有一定的防范措施，频繁请求可能会导致IP被封禁。建议在每次请求之间添加适当的延时（例如`time.sleep(1)`），并尽量减少不必要的请求次数。 - **合法性**：请确保遵守京东的相关规定和法律法规，合法合规地进行数据爬取。未经授权的大规模爬取行为可能违反平台政策或法律条款[^1]。 --- ###