爬取京东商城商品信息可以使用 Python 结合相关库来实现，以下是一个基本的爬取流程和示例代码： ### 1. 安装必要的库 需要安装`requests`用于发送 HTTP 请求，`BeautifulSoup`用于解析 HTML 页面。可以使用以下命令进行安装： ```bash pip install requests beautifulsoup4 ``` ### 2. 分析京东商品页面 在开始爬取之前，需要分析京东商品页面的结构，找到商品信息所在的 HTML 标签和属性。 ### 3. 编写代码 以下是一个简单的示例代码，用于爬取京东搜索结果页面的商品信息： ```python import requests from bs4 import BeautifulSoup # 搜索关键词 keyword = "手机" # 构造搜索 URL url = f"https://search.jd.com/Search?keyword={keyword}" # 设置请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求 response = requests.get(url, headers=headers) # 检查响应状态码 if response.status_code == 200: # 解析 HTML 页面 soup = BeautifulSoup(response.text, 'html.parser') # 找到商品列表 products = soup.find_all('li', class_='gl-item') for product in products: try: # 获取商品名称 name = product.find('div', class_='p-name').text.strip() # 获取商品价格 price = product.find('i').text print(f"商品名称: {name}") print(f"商品价格: {price}") print("-" * 50) except AttributeError: continue else: print(f"请求失败，状态码: {response.status_code}") ``` ### 4. 注意事项 - **反爬虫机制**：京东有反爬虫机制，频繁请求可能会导致 IP 被封禁。可以使用代理 IP 来绕过封禁。 - **数据解析**：京东页面结构可能会发生变化，需要根据实际情况调整解析代码。 - **法律合规**：在爬取数据时，需要遵守相关法律法规和网站的使用条款。 ### 5. 扩展功能 - **分页爬取**：可以通过修改 URL 中的页码参数，实现多页数据的爬取。 - **保存数据**：将爬取到的数据保存到文件或数据库中，方便后续分析和使用。