### 使用 Python 爬取京东二级页面的商品评论及详细信息 为了实现这一目标，可以按照以下方法构建爬虫程序： #### 1. **环境准备** 确保安装必要的库： ```bash pip install selenium requests beautifulsoup4 lxml ``` #### 2. **工具说明** 主要使用的工具包如下： - `requests`：用于发送 HTTP 请求并获取静态页面内容。 - `selenium`：模拟浏览器行为，处理动态加载的内容。 - `BeautifulSoup` 和 `lxml`：解析 HTML 页面结构。 #### 3. **代码实现** 以下是完整的代码示例，展示如何通过 Selenium 和 Requests 结合来抓取京东商品的评论和详情信息： ```python from bs4 import BeautifulSoup import time from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options def init_driver(): chrome_options = Options() chrome_options.add_argument("--headless") # 隐藏浏览器窗口 service = ChromeService(executable_path="chromedriver.exe") # 替换为你的 chromedriver 路径 driver = webdriver.Chrome(service=service, options=chrome_options) return driver def fetch_product_details(driver, product_url): """ 获取商品详情 """ driver.get(product_url) time.sleep(3) # 等待页面加载完成 soup = BeautifulSoup(driver.page_source, 'lxml') title = soup.find('div', {'class': 'sku-name'}).get_text(strip=True) if soup.find('div', {'class': 'sku-name'}) else None price_element = driver.find_elements(By.CLASS_NAME, "p-price")[0].text.strip() if driver.find_elements(By.CLASS_NAME, "p-price") else None details = { 'title': title, 'price': price_element } return details def fetch_comments(driver, comment_api, page_count=5): """ 抓取多页评论 """ all_comments = [] for i in range(page_count): api_url = f"{comment_api}&page={i}" driver.get(api_url) time.sleep(2) # 等待接口响应 data = driver.execute_script("return JSON.parse(document.body.textContent)") comments = [ {"content": item["content"], "creationTime": item["creationTime"]} for item in data["comments"] ] all_comments.extend(comments) return all_comments if __name__ == "__main__": base_url = "https://item.jd.com/10024680038271.html" comment_api_base = "https://club.jd.com/comment/skuProductPageComments.action?productId=10024680038271&score=0&sortType=5&page=" driver = init_driver() # 获取商品详情 product_info = fetch_product_details(driver, base_url) print(f"商品名称: {product_info['title']} | 商品价格: {product_info['price']}") # 获取前几页评论 comments_data = fetch_comments(driver, comment_api_base, page_count=3) for idx, comment in enumerate(comments_data[:10], start=1): # 打印前十条评论 print(f"[{idx}] 时间: {comment['creationTime']} | 内容: {comment['content']}") driver.quit() ``` 以上代码实现了以下几个功能： - 初始化无头模式下的 Selenium 浏览器实例[^2]。 - 提供了一个函数 `fetch_product_details` 来提取商品基本信息（如标题、价格等）[^1]。 - 定义了另一个函数 `fetch_comments`，它会调用 API 接口逐页抓取评论数据[^3]。 #### 4. **注意事项** - 动态加载的评论通常由 AJAX 实现，因此需要借助 Selenium 模拟真实用户的交互过程。 - 如果遇到反爬机制，可以通过设置请求头部 (`User-Agent`) 或增加延时等方式规避检测[^5]。 - 对于某些特殊字段（如好评率），可能需要进一步调整 XPath 或 CSS Selector 表达式[^4]。 ---