由于汽车之家（[https://www.autohome.com.cn](https://www.autohome.com.cn)）是一个大型动态网站，其内容多通过 JavaScript 渲染，并且有反爬机制（如 IP 限制、请求头检测、验证码等），因此直接使用 `requests` + `BeautifulSoup` 可能无法获取完整数据。我们需要使用更高级的工具如 **Selenium** 或 **Playwright** 模拟浏览器行为来抓取数据。 以下是一个使用 **PyCharm 中可运行的 Python 爬虫代码示例**，基于 **Selenium + ChromeDriver** 实现对汽车之家某车型页面的参数、用户评分、口碑等信息的抓取（注意：销售数据和专业评测报告通常受版权保护，需谨慎处理）。 --- ### ✅ 示例目标： 从汽车之家某款车型页面（例如：比亚迪汉 EV）中提取： - 车型名称 - 基本参数（如续航、电机功率） - 用户评分（综合评分） - 口碑摘要（前几条用户评论） > ⚠️ 注意：此项目仅用于学习目的，请遵守网站 `robots.txt` 和相关法律法规，避免高频请求。 --- ## 🐍 完整 PyCharm 可运行代码（Selenium 版） ```python # -*- coding: utf-8 -*- """ 汽车之家爬虫 - 使用 Selenium 抓取车型参数与用户评价 运行环境：PyCharm + Python 3.8+ 依赖库安装命令： pip install selenium lxml 下载 ChromeDriver 并确保版本与 Chrome 浏览器一致： https://sites.google.com/chromium.org/driver/ """ import time import re from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import logging # 配置日志 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') class AutoHomeSpider: def __init__(self, driver_path: str): self.driver_path = driver_path self.driver = None self._init_driver() def _init_driver(self): """初始化 Chrome 浏览器选项""" chrome_options = Options() # 可选：无头模式（后台运行） # chrome_options.add_argument("--headless") chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--no-sandbox") chrome_options.add_argument("--disable-dev-shm-usage") chrome_options.add_argument("--window-size=1920,1080") chrome_options.add_argument( "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36") service = Service(executable_path=self.driver_path) self.driver = webdriver.Chrome(service=service, options=chrome_options) def parse_car_info(self, url: str): """解析具体车型页信息""" logging.info(f"正在访问: {url}") self.driver.get(url) time.sleep(5) # 等待页面加载完成（可优化为显式等待） car_data = {} try: # === 1. 获取车型名称 === title_elem = WebDriverWait(self.driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "div.car-name h1")) ) car_data['car_name'] = title_elem.text.strip() # === 2. 获取厂商指导价 === price_elem = self.driver.find_element(By.CSS_SELECTOR, "div.car-price span") car_data['guide_price'] = price_elem.text.strip() # === 3. 获取综合评分 === try: score_elem = self.driver.find_element(By.CSS_SELECTOR, "div.score em") car_data['overall_score'] = float(score_elem.text.strip()) except: car_data['overall_score'] = None # === 4. 提取基本参数（点击“配置”标签后读取表格）=== # 先点击“参数/配置”标签 config_tab = WebDriverWait(self.driver, 10).until( EC.element_to_be_clickable((By.LINK_TEXT, "参数/配置")) ) config_tab.click() time.sleep(3) # 查找基础参数表中的关键字段（如纯电续航、电池容量） battery_capacity = self._find_param_by_label("电池容量(kWh)") range_nedc = self._find_param_by_label("纯电续航里程(km)") motor_power = self._find_param_by_label("电动机总功率(kW)") car_data['battery_capacity'] = battery_capacity car_data['range_nedc'] = range_nedc car_data['motor_power'] = motor_power # === 5. 获取用户口碑摘要（跳转到口碑页）=== review_url = url.replace("/spec/", "/koubei/") # 替换路径进入口碑页 self.driver.get(review_url) time.sleep(4) # 提取前几条用户评论 reviews = [] review_elements = self.driver.find_elements(By.CSS_SELECTOR, "div.kb-dec-con p.font-sd") for elem in review_elements[:3]: # 取前三条评论 reviews.append(elem.text.strip()) car_data['user_reviews'] = reviews except Exception as e: logging.error(f"解析过程中出错: {e}") return car_data def _find_param_by_label(self, label_name: str) -> str: """辅助函数：在参数表中根据左侧标签查找右侧值""" try: # 使用 XPath 匹配包含 label 的 td，然后找下一个 sibling xpath = f"//td[contains(text(), '{label_name}')]/following-sibling::td" element = self.driver.find_element(By.XPATH, xpath) return element.text.strip() except: return None def close(self): if self.driver: self.driver.quit() # ======================== # 主程序执行入口 # ======================== if __name__ == "__main__": # 设置你的 chromedriver 路径（必须提前下载并配置好） DRIVER_PATH = r"C:\path\to\chromedriver.exe" # <<< 修改为你本地的路径！ # 比亚迪汉EV某个配置车型页面示例（请替换为实际有效的 spec ID） TARGET_URL = "https://www.autohome.com.cn/spec/40083/" # 比亚迪汉EV 旗舰型 spider = AutoHomeSpider(DRIVER_PATH) try: result = spider.parse_car_info(TARGET_URL) print("\n✅ 抓取结果如下：") for key, value in result.items(): print(f"{key}: {value}") finally: spider.close() ``` --- ## 🔍 代码说明与解释： | 模块 | 功能 | |------|------| | `Selenium` | 控制真实浏览器模拟用户操作，绕过 JS 加载问题 | | `WebDriverWait` | 显式等待元素出现，提高稳定性 | | `ChromeOptions` | 设置请求头、窗口大小、禁用自动化检测等 | | `_find_param_by_label` | 利用结构化 HTML 表格定位参数值 | | URL 替换逻辑 | `/spec/xxx/` → `/koubei/xxx/` 快速跳转至口碑页 | --- ## ⚠️ 注意事项 1. **反爬策略**： - 汽车之家会检测 Selenium 流量，建议加入延时、随机 User-Agent、IP 代理池。 - 可考虑使用 `undetected-chromedriver` 库进一步隐藏自动化特征。 2. **法律风险**： - 销售数据、专业评测属于敏感或受版权保护内容，不得擅自商用。 - 仅限个人研究用途，遵守 `autohome.com.cn/robots.txt` 3. **维护性建议**： - 页面结构可能变化，XPath/CSS 选择器需要定期更新。 - 推荐结合数据库存储结果（如 SQLite / MongoDB）。 4. **替代方案建议**： - 若允许，优先查看是否有官方 API 或第三方开放平台（如懂车帝开放接口）。 --- ## ✅ 如何在 PyCharm 中运行？ 1. 打开 PyCharm，创建新项目。 2. 安装依赖： ```bash pip install selenium ``` 3. 下载对应版本的 [ChromeDriver](https://chromedriver.chromium.org/)，解压后放于指定路径。 4. 修改代码中的 `DRIVER_PATH` 为你的 `.exe` 文件路径（如 `D:/tools/chromedriver.exe`）。 5. 运行脚本即可看到输出结果。 --- ## 💡 进阶建议 - 使用 `pandas` 导出为 Excel。 - 多线程批量抓取多个车型。 - 结合 NLP 分析用户评论情感倾向。 - 使用 `Scrapy + Splash` 替代 Selenium 提升效率。 ---