### 使用 Python 爬虫抓取太平洋汽车网用户评价数据 为了有效地从太平洋汽车网站获取用户评论数据，可以采用 Selenium 和 Requests 库相结合的方式。Selenium 能够模拟浏览器行为加载动态页面内容，而 Requests 则适合用于发送 HTTP 请求。 #### 准备工作 确保安装必要的库： ```bash pip install selenium requests pandas beautifulsoup4 ``` 还需要下载对应版本的 WebDriver 并配置环境变量以便于调用 Chrome 浏览器自动化工具。 #### 编写爬虫脚本 创建 `crawl.py` 文件来定义具体的爬取逻辑： ```python import time from bs4 import BeautifulSoup from selenium import webdriver import pandas as pd def init_driver(): options = webdriver.ChromeOptions() options.add_argument('--headless') # 设置无界面模式 driver = webdriver.Chrome(options=options) return driver def get_page_source(url, driver): driver.get(url) time.sleep(3) # 等待页面加载完成 soup = BeautifulSoup(driver.page_source, 'html.parser') return soup def parse_reviews(soup): reviews = [] items = soup.find_all('div', class_='review-item') # 假设这是存储每条评论的 div 的 CSS 类名 for item in items: review_text = item.find('p').get_text(strip=True) rating = float(item.select_one('.rating')['data-score']) if item.select_one('.rating') else None date_posted = item.select_one('.date').text.strip() if item.select_one('.date') else '' reviews.append({ "Review": review_text, "Rating": rating, "DatePosted": date_posted }) return reviews if __name__ == "__main__": start_url = "https://www.pcauto.com.cn/comment/..." # 替换成实际的目标 URL driver = init_driver() try: page_soup = get_page_source(start_url, driver) all_reviews = parse_reviews(page_soup) df = pd.DataFrame(all_reviews) output_file_path = './reviews.csv' df.to_csv(output_file_path, index=False, encoding='utf_8_sig') print(f"Reviews saved to {output_file_path}") finally: driver.quit() ``` 这段代码展示了如何初始化 Webdriver、请求目标网页源码以及解析 HTML 文档中的用户评论部分[^1]。注意这里假设了一些特定的选择器路径 (`class`) 来定位元素；实际情况可能有所不同，需根据具体页面结构调整这些选择器表达式。 此外，在某些情况下，如果遇到反爬机制，则需要考虑加入随机等待时间或更换 IP 地址等方式规避检测[^2]。