### 使用 Selenium 爬取电商网站热门产品评论并进行文本分析 #### 1. 安装依赖库 在开始之前，需要确保已安装必要的 Python 库。可以通过以下命令安装所需的库： ```bash pip install selenium beautifulsoup4 pandas matplotlib nltk scikit-learn ``` #### 2. 配置 WebDriver Selenium 的核心功能依赖于 WebDriver，可以选择 Chrome 或 Firefox 浏览器作为驱动程序。以下是两种常见配置方式： ##### (1) ChromeDriver 配置 下载对应版本的 [ChromeDriver](https://sites.google.com/a/chromium.org/chromedriver/downloads)，并将路径设置到环境变量中或直接指定路径。 代码示例： ```python from selenium import webdriver driver_path = '/path/to/chromedriver' options = webdriver.ChromeOptions() options.add_argument('--headless') # 可选：无头模式运行 driver = webdriver.Chrome(executable_path=driver_path, options=options) ``` ##### (2) GeckoDriver 配置 如果更倾向于使用 Firefox，则需先安装 [GeckoDriver](https://github.com/mozilla/geckodriver/releases) 并完成相应配置。 代码示例： ```python from selenium import webdriver driver_path = '/path/to/geckodriver' options = webdriver.FirefoxOptions() options.add_argument('--headless') # 可选：无头模式运行 driver = webdriver.Firefox(executable_path=driver_path, options=options) ``` #### 3. 访问目标页面并提取数据 通过 Selenium 加载目标页面，并模拟用户行为（如点击分页按钮）。针对动态加载的内容，可等待特定元素完全渲染后再提取数据。 代码示例： ```python import time from bs4 import BeautifulSoup def fetch_reviews(driver, product_url): reviews_data = [] driver.get(product_url) time.sleep(5) # 等待页面加载 while True: soup = BeautifulSoup(driver.page_source, 'html.parser') # 提取评论内容、评分和其他信息 review_blocks = soup.select('.comment-item') # 假设这是评论区块的选择器 for block in review_blocks: content = block.find('div', class_='content').text.strip() if block.find('div', class_='content') else '' rating = int(block['data-rating']) if 'data-rating' in block.attrs else None user_info = block.find('span', class_='user-info').text.strip() if block.find('span', class_='user-info') else '' reviews_data.append({ 'content': content, 'rating': rating, 'user_info': user_info }) # 查找下一页按钮 next_button = driver.find_elements_by_css_selector('.next-page-button') if not next_button or 'disabled' in next_button[0].get_attribute('class'): break next_button[0].click() time.sleep(3) # 等待新页面加载 return reviews_data ``` #### 4. 数据预处理与情感分析 利用 `nltk` 和 `scikit-learn` 进行情感分类模型训练或直接应用现成的情感词典工具。 代码示例： ```python import pandas as pd from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report # 构建 DataFrame df = pd.DataFrame(reviews_data) # 文本向量化 vectorizer = TfidfVectorizer(max_features=5000, stop_words='english') X = vectorizer.fit_transform(df['content']) y = df['rating'].apply(lambda r: 'positive' if r >= 4 else ('neutral' if r == 3 else 'negative')) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 模型训练 model = MultinomialNB() model.fit(X_train, y_train) # 性能评估 predictions = model.predict(X_test) print(classification_report(y_test, predictions)) ``` #### 5. 结果可视化 绘制柱状图展示不同情绪类别的分布情况。 代码示例： ```python import matplotlib.pyplot as plt sentiment_counts = df['predicted_sentiment'].value_counts() plt.figure(figsize=(8, 6)) sentiment_counts.plot(kind='bar', color=['green', 'blue', 'red'], alpha=0.7) plt.title('Sentiment Distribution of Product Reviews') plt.xlabel('Sentiment Category') plt.ylabel('Count') plt.xticks(rotation=0) plt.show() ``` --- ### 注意事项 - 动态加载的数据可能隐藏在 JSON API 中，可通过开发者工具查看网络请求地址[^1]。 - 如果遇到反爬机制，考虑增加随机延迟时间或更换 IP 地址池[^2]。 - Selenium 虽然强大但效率较低，在大规模采集场景下推荐结合 Requests 和 Beautiful Soup 处理静态 HTML 页面[^3]。