### 爬取京东平台上绿茶榜单前十个商品的在线评论 要使用Python爬取京东平台上绿茶榜单前十个商品的在线评论，可以通过以下步骤实现： #### 1. 获取商品列表 首先需要从京东的绿茶榜单页面获取前十个商品的链接。可以通过`requests`和`BeautifulSoup`解析榜单页面，提取商品链接。榜单页面的URL通常类似于`https://list.jd.com/list.html?cat=...`，具体的URL需要根据实际榜单页面调整。 ```python import requests from bs4 import BeautifulSoup # 获取榜单页面 url = 'https://list.jd.com/list.html?cat=670,671,672' # 示例绿茶榜单页面 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 提取前十个商品的链接 product_links = [] for item in soup.find_all('div', class_='p-name'): link = 'https:' + item.find('a')['href'] product_links.append(link) if len(product_links) >= 10: break ``` #### 2. 获取商品ID 京东的评论数据通常是通过商品ID（`productId`）来获取的。可以通过解析商品页面的URL来提取商品ID。例如，商品页面的URL可能类似于`https://item.jd.com/100012345678.html`，其中`100012345678`是商品ID。 ```python import re # 提取商品ID product_ids = [] for link in product_links: match = re.search(r'(\d+).html', link) if match: product_ids.append(match.group(1)) ``` #### 3. 获取评论数据 京东的评论数据通常是通过AJAX请求获取的。评论数据的API地址通常类似于`https://sclub.jd.com/comment/productPageComments.action?productId=商品ID&score=0&sortType=5&page=0&pageSize=10`。可以通过`requests`发送GET请求获取评论数据。 ```python def fetch_comments(product_id, page=0): url = f'https://sclub.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page={page}&pageSize=10' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0 Safari/537.36' } response = requests.get(url, headers=headers) return response.json() # 获取前十个商品的评论数据 all_comments = [] for product_id in product_ids: comments_data = fetch_comments(product_id) if 'comments' in comments_data: all_comments.extend(comments_data['comments']) ``` #### 4. 数据清洗与存储 获取到评论数据后，可以使用`pandas`进行数据清洗和存储。例如，可以提取评论内容、评分、评论时间等信息，并保存为CSV文件。 ```python import pandas as pd # 提取评论内容、评分、评论时间等信息 comments_list = [] for comment in all_comments: comments_list.append({ 'content': comment['content'], 'score': comment['score'], 'creationTime': comment['creationTime'] }) # 保存为CSV文件 df = pd.DataFrame(comments_list) df.to_csv('green_tea_comments.csv', index=False, encoding='utf-8-sig') ``` #### 5. 评论情感分析 可以使用`SnowNLP`库对评论内容进行情感分析。`SnowNLP`是一个简单的中文自然语言处理库，可以计算评论的情感倾向。 ```python from snownlp import SnowNLP # 对评论内容进行情感分析 def analyze_sentiment(text): s = SnowNLP(text) return s.sentiments # 添加情感分析结果 df['sentiment'] = df['content'].apply(analyze_sentiment) df.to_csv('green_tea_comments_with_sentiment.csv', index=False, encoding='utf-8-sig') ``` ### 注意事项 - **反爬机制**：京东平台有较强的反爬机制，建议在请求中添加合理的`User-Agent`头，并在请求之间添加随机延迟。 - **合法性**：爬取数据时需遵守京东平台的相关规定，避免对服务器造成过大压力。 - **API限制**：部分评论数据可能需要登录或使用更复杂的API请求参数，如`callback`等。 通过以上步骤，可以实现对京东平台上绿茶榜单前十个商品在线评论的爬取、清洗、存储和情感分析。这种方法可以扩展到其他商品或电商平台，只需调整相应的URL和解析逻辑。 --- ###