### 爬取拼多多红富士苹果商品评价的Python代码 以下是一个基于Python的爬虫代码示例，用于抓取拼多多平台上关于红富士苹果的商品评价。此代码使用了`requests`和`BeautifulSoup`库来解析网页内容，并结合正则表达式提取所需数据。需要注意的是，爬取过程中可能需要处理动态加载的内容，因此可以考虑使用`Selenium`或其他工具模拟浏览器行为。 ```python import requests from bs4 import BeautifulSoup import re import json # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 目标URL（需替换为实际商品页面） base_url = "https://mobile.yangkeduo.com/goods.html?goods_id=123456" # 示例URL，请替换为实际商品ID # 发送请求获取网页内容 response = requests.get(base_url, headers=headers) if response.status_code == 200: html_content = response.text else: print("请求失败，状态码：", response.status_code) exit() # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_content, 'html.parser') # 查找评价相关的JSON数据（通常嵌套在<script>标签中） script_tags = soup.find_all('script') evaluation_data = None for script in script_tags: if script.string and '评价' in script.string: try: # 提取JSON格式的数据 data = re.search(r'({.*})', script.string).group(0) evaluation_data = json.loads(data) break except Exception as e: print("解析JSON失败：", e) # 检查是否成功提取到评价数据 if evaluation_data: # 遍历并提取所需字段 for comment in evaluation_data.get('comments', []): small_category = comment.get('small_category', '') # 商品小分类名称 product_name = comment.get('product_name', '') # 商品名称 total_comments = comment.get('total_comments', 0) # 商品总评论数量 good_rate = comment.get('good_rate', 0) # 商品好评率 star_rating = comment.get('star_rating', 0) # 评论星级 comment_length = len(comment.get('content', '')) # 评论长度 likes = comment.get('likes', 0) # 评论点赞数量 replies = comment.get('replies', 0) # 评论回复数量 content = comment.get('content', '') # 评论文本内容 user_level = comment.get('user_level', '') # 评论者等级 days_diff = comment.get('days_diff', 0) # 评论发表距抓取的天数 # 打印提取的信息 print(f"商品小分类名称: {small_category}") print(f"商品名称: {product_name}") print(f"总评论数量: {total_comments}") print(f"好评率: {good_rate}%") print(f"评论星级: {star_rating}星") print(f"评论长度: {comment_length}字符") print(f"评论点赞数量: {likes}") print(f"评论回复数量: {replies}") print(f"评论文本内容: {content}") print(f"评论者等级: {user_level}") print(f"评论发表距抓取的天数: {days_diff}天") # 如果存在追评信息 after_comment = comment.get('after_comment', {}) if after_comment: after_content = after_comment.get('content', '') after_days_diff = after_comment.get('days_diff', 0) print(f"追评文本内容: {after_content}") print(f"追评与初评相距时间: {after_days_diff}天") print("-" * 30) else: print("未找到评价数据") ``` ### 注意事项 - 上述代码假设评价数据以JSON格式嵌套在网页的`<script>`标签中。如果目标网站采用动态加载方式，则需要进一步分析其API接口或使用`Selenium`等工具。 - 在爬取过程中，请遵守目标网站的`robots.txt`规则以及相关法律法规[^2]。 - 若目标网站频繁更新其页面结构，可能需要定期调整解析逻辑。