### 使用Python爬取猫眼电影评论并保存为CSV文件 要实现这一目标，可以通过以下方法完成： #### 1. 导入必要的库 为了处理HTTP请求和解析网页内容，可以使用`requests`库来获取页面数据，以及`BeautifulSoup`或`lxml`库来进行HTML解析。最后，利用`pandas`库将数据存储为CSV文件。 ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` #### 2. 获取猫眼电影评论页的数据 通过发送GET请求访问猫眼电影的评论API接口。通常情况下，猫眼电影会提供JSON格式的API用于加载更多评论数据。以下是模拟请求的一个例子[^1]。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } movie_id = "1280428" # 替换为目标电影ID url = f"https://m.maoyan.com/review/v2/comments.json?movieId={movie_id}&offset=0&limit=20&type=3" response = requests.get(url, headers=headers) data = response.json() comments = data['data']['comments'] ``` #### 3. 解析评论数据 从返回的JSON对象中提取所需的字段，例如用户名、评分、时间戳和评论内容等。 ```python parsed_data = [] for comment in comments: username = comment['nickName'] # 用户名 score = comment['score'] # 评分 content = comment['content'] # 评论内容 time_str = comment['timeStr'] # 时间字符串 parsed_data.append({ 'username': username, 'score': score, 'content': content, 'timestamp': time_str }) ``` #### 4. 将数据保存为CSV文件 使用Pandas DataFrame结构化数据，并调用其`.to_csv()`函数将其导出至本地磁盘。 ```python df = pd.DataFrame(parsed_data) output_file = "maoyan_comments.csv" df.to_csv(output_file, index=False, encoding='utf_8_sig') # utf_8_sig编码解决Excel打开乱码问题 print(f"已成功保存 {len(df)} 条记录到 '{output_file}' 文件中.") ``` 以上代码片段展示了完整的流程，包括网络请求、数据抓取与清洗，最终以标准CSV形式持久化结果[^2]。 #### 注意事项 - **反爬虫机制**：猫眼网站可能设置了严格的反爬策略，因此建议合理设置请求头中的`User-Agent`参数模仿真实浏览器行为。 - **动态加载内容**：部分页面采用Ajax技术异步加载资源，在这种情形下需借助Selenium或其他自动化工具模拟完整浏览过程[^3]。