使用Python进行评论爬取有多种方法，以下结合不同场景给出相应教程： ### 从普通网站爬取评论 对于普通网站，可使用`requests`库发送HTTP请求获取网页内容，再用`BeautifulSoup`库解析HTML并提取评论内容。示例代码如下： ```python import requests from bs4 import BeautifulSoup # 发送HTTP请求，获取网页内容 url = 'https://example.com' # 替换为要爬取的网站URL response = requests.get(url) html_content = response.text # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_content, 'html.parser') # 查找评论元素，并提取评论内容 comments = soup.find_all('div', class_='comment') # 替换为评论元素的选择器 for comment in comments: comment_text = comment.text.strip() print(comment_text) ``` 此代码先向目标网站发送请求获取HTML内容，再用`BeautifulSoup`解析HTML，最后通过指定的选择器查找评论元素并提取评论内容[^1]。 ### 爬取小红书笔记评论 爬取小红书评论时，需发送请求获取JSON格式的评论数据并提取所需信息。示例代码如下： ```python import requests # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Accept': 'application/json', 'Content-Type': 'application/json' } # API请求URL（需要根据实际情况替换） url = 'https://www.xiaohongshu.com/api/comments?note_id=xxx&page=1' # 发起请求，获取评论数据 response = requests.get(url, headers=headers) comments = response.json() # 打印评论数据 for comment in comments['data']: username = comment.get('username') comment_text = comment.get('text') print(f"用户名：{username}") print(f"评论内容：{comment_text}") ``` 该代码通过设置请求头模拟浏览器访问，向小红书API发送请求获取评论数据，以JSON格式解析响应并提取用户名和评论内容[^2]。 ### Ajax异步爬取评论（以B站评论区为例） 当遇到数据随用户下拉逐步加载（使用了Ajax）的情况，需采用异步爬取方法。虽然引用中未给出完整代码，但思路是分析Ajax请求的URL和参数，模拟请求获取数据。 ### 爬取京东评论 爬取京东评论可爬取前50页评论数据（每种商品500条），爬取字段为`id`、`content`和`creationTime`，并将结果保存为CSV文件。代码可参考以下思路： ```python import requests import csv # 爬取前50页评论 for page in range(1, 51): # 构造请求URL，需根据实际情况修改 url = f'https://example.jd.com/comments?page={page}' response = requests.get(url) comments = response.json() # 保存评论数据到CSV文件 with open('comments.csv', 'a', newline='', encoding='utf-8') as csvfile: fieldnames = ['id', 'content', 'creationTime'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) # 写入表头（仅第一页时写入） if page == 1: writer.writeheader() for comment in comments: writer.writerow({ 'id': comment.get('id'), 'content': comment.get('content'), 'creationTime': comment.get('creationTime') }) ``` 此代码通过循环爬取前50页评论数据，将数据保存到CSV文件中，方便后续分析[^4]。