### Python 爬取携程网站济南旅游评论的代码实现 以下是一份针对携程网上的济南旅游景点评论数据爬取的代码示例。该代码主要依赖于 `requests` 和 `BeautifulSoup` 进行静态网页内容抓取，同时也考虑到了可能存在的反爬机制。 #### 1. 使用 `requests` 和 `BeautifulSoup` 抓取携程评论 携程网站通常会将评论内容嵌套在特定的 HTML 标签中，因此可以通过解析这些标签来提取所需的评论信息。 ```python import requests from bs4 import BeautifulSoup def crawl_ctrip_reviews(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36', 'Referer': 'https://www.ctrip.com/' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Request failed with status code {response.status_code}") soup = BeautifulSoup(response.text, 'html.parser') reviews = [] review_blocks = soup.select('.comment_item') # 假设评论块类名为.comment_item for block in review_blocks: username = block.select_one('.username').get_text(strip=True) if block.select_one('.username') else "匿名用户" comment = block.select_one('.content').get_text(strip=True) if block.select_one('.content') else "" rating = block.select_one('.rating').get('data-score') if block.select_one('.rating') else None date = block.select_one('.date').get_text(strip=True) if block.select_one('.date') else "" reviews.append({ 'username': username, 'comment': comment, 'rating': rating, 'date': date }) return reviews # 调用函数 url = "https://hotels.ctrip.com/tour/jinan-attractions-reviews.html?page=1" # 替换为目标 URL reviews = crawl_ctrip_reviews(url) for idx, review in enumerate(reviews[:5], start=1): # 显示前五条评论 print(f"{idx}. 用户名: {review['username']}, 评分: {review['rating']}, 时间: {review['date']} \n评论: {review['comment']}\n") ``` 上述代码实现了对携程网站上某一具体页面内的评论数据进行抓取的功能[^1]。需要注意的是，实际部署时应调整 CSS Selectors 或 XPath 表达式以适配目标页面的具体结构变化。 --- #### 2. 处理分页逻辑 如果需要获取多个页面的评论数据，则可以在原有基础上扩展分页功能： ```python def crawl_multiple_pages(base_url, num_pages): all_reviews = [] for page_num in range(1, num_pages + 1): current_url = f"{base_url}?page={page_num}" try: reviews_on_page = crawl_ctrip_reviews(current_url) all_reviews.extend(reviews_on_page) print(f"成功抓取第{page_num}页评论...") except Exception as e: print(f"抓取第{page_num}页失败: {e}") return all_reviews # 调用函数 base_url = "https://hotels.ctrip.com/tour/jinan-attractions-reviews.html" num_pages = 3 # 设置要抓取的总页数 all_reviews = crawl_multiple_pages(base_url, num_pages) print(f"\n总共抓取了 {len(all_reviews)} 条评论.") ``` 此部分代码通过循环调用单页抓取函数完成多页数据采集工作，并加入了异常处理机制以增强稳定性[^1]。 --- #### 3. 存储数据至本地文件 最后可将收集到的数据导出为 JSON 文件或其他格式方便进一步分析使用： ```python import json def save_reviews_to_json(data, filename="ctrip_reviews.json"): with open(filename, mode='w', encoding='utf-8') as file: json.dump(data, file, ensure_ascii=False, indent=4) save_reviews_to_json(all_reviews) print(f"已将所有评论保存至 '{filename}' 中.") ``` 这样就完成了从网络请求、HTML 解析到最后的结果存储整个流程的设计与实施[^1]。 --- ### 注意事项 由于互联网服务提供商可能会更新其前端展示样式或者增加更多的安全防护措施（如验证码验证），所以在正式应用之前建议先手动查看目标网址的实际布局情况再做相应修改调试[^2]。