### Python 爬虫 携程 哈尔滨 旅游景点 用户评论 数据抓取代码 为了实现从携程网站上抓取哈尔滨旅游景点用户的评论数据，可以采用 `Selenium` 和 `Requests` 库相结合的方式。考虑到目标页面可能使用 POST 请求来加载更多评论内容，并且动态加载 JavaScript 渲染的内容，因此选择 Selenium 来模拟真实浏览器行为是非常合适的。 #### 使用 Selenium 抓取评论 下面是一个基于 Selenium 的简单例子，该脚本会启动 Edge 浏览器实例访问指定 URL 并提取所需的信息： ```python from selenium import webdriver from selenium.webdriver.common.by import By import time def get_comments(url): options = webdriver.EdgeOptions() driver = webdriver.Edge(options=options) try: driver.get(url) # 等待页面完全加载完毕 time.sleep(5) comments_section = [] while True: comment_elements = driver.find_elements(By.CSS_SELECTOR, '.comment_item') for element in comment_elements: text = element.text.strip() if text not in comments_section and text != '': comments_section.append(text) next_button = driver.find_element(By.XPATH, '//a[@class="next"]') if 'disabled' in next_button.get_attribute('class'): break next_button.click() time.sleep(3) # 给予足够的时间让新一页加载完成 return comments_section finally: driver.quit() url = "http://www.ctrip.com/travel/destination/harbin" comments = get_comments(url)[^1] for idx, cmt in enumerate(comments[:10], start=1): # 打印前十个评论作为示例 print(f"{idx}. {cmt}") ``` 这段代码定义了一个函数 `get_comments()` ，它接收一个网址参数并返回所有找到的评论列表。这里假设每个评论项都有 `.comment_item` 类名；实际应用时需根据具体网页结构调整 CSS Selector 或 XPath 表达式匹配到正确的 HTML 结构[^2]。 需要注意的是，在某些情况下，特别是当涉及到分页机制或者其他复杂的交互逻辑时，上述简单的点击下一页按钮的方法可能会遇到困难。此时应该更加深入研究目标站点的具体工作原理以及其 API 接口设计，必要时候改用更高效的 HTTP 请求方式直接向服务器发送请求获取 JSON 格式的原始数据[^3]。