### 使用 Python 编写爬虫程序抓取携程网景点页面评论 为了实现从指定 URL 抓取携程旅行网景点页面的评论内容，可以采用 Selenium 库配合 WebDriver 来模拟浏览器行为加载动态生成的内容。下面是一个完整的解决方案： #### 安装依赖库 首先安装所需的 Python 包： ```bash pip install selenium requests pandas ``` #### 导入必要的模块并配置环境 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time import pandas as pd ``` #### 设置 Edge 浏览器驱动路径及初始化 WebDriver 实例 ```python # 配置Edge选项 options = webdriver.EdgeOptions() options.add_argument('--headless') # 启动无头模式 driver_path = 'msedgedriver.exe' # 将此替换为本地 msedgedriver 的绝对路径 browser = webdriver.Edge(executable_path=driver_path, options=options) ``` #### 访问目标网页并提取评论信息 ```python url = "https://you.ctrip.com/sight/guilin28/107505.html" browser.get(url) time.sleep(3) # 等待页面完全加载 comments_list = [] while True: try: comments_elements = browser.find_elements(By.CSS_SELECTOR, '.comment_item') for comment_element in comments_elements: user_name = comment_element.find_element(By.CLASS_NAME, 'name').text.strip() content = comment_element.find_element(By.CLASS_NAME, 'content').text.strip() single_comment = { '用户名': user_name, '评论内容': content } comments_list.append(single_comment) next_button = browser.find_element(By.LINK_TEXT, '下一页') if not next_button.is_enabled(): break next_button.click() time.sleep(2) # 给予足够的时间让新页签载入 except Exception as e: print(f"发生错误 {str(e)}") break df_comments = pd.DataFrame(comments_list) print(df_comments.head()) ``` 上述代码通过循环点击“下一页”按钮实现了分页读取所有可用评论的功能[^1]。