### 使用 Selenium 抓取网页数据并保存至 CSV 文件 为了实现这一目标，可以按照如下方法编写 Python 脚本。此脚本会启动浏览器实例访问指定网站，提取所需信息，并最终将这些信息存储在一个 CSV 文件中。 #### 安装依赖库 确保安装了必要的 Python 库 `selenium` 和 `pandas` 来处理 Web 自动化以及读写 CSV 文件： ```bash pip install selenium pandas ``` #### 编写抓取逻辑与保存功能 下面是一个简单的例子来展示如何使用 Selenium 进行页面交互获取特定元素的内容，并通过 Pandas 将其存入 CSV 中[^1]。 ```python from selenium import webdriver import time import pandas as pd def setup_driver(): options = webdriver.ChromeOptions() driver = webdriver.Chrome(options=options) return driver def fetch_data(driver, url): data_list = [] try: driver.get(url) while True: items = driver.find_elements_by_css_selector('.weibo-item') # 假设每条微博对应的 CSS 类名为 .weibo-item for item in items: account = item.find_element_by_class_name('account').text post_time = item.find_element_by_class_name('time').get_attribute('title') platform = item.find_element_by_class_name('platform').text content = item.find_element_by_class_name('content').text repost_count = int(item.find_element_by_class_name('repost-count').text or '0') comment_count = int(item.find_element_by_class_name('comment-count').text or '0') like_count = int(item.find_element_by_class_name('like-count').text or '0') original_url = item.find_element_by_tag_name('a').get_attribute('href') entry = { "Account": account, "Post Time": post_time, "Platform": platform, "Content": content[:256], # 只截取前256字符以防过长影响显示效果 "Reposts": repost_count, "Comments": comment_count, "Likes": like_count, "Original URL": original_url } data_list.append(entry) next_button = driver.find_element_by_link_text('下一页') if not next_button.is_enabled() or 'disabled' in next_button.get_attribute('class'): break next_button.click() time.sleep(3) # 等待加载新页面的数据 finally: driver.quit() df = pd.DataFrame(data_list) output_file_path = './output.csv' df.to_csv(output_file_path, index=False, encoding='utf_8_sig') print(f'Data has been saved to {output_file_path}') if __name__ == '__main__': target_url = 'https://example.com/search?keyword=your_keyword&start_date=YYYY-MM-DD&page=1' browser_instance = setup_driver() fetch_data(browser_instance, target_url) ``` 这段代码展示了基本框架，实际应用时可能需要调整选择器路径和其他细节以适应具体的目标站点结构。