### 使用 Selenium 抓取小红书动态内容并完成登录操作 #### 一、准备工作 在开始编写代码之前，需确保已完成以下准备事项： 1. 安装 Chrome 浏览器及其对应的 WebDriver，并将其路径添加到系统的环境变量中[^2]。 2. 确保安装了必要的 Python 库，例如 `selenium` 和 `pymysql`（如果需要将数据存入 MySQL 数据库）。 #### 二、实现登录过程 由于小红书具有较强的反爬机制，直接通过脚本模拟登录可能面临验证码或二维码扫描等问题。因此建议先手动登录并将 Cookies 导出保存下来，后续每次运行脚本时加载这些 Cookies 来跳过登录流程。 ```python from selenium import webdriver import pickle import time # 初始化 WebDriver driver = webdriver.Chrome() def save_cookies(): """ 登录后保存 cookies """ driver.get("https://www.xiaohongshu.com/") print("请手动完成登录...") while True: if input("是否已经登录成功? (y/n): ") == 'y': break # 获取当前所有的cookies 并序列化存储起来 with open("xiaohongshu_cookies.pkl", "wb") as f: pickle.dump(driver.get_cookies(), f) def load_and_apply_cookies(): """ 加载本地 cookies 文件并应用到新的 session 上""" driver.get("https://www.xiaohongshu.com/") try: with open("xiaohongshu_cookies.pkl", "rb") as f: cookies = pickle.load(f) for cookie in cookies: driver.add_cookie(cookie) driver.refresh() # 刷新页面使 cookies 生效 except Exception as e: print(f"加载Cookies失败:{e}") ``` 调用函数顺序如下： - 首次运行时调用 `save_cookies()` 函数； - 后续无需再次登录的情况下可以直接调用 `load_and_apply_cookies()` 函数来恢复之前的会话状态[^1]。 #### 三、分页抓取内容 假设每一页都有固定的 URL 参数控制翻页行为，则可以通过修改该参数依次访问不同页面的数据；如果没有明显的规律可循，则尝试点击下一页按钮直至达到目标数量为止。 ```python def fetch_content(pages=10): results = [] current_page = 1 while current_page <= pages: posts = driver.find_elements(By.XPATH, '//article[@data-note-id]') for post in posts: title = post.find_element(By.TAG_NAME, 'h3').text.strip() author = post.find_element(By.CLASS_NAME, 'user-name').text.strip() likes = int(post.find_element(By.CSS_SELECTOR, '.like-count span').get_attribute('innerText')) comments_count = int(post.find_element(By.CSS_SELECTOR, '.comments-count span').get_attribute('innerText')) result_item = { 'title': title, 'author': author, 'likes': likes, 'comments_count': comments_count } results.append(result_item) next_button = None try: next_button = driver.find_element(By.LINK_TEXT, '>') # 查找下一个链接 except NoSuchElementException: pass if not next_button or ('disabled' in next_button.get_attribute('class')): print("无法找到更多页面") break next_button.click() time.sleep(3) # 给予足够的时间让新页面渲染完毕 current_page += 1 return results ``` 最后一步是启动整个程序逻辑： ```python if __name__ == "__main__": load_and_apply_cookies() all_data = fetch_content(pages=10) print(all_data[:5]) # 打印前五个条目作为示例输出 ``` --- ### 总结 上述方法展示了如何利用 Selenium 实现自动化的网页浏览与数据采集工作流，同时解决了登录环节中的复杂性问题。对于大规模批量处理任务来说，还可以进一步优化性能表现，比如异步请求代替同步阻塞式等待等技术手段的应用[^4]。