### 使用 Python 爬虫处理 JavaScript 渲染的网页 对于包含 JavaScript 的网页，传统的 `requests` 库无法有效获取页面加载后的动态内容。为了应对这一挑战，可以采用 Selenium 或 Playwright 这样的工具来模拟浏览器环境并执行 JavaScript。 #### 方法一：使用 Selenium 和 BeautifulSoup 组合 Selenium 是一种自动化测试工具，能够控制真实浏览器的操作流程，在此过程中可等待 JavaScript 完成渲染后再提取所需的数据： ```python from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Chrome() url = '目标网站URL' driver.get(url) # 让脚本暂停几秒以确保 JS 加载完成 import time time.sleep(5) html_content = driver.page_source soup = BeautifulSoup(html_content, 'html.parser') data = soup.find_all('div', class_='example') # 替换成实际标签和属性 for item in data: print(item.text.strip()) driver.quit() ``` 这种方法允许开发者灵活地操作浏览器实例，并且可以通过 WebDriver API 实现复杂的交互逻辑[^1]。 #### 方法二：使用 Playwright 获取完全渲染后的 HTML Playwright 是另一个用于自动化 Chromium、Firefox 和 WebKit 浏览器的强大库。它不仅支持多平台运行还提供了更简便的方式去访问经过 JavaScript 执行之后的内容： ```python from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() url = '目标网站URL' page.goto(url) html_content = page.content() from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') elements = soup.select('.specific-class') # 修改为具体的选择器路径 for element in elements: print(element.get_text()) browser.close() ``` 这段代码展示了如何启动无头模式下的浏览器会话，导航至指定 URL 并取得最终呈现出来的 DOM 结构作为字符串返回给 Beautiful Soup 解析[^3]。 这两种方案都能够在一定程度上解决由于 JavaScript 动态生成而难以直接抓取的问题；不过需要注意的是，频繁请求可能会触发反爬机制，因此建议合理设置延时间隔以及遵循 robots.txt 文件规定。