### 使用 Python 爬取 JavaScript 动态渲染网站的方法 在面对 JavaScript 动态渲染的网页时，传统的静态爬虫工具（如 `requests` 和 `BeautifulSoup`）无法获取完整的页面内容，因为它们仅能获取初始 HTML 源码，无法执行 JavaScript 脚本[^3]。为了解决这一问题，可以采用以下几种方式： #### 1. 使用 Selenium 模拟浏览器行为 Selenium 是一个强大的自动化测试工具，能够模拟真实浏览器行为，包括执行 JavaScript 脚本，从而获取完整的页面内容[^3]。使用 Selenium 的示例代码如下： ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 driver = webdriver.Chrome(options=chrome_options) driver.get("https://example.com") html = driver.page_source soup = BeautifulSoup(html, "html.parser") print(soup.prettify()) driver.quit() ``` #### 2. 使用 Playwright 或 Puppeteer 的 Python 版本 Playwright 是一个现代的自动化工具，支持多浏览器（如 Chromium、Firefox、WebKit），并能够处理复杂的 JavaScript 渲染逻辑[^4]。以下是使用 Playwright 的基本示例： ```python from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto("https://example.com") content = page.content() print(content) browser.close() ``` #### 3. 使用 Requests + 逆向工程 API 如果网页内容是通过 AJAX 请求动态加载的，可以通过浏览器开发者工具分析网络请求，找到数据接口并直接调用 API 获取 JSON 数据，从而避免模拟浏览器[^1]。例如： ```python import requests url = "https://api.example.com/data" response = requests.get(url) data = response.json() print(data) ``` #### 4. 使用 Scrapy + Splash 对于需要使用 Scrapy 框架抓取动态内容的情况，可以结合 Splash 进行渲染。Splash 是一个轻量级的浏览器渲染服务，支持与 Scrapy 集成，适用于大规模爬取场景[^5]。配置方式如下： ```python import scrapy from scrapy_splash import SplashRequest class JSSpider(scrapy.Spider): name = 'js_spider' start_urls = ['https://example.com'] def start_requests(self): for url in self.start_urls: yield SplashRequest(url=url, callback=self.parse, args={"wait": 2}) def parse(self, response): yield {'content': response.text} ``` #### 5. 使用 requests-html `requests-html` 是 Kenneth Reitz 开发的库，内置 JavaScript 渲染能力，适合轻量级任务。其使用方式如下： ```python from requests_html import HTMLSession session = HTMLSession() r = session.get("https://example.com") r.html.render() # 执行 JavaScript 渲染 print(r.html.html) ``` --- ### 注意事项 - **性能与资源消耗**：模拟浏览器行为通常比直接 HTTP 请求消耗更多资源，应合理控制并发数量。 - **反爬机制**：部分网站采用复杂的反爬策略（如检测 WebDriver 标志），可通过设置无头模式参数或使用 `undetected-chromedriver` 等库规避检测。 - **等待机制**：在动态加载内容时，应确保页面完全加载完成后再提取数据，可使用 `time.sleep()` 或显式等待条件（如 `WebDriverWait`）。 --- ###