### 使用 Python 和 Pyppeteer 爬取动态网页数据 #### 安装依赖包 为了使用 Pyppeteer 进行动态网页爬取，需先安装该库： ```bash pip install pyppeteer ``` #### 初始化浏览器实例 创建一个新的异步函数用于启动无头浏览器，并打开目标网页。 ```python import asyncio from pyppeteer import launch async def main(): browser = await launch(headless=True) # 设置为 True 表示不显示浏览器窗口 page = await browser.newPage() await page.goto('http://example.com') # 关闭浏览器连接 await browser.close() # 启动事件循环运行程序主体 asyncio.get_event_loop().run_until_complete(main()) ``` #### 获取页面中的元素信息 通过选择器提取所需的信息片段。这里展示了一个简单的例子，其中定义了 `scrape_index` 函数来获取指定分页上的项目名称[^3]。 ```python async def scrape_index(page_number): url = f'http://example.com/page/{page_number}' selector = '.item .name' async def scrape_page(url, element_selector): response = await page.goto(url) elements = await page.querySelectorAll(element_selector) result = [] for el in elements: text = await (await el.getProperty('textContent')).jsonValue() result.append(text.strip()) return result items = await scrape_page(url, selector) print(items) # 调用此函数可以抓取第一页的内容 asyncio.get_event_loop().run_until_complete(scrape_index(1)) ``` 上述代码展示了如何利用 Pyppeteer 库访问由 JavaScript 渲染后的 HTML 文档结构，并从中抽取特定 CSS 选择器匹配到的文字内容[^4]。 #### 处理登录验证等问题 对于一些需要用户交互才能正常加载的站点（比如带有验证码或登录表单），可以通过模拟点击按钮、输入用户名密码等方式完成自动化操作后再继续后续的数据采集工作。 ---