### Python3 异步环境下使用 XPath 解析 HTML 示例 在 Python3 的异步环境中，可以结合 `aiohttp` 和 `lxml` 库来实现异步解析 HTML。`lxml` 是一个强大的 XML/HTML 解析库，支持 XPath 表达式[^1]。以下是一个完整的示例代码，展示如何在异步环境中使用 XPath 解析 HTML。 #### 安装依赖 首先需要安装必要的库： ```bash pip install aiohttp lxml ``` #### 示例代码 ```python import asyncio import aiohttp from lxml import etree async def fetch_html(session, url): try: async with session.get(url) as response: response.raise_for_status() # 检查 HTTP 状态码 return await response.text() except Exception as e: print(f"Error fetching {url}: {e}") return None async def parse_html(html_content): if html_content is None: return [] tree = etree.HTML(html_content) # 使用 XPath 提取数据 titles = tree.xpath("//title/text()") # 提取 <title> 标签的内容 links = tree.xpath("//a/@href") # 提取所有 <a> 标签的 href 属性 return {"titles": titles, "links": links} async def main(): url = "https://example.com" async with aiohttp.ClientSession() as session: html_content = await fetch_html(session, url) result = await parse_html(html_content) print("Titles:", result["titles"]) print("Links:", result["links"]) if __name__ == "__main__": asyncio.run(main()) ``` #### 代码说明 1. **异步请求**：通过 `aiohttp` 实现异步 HTTP 请求，避免阻塞主线程。 2. **HTML 解析**：使用 `lxml` 库将 HTML 内容解析为树结构，并通过 XPath 提取所需数据。 3. **错误处理**：在 `fetch_html` 函数中添加异常捕获，确保程序不会因网络问题崩溃[^2]。 #### 注意事项 - 如果目标网站返回的 HTML 结构复杂，可能需要调整 XPath 表达式以准确提取所需数据。 - 在实际应用中，建议限制并发请求数量，以避免对目标服务器造成过大压力[^5]。 ###