在 Python 爬虫中，“携程”通常是指**协程（coroutine）**，它是 Python 实现**异步编程**的一种方式。协程相比于线程和进程，具有**轻量级**、**高效切换**、**非阻塞执行**等优点，非常适合用于高并发的网络爬虫场景。 --- ## 一、协程的基本概念 - **协程**是一种用户态的轻量级线程，由程序员控制调度。 - 在 Python 中，协程通过 `async def` 定义，并通过 `await` 关键字来挂起和恢复执行。 - Python 3.4 引入了 `asyncio` 模块，3.5 引入了 `async/await` 语法，使得协程的使用更加简洁。 --- ## 二、协程在爬虫中的优势 | 优势 | 描述 | |------|------| | 高效并发 | 协程可以在一个线程内实现高并发，避免线程切换的开销 | | 非阻塞 | 协程遇到 I/O 操作（如网络请求）时自动挂起，释放 CPU | | 内存占用低 | 协程比线程更轻量，创建成本低，适合大量并发任务 | --- ## 三、协程的使用方法 ### 1. 基本结构 ```python import asyncio async def fetch(url): print(f"Fetching {url}") await asyncio.sleep(1) # 模拟异步请求 print(f"Done {url}") async def main(): urls = ["https://example.com", "https://python.org", "https://github.com"] tasks = [fetch(url) for url in urls] await asyncio.gather(*tasks) asyncio.run(main()) ``` --- ### 2. 使用 `aiohttp` 实现真正的异步爬虫 `aiohttp` 是一个支持异步 HTTP 客户端/服务器的库，非常适合用于协程爬虫。 #### 安装： ```bash pip install aiohttp ``` #### 示例代码： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: print(f"{url} -> {response.status}") return await response.text() async def main(): urls = [ "https://www.example.com", "https://www.python.org", "https://www.github.com", ] async with aiohttp.ClientSession() as session: tasks = [fetch(session, url) for url in urls] await asyncio.gather(*tasks) if __name__ == "__main__": asyncio.run(main()) ``` --- ## 四、协程的调度机制 - **事件循环（Event Loop）**：负责调度协程的执行。 - **asyncio.run()**：Python 3.7+ 推荐的启动协程的方式。 - **await**：用于等待一个协程完成。 - **asyncio.gather()**：并发运行多个协程并等待它们全部完成。 - **asyncio.create_task()**：创建一个任务并安排在事件循环中执行。 --- ## 五、协程与线程/进程的对比 | 类型 | 并发能力 | CPU 利用 | 资源开销 | 适用场景 | |------|----------|----------|----------|----------| | 协程 | ✅ 高并发 | ❌ 不能利用多核 | ✅ 轻量 | 网络 I/O 密集型 | | 线程 | ✅ 支持并发 | ❌ 受 GIL 限制 | 中等 | 多线程任务 | | 进程 | ✅ 支持并行 | ✅ 利用多核 | ❌ 重 | CPU 密集型任务 | --- ## 六、注意事项 1. **不能混用阻塞函数**：如 `time.sleep()` 应替换为 `await asyncio.sleep()`。 2. **避免阻塞主线程**：协程必须在事件循环中运行。 3. **第三方库支持**：不是所有库都支持异步，如 `requests` 不支持，应使用 `aiohttp`。 4. **调试复杂度高**：异步代码的调试比同步代码更复杂。 --- ###