### 实现豆瓣电影名称与评分的Python爬虫 为了高效地从豆瓣网站抓取电影名称和评分，可以采用`requests`库获取网页内容并使用`BeautifulSoup`解析HTML文档。考虑到效率问题，异步请求能够显著提高性能[^3]。 #### 使用同步方法抓取数据 对于初学者来说，先理解基本的同步版本有助于掌握核心概念： ```python import requests from bs4 import BeautifulSoup def fetch_movie_info(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") movies = [] items = soup.find_all('li', class_='item') # 修改为实际类名或标签依据实际情况调整 for item in items: title_element = item.select_one('.title') # 假设标题位于此类下 rating_element = item.select_one('.rating_num') # 同样假设评分在此类之下 if title_element and rating_element: movie_title = title_element.string.strip() movie_rating = float(rating_element.string.strip()) movies.append({ 'name': movie_title, 'score': movie_rating }) return movies ``` 此代码片段展示了如何构建一个简单的函数来抓取单个页面上的电影列表及其对应的分数。需要注意的是，在真实环境中应当尊重目标站点的服务条款，并适当设置延迟以减轻服务器负担[^2]。 #### 提升性能至异步模式 当面对大量页面时，转而使用`asyncio`配合`aiohttp`可极大改善整体执行速度： ```python import asyncio import aiohttp from bs4 import BeautifulSoup async def async_fetch(session, url): async with session.get(url) as resp: html_body = await resp.text() return html_body async def main(urls): tasks = [] connector = aiohttp.TCPConnector(limit=10) timeout = aiohttp.ClientTimeout(total=60*5) async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session: for url in urls: task = asyncio.create_task(async_fetch(session=session, url=url)) tasks.append(task) pages_content = await asyncio.gather(*tasks) all_movies = [] for content in pages_content: soup = BeautifulSoup(content, "html.parser") # 解析逻辑同上... pass if __name__ == '__main__': loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) result = loop.run_until_complete(main(['https://example.com/page1'])) ``` 这段脚本定义了一个更复杂的流程用于并发处理多个URL请求，从而加快整个过程的速度。注意这里仅提供了框架性的指导；具体的选择器路径需根据最新的DOM结构进行适配测试。