### 豆瓣电影Top500数据爬取 要通过 Python 实现豆瓣电影 Top500 的数据爬取，可以采用 `requests` 和 `BeautifulSoup` 库来完成网页抓取和解析的任务。需要注意的是，在实际操作前应了解目标网站的服务条款以及相关法律法规，确保行为合法合规。 以下是完整的解决方案： #### 请求处理方法 为了获取豆瓣电影 Top500 数据，通常需要模拟浏览器发送 HTTP GET 请求到指定 URL 并提取所需信息。由于豆瓣可能设置了反爬机制，因此建议设置合理的请求头（User-Agent），并控制访问频率以减少被封禁的风险[^1]。 ```python import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_page(url): try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to retrieve data: {response.status_code}") return None except Exception as e: print(f"Error occurred during request: {e}") return None ``` #### 页面解析逻辑 利用 Beautiful Soup 解析 HTML 文档结构，定位包含电影名称、评分及其他元数据的具体标签位置。这里假设每页展示若干条记录，并需遍历多个分页链接直至收集全部结果[^2]。 ```python def parse_movies(html_content): soup = BeautifulSoup(html_content, 'html.parser') movies_list = [] items = soup.select('.item') # 假设 .item 是单部影片的容器类名 for item in items: title = item.find('span', class_='title').text.strip() if item.find('span', class_='title') else '' rating = item.find('span', class_='rating_num').text.strip() if item.find('span', class_='rating_num') else '' movie_info = {'Title': title, 'Rating': rating} movies_list.append(movie_info) next_link = soup.find('a', string='后一页>') return movies_list, next_link['href'] if next_link else None ``` #### 主程序流程设计 定义主函数用于启动整个过程，循环调用页面加载与数据分析模块直到无更多可用页面为止。同时加入适当延时降低服务器负载压力[^3]。 ```python if __name__ == "__main__": base_url = "https://movie.douban.com/top250" all_movies = [] current_url = base_url while True: html_data = fetch_page(current_url) if not html_data: break parsed_results, next_href = parse_movies(html_data) all_movies.extend(parsed_results) if not next_href or '/top250' not in next_href: break current_url = f"https://movie.douban.com{next_href}" time.sleep(2) # 防止频繁请求 print(all_movies[:10]) # 输出部分样例验证成果 ``` 以上代码片段展示了如何构建一个基础版的豆瓣电影排行榜爬虫应用实例[^4]。