### 豆瓣电影Top250爬虫实现 以下是完整的 Python 爬虫代码，用于抓取豆瓣电影 Top250 页面上的影片名称、评分以及链接，并将其保存到 `movie.csv` 文件中。 #### 依赖库安装 在运行此脚本之前，请确保已安装所需的第三方库 `requests` 和 `BeautifulSoup`。如果尚未安装这些库，可以通过以下命令完成安装： ```bash pip install requests beautifulsoup4 ``` #### 完整代码示例 ```python import requests from bs4 import BeautifulSoup import csv def fetch_movie_data(url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.select('.item'): title = item.find('span', class_='title').get_text(strip=True) # 影片名称 rating = item.find('span', class_='rating_num').get_text(strip=True) # 评分 link = item.a['href'] # 链接 movie_info = {'Title': title, 'Rating': rating, 'Link': link} movies.append(movie_info) next_page = soup.find('link', rel='next') if next_page and 'href' in next_page.attrs: return movies + fetch_movie_data(next_page['href']) else: return movies def save_to_csv(movies, filename): keys = ['Title', 'Rating', 'Link'] with open(filename, 'w', newline='', encoding='utf-8-sig') as output_file: dict_writer = csv.DictWriter(output_file, fieldnames=keys) dict_writer.writeheader() dict_writer.writerows(movies) if __name__ == '__main__': base_url = "https://movie.douban.com/top250" all_movies = fetch_movie_data(base_url) save_to_csv(all_movies, 'movie.csv') ``` #### 说明 上述代码分为两个主要部分： 1. **数据采集**：通过函数 `fetch_movie_data()` 实现对目标网站的请求和解析操作。利用 `requests` 库发送 HTTP 请求，使用 `BeautifulSoup` 解析 HTML 文档结构，提取所需字段（如影片名称、评分和链接）。同时支持分页处理[^1]。 2. **数据存储**：定义了 `save_to_csv()` 函数负责将收集到的信息写入 CSV 文件。这里采用了标准库中的 `csv` 模块及其子类 `DictWriter` 来简化字典形式的数据写入过程。 #### 注意事项 为了防止被服务器识别为恶意访问而封禁 IP 地址，在实际开发过程中建议适当加入延时机制或者代理池配置以降低频率压力；另外还需注意遵守目标站点的服务条款与隐私政策规定。 ---