以下是一个使用Python编写的爬取豆瓣电影Top250的代码示例，该代码结合了对网页的请求、数据解析和保存等操作： ```python import requests from bs4 import BeautifulSoup import csv # 定义请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 定义函数来获取指定页码的网页内容 def get_page_content(page_num): url = f"https://movie.douban.com/top250?start={(page_num - 1) * 25}" response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None # 定义函数来解析网页内容并提取电影信息 def parse_page_content(html): soup = BeautifulSoup(html, 'html.parser') movie_list = [] items = soup.find_all('div', class_='item') for item in items: title = item.find('span', class_='title').text link = item.find('a')['href'] star = item.find('span', class_='rating_num').text rating_num = item.find('div', class_='star').find_all('span')[-1].text.strip('人评价') movie_list.append([title, link, star, rating_num]) return movie_list # 主函数，爬取所有页面并保存数据 def main(): all_movies = [] for page in range(1, 11): html = get_page_content(page) if html: movies = parse_page_content(html) all_movies.extend(movies) # 将数据保存为CSV文件 with open('douban_top250.csv', 'w', newline='', encoding='utf-8-sig') as csvfile: writer = csv.writer(csvfile) writer.writerow(['电影名称', '电影链接', '评分', '评价人数']) writer.writerows(all_movies) if __name__ == "__main__": main() ``` ### 代码说明： 1. **请求头**：使用`headers`模拟浏览器访问，避免被网站反爬机制拦截。 2. **`get_page_content`函数**：根据传入的页码生成对应的URL，并发送请求获取网页内容。 3. **`parse_page_content`函数**：使用`BeautifulSoup`解析网页内容，提取电影的名称、链接、评分和评价人数。 4. **`main`函数**：循环调用`get_page_content`和`parse_page_content`函数，爬取所有10页的电影信息，并将结果保存为CSV文件。