以下代码是使用Python的`requests`和`BeautifulSoup(bs4)`库实现抓取猫眼电影前50名电影信息，并将结果存储到CSV文件中的示例： ```python import requests from bs4 import BeautifulSoup import csv # 设置请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } # 定义函数获取单页数据 def get_movie_data(page): url = f"https://maoyan.com/board/4?offset={page * 10}" # 猫眼电影TOP100页面URL response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movies = [] for item in soup.find_all('p', class_='name'): # 获取电影名称 title = item.text.strip() link = "https://maoyan.com" + item.find('a')['href'] # 获取电影详情链接 movies.append([title, link]) return movies # 定义函数保存到CSV def save_to_csv(data): with open('movies.csv', 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['电影名称', '详情链接']) # 写入表头 writer.writerows(data) # 写入数据 if __name__ == "__main__": all_movies = [] for page in range(5): # 抓取前5页，每页10部电影，共50部 print(f"正在抓取第{page+1}页...") all_movies.extend(get_movie_data(page)) save_to_csv(all_movies) print("抓取完成，数据已保存到movies.csv") ``` ### 上述代码解释： 1. **设置请求头**：为了防止被目标网站识别为爬虫并拒绝访问，我们设置了`User-Agent`，伪装成浏览器。 2. **构造URL**：猫眼电影的TOP100榜单分页URL中，参数`offset`控制了页码。例如`offset=0`表示第一页，`offset=10`表示第二页，以此类推。 3. **解析HTML**：使用`BeautifulSoup`解析网页内容，提取出电影名称和对应的详情链接。 4. **保存数据**：通过`csv`模块将抓取的数据写入CSV文件。 ### 注意事项： 1. 确保安装了`requests`和`beautifulsoup4`库，可以通过以下命令安装： ```bash pip install requests beautifulsoup4 ``` 2. 在运行代码前，请确保遵守目标网站的[robots.txt](https://maoyan.com/robots.txt)协议以及相关法律法规。