实验1：静态网页爬取 目标网站：豆瓣电影Top250（https://movie.douban.com/top250） ### 背景介绍 豆瓣电影Top250是一个展示豆瓣评分最高的前250部影片的页面。通过这个实验，你可以学习如何从静态网页中提取数据，并将这些数据保存到本地文件或其他存储形式。 以下是基于Python语言和`requests`库、`BeautifulSoup`库的一个简单示例代码： --- ### 实现步骤 #### 1. 安装依赖库 首先需要安装以下两个第三方库： ```bash pip install requests beautifulsoup4 ``` #### 2. 编写爬虫代码 下面是一段用于爬取豆瓣电影Top250名称的基本代码： ```python import requests from bs4 import BeautifulSoup # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_movie_titles(): base_url = "https://movie.douban.com/top250" movie_list = [] for page in range(10): # Top250分为10页，每页25条记录 url = f"{base_url}?start={page * 25}&filter=" try: response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 提取所有电影标题信息 items = soup.select('div.item div.info div.hd a span.title') titles = [item.get_text() for item in items] movie_list.extend(titles) else: print(f"无法获取第{page + 1}页的内容，状态码: {response.status_code}") except Exception as e: print("发生错误:", str(e)) return movie_list if __name__ == "__main__": movies = fetch_movie_titles() with open("douban_top250.txt", "w", encoding="utf-8") as file: for title in movies: file.write(title.strip() + "\n") print(f"成功抓取并保存了{len(movies)}部电影的信息！") ``` --- ### 注意事项 1. **反爬机制**：豆瓣对频繁访问其服务器的行为有一定的限制措施，如果触发可能会导致IP被暂时封禁。 - 解决方案可以引入延时操作 `time.sleep()` 或者代理池技术。 2. **合法性**：爬取公开数据应遵守《机器人协议》（robots.txt）。例如，在访问之前确认是否允许对该站点进行自动化检索。 ```txt User-agent: * Disallow: / ``` 如果发现不允许，则尽量避免大规模采集行为。 3. 数据解析需观察HTML结构的变化，因为网站设计可能更新而导致原有定位标签失效。 ---