### 如何使用 Python 编写简单的电影网站爬虫 #### 使用 Python 实现简单电影网页爬取的核心概念 Python 是一种功能强大且灵活的语言，特别适合用于开发网络爬虫程序。通过利用内置库和第三方工具，可以轻松完成从目标网站抓取数据的任务[^3]。 #### 基础依赖库的选择与安装 为了构建一个基本的电影信息爬虫，通常会用到以下几个核心库： - `requests`：用于发送 HTTP 请求并接收响应。 - `BeautifulSoup` (来自 `bs4`)：解析 HTML 文档结构，提取所需的信息。 - 数据存储部分可以选择文件保存或者连接数据库的方式实现[^4]。 在正式编码之前，请先确保已安装上述所需的外部包。可以通过 pip 工具快速完成安装过程如下所示： ```bash pip install requests beautifulsoup4 pymysql ``` #### 示例代码展示 以下是一个完整的例子，演示如何爬取某个假定的在线电影列表页面中的基本信息，并将其存入本地 JSON 文件中。 ```python import json import requests from bs4 import BeautifulSoup def fetch_movie_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.text, 'html.parser') movies = [] items = soup.select('.movie-item') # 替换为实际 CSS selector for item in items[:10]: title_element = item.find('h2', class_='title') rating_element = item.find('span', class_='rating') movie_info = { "Title": title_element.string.strip() if title_element else None, "Rating": float(rating_element['data-value']) if rating_element and 'data-value' in rating_element.attrs else None } movies.append(movie_info) return movies if __name__ == "__main__": target_url = "http://example.com/movies" try: data = fetch_movie_data(target_url) with open("movies.json", mode="w", encoding="utf8") as f: json.dump(data, f, ensure_ascii=False, indent=4) print("Data successfully saved.") except Exception as e: print(e) ``` 此段脚本实现了访问指定 URL 地址的功能，随后分析返回的内容找到匹配特定模式的部分最后导出成标准格式化后的 JSON 文件形式输出至当前目录下名为 `"movies.json"` 的文档里[^1]。 #### 存储方式扩展说明 除了直接写出到磁盘上的纯文本之外还可以考虑接入关系型数据库比如 MySQL 来持久化采集来的资料；亦或是采用 NoSQL 解决方案 MongoDB 等非传统表单布局风格的产品来满足不同场景下的需求差异。 ---