### 实现豆瓣网站数据爬取与结构化处理 在 Mac M3 芯片环境下，使用 Python 进行豆瓣网站数据爬取并将其非结构化数据转换为结构化数据，涉及多个关键步骤。以下为实现方案： #### 1. 环境配置与依赖安装 Mac M3 芯片支持原生的 Python 安装。建议使用 `brew` 安装 Python 或通过 `pyenv` 管理多个 Python 版本。豆瓣网站爬取依赖以下库： - `requests`：用于发起 HTTP 请求获取网页内容。 - `BeautifulSoup`：用于解析 HTML 并提取所需数据。 - `pandas`：用于将数据存储为结构化格式（如 CSV 或 DataFrame）。 - `json`：用于将数据转换为 JSON 格式。 安装命令如下： ```bash pip install requests beautifulsoup4 pandas ``` #### 2. 发起请求与解析网页 豆瓣网站的 Top250 页面（如 `https://movie.douban.com/top250`）可以通过 `requests` 发起请求，并使用 `BeautifulSoup` 解析 HTML 内容[^1]。豆瓣 Top250 的分页机制为 `?start=0`、`?start=25`、`?start=50` 等，每页 25 条数据。 示例代码如下： ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } response = requests.get(url, headers=headers) return response.text def parse_page(html): soup = BeautifulSoup(html, "html.parser") movies = [] for item in soup.find_all("div", class_="item"): title = item.find("span", class_="title").text rating = item.find("span", class_="rating_num").text link = item.find("a")["href"] movies.append({ "title": title, "rating": rating, "link": link }) return movies ``` #### 3. 多页爬取与数据整合 通过循环构造豆瓣 Top250 的分页链接并调用上述函数，可实现多页数据的爬取与整合。 ```python def fetch_all_pages(base_url, num_pages): all_movies = [] for i in range(num_pages): url = f"{base_url}?start={i * 25}" html = fetch_page(url) movies = parse_page(html) all_movies.extend(movies) return all_movies base_url = "https://movie.douban.com/top250" movies_data = fetch_all_pages(base_url, 10) # 爬取前10页 ``` #### 4. 数据结构化存储 将爬取到的数据转换为结构化格式，如 CSV 或 JSON，以便后续分析与处理。 ```python import pandas as pd df = pd.DataFrame(movies_data) df.to_csv("douban_top250.csv", index=False, encoding="utf-8-sig") import json with open("douban_top250.json", "w", encoding="utf-8") as f: json.dump(movies_data, f, ensure_ascii=False, indent=4) ``` #### 5. 数据清洗与增强 豆瓣网站的非结构化数据可能包含冗余信息或格式不统一的内容，需进行清洗。例如，电影标题可能包含英文名或副标题，可使用正则表达式进行提取或分割。 ```python import re def clean_title(title): match = re.match(r"(.+?)(?:\s+/\s+(.+?))?(?:\s+/\s+(.+))?", title) if match: return { "chinese_title": match.group(1), "english_title": match.group(2), "other_title": match.group(3) } return {"chinese_title": title} ``` #### 6. 数据存储与后续处理 结构化数据可进一步导入数据库（如 SQLite、MySQL）或用于可视化分析（如使用 `matplotlib` 或 `seaborn` 进行图表绘制）。 ```python import sqlite3 conn = sqlite3.connect("douban.db") df.to_sql("top250", conn, if_exists="replace", index=False) ``` ###