### 如何用Python爬取指定电影票房网站的数据 为了从目标网址 `https://piaofang.maoyan.com/rankings/year` 获取电影票房数据，可以采用如下方法： #### 准备工作 确保安装了必要的库： ```bash pip install requests beautifulsoup4 pandas lxml ``` #### 发送HTTP请求并解析HTML页面 使用 `requests` 库发送GET请求来获取网页内容，并利用 `BeautifulSoup` 解析返回的内容。 ```python import requests from bs4 import BeautifulSoup import pandas as pd url = "https://piaofang.maoyan.com/rankings/year" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url=url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'lxml') else: raise Exception(f"Failed to fetch the page with status code {response.status_code}") ``` #### 提取所需信息 定位到包含电影排名列表的部分，通常这些信息会被放在特定标签内。这里假设每部影片的信息存储在一个类名为 `.movie-item-info` 的 div 中[^2]。 ```python movies_data = [] for item in soup.select('.movie-item-info'): title = item.find('span', class_='name').get_text(strip=True) release_date = item.find('div', class_='movie-release-date').get_text(strip=True).replace('上映时间:', '') # 假设还有其他字段如评分、导演等可以根据实际情况调整选择器路径 movie_info = { 'title': title, 'release_date': release_date } movies_data.append(movie_info) df_movies = pd.DataFrame(movies_data) print(df_movies.head()) ``` #### 数据预处理与转换 对于提取出来的原始字符串形式的时间戳或其他数值型属性，可能需要进一步清理和标准化以便后续分析操作。 ```python df_movies['release_date'] = pd.to_datetime(df_movies['release_date'].str.strip(), format='%Y-%m-%d') df_movies[['year']] = df_movies['release_date'].dt.year df_movies[['month']] = df_movies['release_date'].dt.month ``` 上述代码片段展示了如何抓取猫眼电影年度排行榜上的基本信息，并进行了初步的数据清洗准备用于更深入的研究或展示[^3]。