### 爬取指定网站多页面电影信息的方法 为了完成从 `https://ssr1.scrape.center/page/1` 开始爬取 10 页的所有电影详情的任务，可以按照以下方式实现。以下是完整的解决方案： #### 数据采集流程 通过分析站点结构可知，列表页面的 URL 是分页形式，形如 `https://ssr1.scrape中心/page/{page}`[^1]。对于每个列表页面，可以通过发送 HTTP 请求获取 HTML 内容，并从中提取详情链接。随后访问这些详情链接并解析所需字段。 #### 使用的技术栈 - **requests**: 发起网络请求以获取网页内容。 - **BeautifulSoup**: 解析 HTML 并提取有用的数据。 - **pandas**: 存储和导出数据到 Excel 文件中（可选）。 --- ### 实现代码 以下是一个基于 Python 的完整示例代码，用于爬取前 10 页的电影详情： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_html(url): """ 获取指定URL的HTML内容 """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") def parse_movie_list(html): """ 提取电影列表中的详情链接 """ soup = BeautifulSoup(html, 'html.parser') movie_items = soup.select('.el-card__body') # 定位电影卡片区域 detail_links = [] for item in movie_items: link_tag = item.find('a', href=True) if link_tag and '/detail/' in link_tag['href']: detail_url = f"https://ssr1.scrape.center{link_tag['href']}" detail_links.append(detail_url) return detail_links def parse_movie_detail(html): """ 解析单个电影详情页的信息 """ soup = BeautifulSoup(html, 'html.parser') title = soup.select_one('h2').text.strip() if soup.select_one('h2') else None categories = [cat.text.strip() for cat in soup.select('.categories button span')] \ if soup.select('.categories button span') else [] country = soup.select_one('.m-b-sm ~ div:nth-of-type(1) > div:last-child').text.strip() \ if soup.select_one('.m-b-sm ~ div:nth-of-type(1) > div:last-child') else None release_date = soup.select_one('.m-b-sm ~ div:nth-of-type(2) > div:last-child').text.strip() \ if soup.select_one('.m-b-sm ~ div:nth-of-type(2) > div:last-child') else None duration = soup.select_one('.m-b-sm ~ div:nth-of-type(3) > div:last-child').text.strip() \ if soup.select_one('.m-b-sm ~ div:nth-of-type(3) > div:last-child') else None score = float(soup.select_one('.score .number').text.strip()) \ if soup.select_one('.score .number') else None return { "title": title, "categories": ', '.join(categories), "country": country, "release_date": release_date, "duration": duration, "score": score } def main(): base_url = "https://ssr1.scrape.center/page/" all_movies = [] for page in range(1, 11): # 遍历第1至第10页 list_page_url = f"{base_url}{page}" html_content = fetch_html(list_page_url) detail_urls = parse_movie_list(html_content) for url in detail_urls: try: detail_html = fetch_html(url) movie_info = parse_movie_detail(detail_html) all_movies.append(movie_info) print(f"Parsed Movie: {movie_info['title']}") # 打印已解析的电影名 except Exception as e: print(f"Error parsing {url}: {e}") df = pd.DataFrame(all_movies) df.to_excel("movies.xlsx", index=False) # 导出为Excel文件 print("Data saved to movies.xlsx") if __name__ == "__main__": main() ``` --- ### 功能说明 1. **fetch_html 方法** - 负责发起 GET 请求并返回目标页面的 HTML 内容。 - 设置了 User-Agent 头部模拟浏览器行为[^3]。 2. **parse_movie_list 方法** - 对列表页面进行解析，提取所有指向详情页面的链接。 - 使用 CSS Selector `.el-card__body` 来定位电影卡片容器。 3. **parse_movie_detail 方法** - 访问详情页面并提取所需的字段：标题、类别、国家、上映日期、时长和评分。 - 结合 BeautifulSoup 和 CSS Selectors 完成具体字段的选择逻辑。 4. **main 方法** - 控制程序的整体执行流程，遍历 1 至 10 页的列表页面。 - 将最终的结果保存为 Excel 文件以便后续处理。 --- ### 注意事项 - 如果目标网站存在反爬机制，可能需要引入代理池或延时策略来规避检测。 - 上述代码假设网站结构稳定不变，若有改动需调整对应的解析规则[^4]。 ---