### 猫眼Top100榜单爬取的Python实现 猫眼电影Top100榜单的数据抓取可以通过Python编写爬虫程序完成。以下将详细介绍如何实现这一目标，并提供完整的代码示例。 #### 1. 爬虫的基本原理 网络爬虫是一种自动化工具，用于从互联网上抓取数据。它通过发送HTTP请求获取网页内容，并解析HTML结构以提取所需信息。猫眼电影网站对爬虫有反爬措施，因此需要设置请求头（headers）来模拟浏览器行为[^1]。 #### 2. 准备工作 在开始编写爬虫之前，需要安装必要的库： - `requests`：用于发送HTTP请求。 - `re`：用于正则表达式匹配。 - `json`（可选）：如果需要处理JSON格式的数据。 可以使用以下命令安装`requests`库： ```bash pip install requests ``` #### 3. 爬取网页源代码 为了获取猫眼电影Top100榜单的网页源代码，可以定义一个函数`get_one_page`，该函数接收URL和headers参数，并返回网页的HTML内容[^2]。 ```python import requests from requests.exceptions import RequestException # 设置headers模拟浏览器访问 headers = { 'Content-Type': 'text/plain; charset=UTF-8', 'Origin': 'https://maoyan.com', 'Referer': 'https://maoyan.com/board/4', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } # 获取单页HTML def get_one_page(url): try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None except RequestException: return None ``` #### 4. 解析网页内容 猫眼电影Top100榜单的数据存储在HTML的`<dd>`标签中。可以通过正则表达式提取排名、图片链接、电影名称、主演、上映时间及评分等信息[^3]。 ```python import re # 提取单页电影信息 def parse_one_page(html): pattern = re.compile( r'<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S ) items = re.findall(pattern, html) for item in items: yield { 'index': item[0], 'image': item[1], 'title': item[2].strip(), 'actor': item[3].strip()[3:] if len(item[3]) > 3 else '', 'time': item[4].strip()[5:] if len(item[4]) > 5 else '', 'score': item[5].strip() + item[6].strip() } ``` #### 5. 主函数 将上述功能整合到主函数中，遍历所有页面并保存结果。 ```python def main(offset): url = f'https://maoyan.com/board/4?offset={offset}' html = get_one_page(url) if html: for item in parse_one_page(html): print(item) if __name__ == '__main__': for i in range(10): main(i * 10) ``` #### 6. 数据存储 可以将抓取的数据存储到文件或数据库中。例如，保存为JSON文件： ```python import json def write_to_file(content): with open('result.txt', 'a', encoding='utf-8') as f: f.write(json.dumps(content, ensure_ascii=False) + '\n') ``` 在`parse_one_page`函数中调用此方法即可保存每条记录。 --- #### 注意事项 - 猫眼电影网站可能更新其HTML结构或反爬机制，需定期检查并调整正则表达式或headers。 - 遵守网站的robots协议，避免频繁请求导致IP被封禁。 ---