以下是基于提供的引用内容以及专业知识所整理的 Python 实现猫眼电影数据爬取的示例代码： ### 猫眼电影数据爬取示例 #### 导入库 为了完成爬取任务，需要引入 `requests` 和 `re` 库用于 HTTP 请求和正则表达式匹配。 ```python import requests import re import json ``` #### 定义请求头 模拟浏览器行为以绕过反爬机制[^2]。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } ``` #### 获取单页数据 通过发送 GET 请求获取页面 HTML 并提取所需信息。 ```python def get_one_page(url): response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None ``` #### 解析单页数据 利用正则表达式提取每部电影的关键信息，包括排名、图片链接、标题、演员列表和上映时间[^3]。 ```python def parse_one_page(html): pattern = re.compile( r'<dd>.*?board-index.*?>(.*?)</i>.*?<img data-src="(.*?)".*?>' r'.*?<p class="name"><a.*?title="(.*?)".*?></a></p>' r'.*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>', re.S ) items = re.findall(pattern, html) for item in items: yield { 'index': item[0], 'image': item[1], 'title': item[2].strip(), 'actors': item[3].strip()[3:] if len(item[3]) > 3 else '', 'time': item[4].strip()[5:] if len(item[4]) > 5 else '' } ``` #### 存储数据至文件 将解析后的数据存储到本地 TXT 文件中，并设置 UTF-8 编码防止乱码问题[^4]。 ```python def write_to_file(content): with open('result.txt', 'a', encoding='utf-8') as f: f.write(json.dumps(content, ensure_ascii=False) + '\n') ``` #### 主函数逻辑 构造多页 URL 列表并依次调用上述方法完成整个 Top100 的爬取过程。 ```python def main(offset): url = f'https://maoyan.com/board/4?offset={offset}' html = get_one_page(url) for item in parse_one_page(html): print(item) write_to_file(item) if __name__ == '__main__': for i in range(10): main(i * 10) ``` 以上代码实现了从猫眼电影网站抓取 Top100 影片的相关信息，并将其保存为 JSON 格式的文本文件。 ---