### 使用Python爬取猫眼电影Top100榜单信息 #### 准备工作 为了成功抓取数据，需先安装必要的库文件。这通常涉及`requests`用于发送HTTP请求以及`BeautifulSoup4 (bs4)`来解析HTML文档。 ```bash pip install requests beautifulsoup4 lxml ``` #### 获取页面内容 构建一个函数以模拟浏览器行为向目标URL发起GET请求并返回响应体中的HTML文本。考虑到网站可能存在反爬措施，在此过程中应适当设置headers参数模仿真实访问环境[^2]： ```python import requests def get_page(url, headers): response = requests.get(url=url, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to retrieve page with status code {response.status_code}") return None ``` #### 解析网页结构 利用BeautifulSoup对象处理上述获得的字符串形式html源码，定位到包含所需信息的具体标签位置。对于每部影片而言，其名称、主演阵容、上映时间等均被封装于特定class属性下的div元素内；而评分则由p标签携带特殊样式类表示[^3]。 ```python from bs4 import BeautifulSoup def parse_html(html_str): movie_list = [] soup = BeautifulSoup(html_str, "lxml") items = soup.select('.board-wrapper dd') for item in items[:10]: # 只提取前10条作为示范 title = item.find(name='a')['title'] actors = item.select_one('p.actor').get_text(strip=True).replace("主演：", "") release_time = item.select_one('p.releasetime').get_text(strip=True).replace("上映时间：", "") score = float(item.select_one('i.integer').text + item.select_one('i.fraction').text) data_dict = { 'title': title, 'actors': actors, 'release_time': release_time, 'score': score } movie_list.append(data_dict) return movie_list ``` #### 处理反爬虫策略 当遇到验证码或其他形式的身份验证挑战时，可以通过读取本地存储的有效cookies或者动态更新session cookies的方式来绕过这些障碍[^4]。不过需要注意的是，频繁地尝试登录可能会触发更严格的审查机制甚至导致IP地址暂时封禁，因此建议合理控制频率并在必要时候加入随机延时等待。 ```python headers = { 'User-Agent': 'Mozilla/5.0 ...', 'Cookie': '_lx_...' # 替换成实际有效的cookie值 } url_pattern = f"http://maoyan.com/board/4?offset={{}}" all_movies = [] for offset in range(0, 10): # 控制分页范围 url = url_pattern.format(offset * 10) html_content = get_page(url, headers) movies_info = parse_html(html_content) all_movies.extend(movies_info) ```