### 使用Python爬取猫眼电影Top100榜单信息 为了成功获取猫眼电影排行榜前100名的信息，可以采用如下方法： #### 准备工作 确保安装了必要的库，如`requests`用于发送HTTP请求以及`BeautifulSoup4`来解析HTML文档。可以通过pip命令轻松完成这些依赖项的安装。 ```bash pip install requests beautifulsoup4 lxml ``` #### 发送请求并处理页面内容 构建一个函数用来发起GET请求到目标URL，并设置合适的headers模仿真实浏览器行为以绕过某些基本的反爬措施[^2]。 ```python import requests from bs4 import BeautifulSoup def fetch_page(url, headers): response = requests.get(url=url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") ``` #### 解析网页数据 定义另一个辅助函数专门负责提取所需的数据字段，比如电影名称、主演名单、上映时间等重要属性。这里利用到了BeautifulSoup的强大功能来进行DOM树遍历操作[^3]。 ```python def parse_html(html_content): movie_list = [] soup = BeautifulSoup(html_content, "lxml") items = soup.select(".board-wrapper dd") for item in items[:10]: # 只取前十条作为例子展示 title = item.find(name="a").get_text(strip=True) actors = item.select_one("p.actor").get_text(strip=True).replace("主演：", "") release_time = item.select_one(".releasetime").get_text().split(":")[-1].strip() score_tag = item.select_one("i.integer"), item.select_one("i.fraction") total_score = "".join([s.get_text() for s in score_tag]) if all(score_tag) else None data_dict = { "title": title, "actors": actors, "release_time": release_time, "total_score": float(total_score), } movie_list.append(data_dict) return movie_list ``` #### 处理反爬虫策略 考虑到网站可能存在一定的防护手段阻止自动化工具频繁访问，在实际开发过程中可能还需要额外加入一些逻辑应对这种情况，例如动态更新Cookies或者模拟人类浏览习惯延时加载更多内容等[^4]。 ```python if __name__ == "__main__": url = "https://maoyan.com/board/4" user_agent = ( "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" "AppleWebKit/537.36 (KHTML, like Gecko)" "Chrome/98.0.4758.102 Safari/537.36" ) headers = {"User-Agent": user_agent} try: html = fetch_page(url, headers) movies_info = parse_html(html) print(movies_info) except Exception as e: print(e) ``` 上述代码片段展示了如何使用Python抓取猫眼电影Top100的部分信息。需要注意的是，随着互联网安全意识不断提高和技术进步，具体实现细节可能会有所改变；因此建议开发者始终遵循最新的法律法规和道德准则开展此类活动。