# Python爬虫实战：5分钟搞定王者荣耀英雄皮肤图片批量下载（附完整代码） 王者荣耀作为国民级手游，其精美的英雄皮肤一直是玩家关注的焦点。对于Python初学者来说，如何快速抓取这些皮肤图片并建立本地图库？本文将带你用最简洁的代码实现这个需求，全程只需requests和lxml两个库，无需复杂配置，特别适合刚接触爬虫的开发者练手。 ## 1. 环境准备与目标分析 在开始编码前，我们需要明确几个关键点： - **数据源分析**：王者荣耀官网的图片资源采用CDN分发，通过观察发现图片URL具有固定模式，只需替换英雄ID和皮肤编号即可获取不同资源 - **技术选型**：使用`requests`处理网络请求，`lxml`解析HTML，相比原生xpath语法更简洁 - **存储方案**：按英雄名称创建文件夹，皮肤图片按官方命名保存 安装所需依赖（推荐使用Python 3.6+环境）： ```bash pip install requests lxml ``` > 提示：实际操作中建议添加2-3秒的请求间隔，避免对服务器造成过大压力 ## 2. 核心爬取逻辑实现 ### 2.1 获取英雄ID列表 首先需要获取所有英雄的基础信息，这里通过解析官网的英雄列表页实现： ```python import requests from lxml import html def get_hero_list(): url = "https://pvp.qq.com/web201605/herolist.shtml" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } response = requests.get(url, headers=headers) tree = html.fromstring(response.content) heroes = [] for li in tree.xpath('//ul[@class="herolist clearfix"]/li'): hero_id = li.xpath('./a/@href')[0].split('/')[-1].split('.')[0] hero_name = li.xpath('./a/text()')[0] heroes.append((hero_id, hero_name)) return heroes ``` 这个函数返回包含(英雄ID, 英雄名称)的元组列表，例如： ``` [ ('105', '廉颇'), ('106', '小乔'), ('107', '赵云'), ... ] ``` ### 2.2 皮肤图片URL生成算法 通过分析CDN地址规律，我们发现皮肤图片遵循以下格式： ``` https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{skin_num}.jpg ``` 其中： - `hero_id`：从英雄列表获取的ID - `skin_num`：皮肤序号（通常从1开始） ## 3. 完整实现与优化 ### 3.1 图片下载器实现 ```python import os from concurrent.futures import ThreadPoolExecutor def download_skin(hero_id, hero_name, skin_num, save_dir='skins'): url = f"https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{skin_num}.jpg" try: response = requests.get(url, timeout=10) if response.status_code == 200: hero_dir = os.path.join(save_dir, hero_name) os.makedirs(hero_dir, exist_ok=True) with open(os.path.join(hero_dir, f"{skin_num}.jpg"), 'wb') as f: f.write(response.content) print(f"[成功] {hero_name} 皮肤{skin_num}") else: print(f"[失败] {hero_name} 皮肤{skin_num} 状态码: {response.status_code}") except Exception as e: print(f"[异常] {hero_name} 皮肤{skin_num} {str(e)}") ``` ### 3.2 多线程批量下载 为提高效率，我们使用线程池并发下载： ```python def batch_download(max_workers=5): heroes = get_hero_list() with ThreadPoolExecutor(max_workers=max_workers) as executor: for hero_id, hero_name in heroes: for skin_num in range(1, 10): # 假设每个英雄最多9个皮肤 executor.submit(download_skin, hero_id, hero_name, skin_num) ``` 参数说明： | 参数 | 类型 | 说明 | |------|------|------| | max_workers | int | 并发线程数，建议不超过10 | | skin_range | tuple | 皮肤编号范围，默认(1,9) | ## 4. 异常处理与扩展建议 在实际运行中可能会遇到以下问题： 1. **反爬机制**： - 解决方案：添加随机User-Agent和请求间隔 ```python from time import sleep from random import choice USER_AGENTS = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15', 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15' ] def get_with_retry(url, max_retry=3): for _ in range(max_retry): try: headers = {'User-Agent': choice(USER_AGENTS)} response = requests.get(url, headers=headers) sleep(1) # 添加延迟 return response except: sleep(2) return None ``` 2. **皮肤数量不确定**： - 改进方案：先尝试访问，通过HTTP状态码判断是否存在 ```python def get_skin_count(hero_id): for i in range(1, 20): # 最大尝试20个皮肤 url = f"https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{i}.jpg" if requests.get(url).status_code != 200: return i-1 return 0 ``` 3. **图片质量选择**： - 高清版本替换URL中的`bigskin`为`mobileskin`可获得不同尺寸 这个项目最有趣的部分是发现URL的生成规律。在实际测试中，有些英雄的皮肤编号并不是连续的，这时候就需要结合异常处理机制来完善程序。建议可以先手动测试几个英雄的皮肤编号范围，再调整爬取策略。