### Python 爬虫抓取王者荣耀英雄数据并存储至 MySQL 数据库 为了实现从游戏网站爬取《王者荣耀》英雄信息并将这些信息存入MySQL数据库，可以采用Scrapy框架来构建一个高效的网络爬虫。考虑到分布式环境中可能出现的数据冗余问题[^1]，应采取措施确保不同节点间的信息同步与去重。 #### 创建 Scrapy 项目结构 首先安装必要的依赖包： ```bash pip install scrapy pymysql ``` 初始化一个新的Scrapy工程： ```bash scrapy startproject honor_of_kings_spider cd honor_of_kings_spider ``` 定义目标URL模式以及要提取的具体字段（如名称、技能描述等），这通常位于`items.py`文件内： ```python import scrapy class HonorOfKingsHeroItem(scrapy.Item): name = scrapy.Field() # 英雄名字 title = scrapy.Field() # 称号/定位 story = scrapy.Field() # 背景故事简介 skills = scrapy.Field() # 技能列表 avatar_url = scrapy.Field() # 头像链接 ``` 编写Spider类用于解析网页内容，并通过XPath/CSS选择器获取所需数据。这里假设已经找到了合适的API接口或HTML页面作为起点。 对于防止多实例间的重复抓取，可以在启动多个worker之前设置全局唯一的任务队列服务（比如Redis）。每当有新的待处理URL时就将其加入此集合中；当某个Worker准备访问某页前先查询该地址是否存在于集合里——如果存在则跳过此次请求。 完成后的spiders目录下的Python脚本可能如下所示： ```python from urllib.parse import urljoin import scrapy from ..items import HonorOfKingsHeroItem import redis r = redis.Redis(host='localhost', port=6379, db=0) class HeroSpider(scrapy.Spider): name = "hero" allowed_domains = ["example.com"] start_urls = ['http://example.com/heroes'] def parse(self,response): heroes=response.css('div.hero') for hero in heroes: item = HonorOfKingsHeroItem() relative_image_path = hero.xpath('.//img/@src').get() absolute_image_path = urljoin(response.url,relative_image_path) item['name'] = hero.css('h2::text').get().strip(), item['title'] = hero.css('p.title::text').get().strip(), item['story'] = hero.css('span.story::text').get().strip(), item['skills'] = [skill.strip() for skill in hero.css('li.skill::text').extract()], item['avatar_url'] = absolute_image_path yield item custom_settings={ 'DUPEFILTER_CLASS': 'scrapy.dupefilters.RFPDupeFilter', 'REDIS_URL' : 'redis://:@localhost:6379' } ``` 最后一步就是配置Pipeline以连接到本地或者远程的MySQL服务器，并将每条记录插入相应的表单之中。编辑settings.py中的ITEM_PIPELINES部分指向自定义管道模块的位置。 创建名为`pipelines.py`的新文件，在其中添加以下代码片段以便于操作关系型数据库： ```python import pymysql.cursors class SaveToMysqlPipeline(object): def __init__(self): self.conn = pymysql.connect( host="localhost", user="root", password="", database="game_data", charset="utf8mb4", cursorclass=pymysql.cursors.DictCursor, ) self.cur=self.conn.cursor() def process_item(self,item,spider): sql=f""" INSERT INTO t_heroes (name,title,story,skills,avatar_url) VALUES (%s,%s,%s,%s,%s); """ try: self.cur.execute(sql,(item["name"],item["title"],item["story"],"|".join(item["skills"]),item["avatar_url"])) self.conn.commit() except Exception as e: spider.logger.error(f"Failed to insert record into table t_heroes {e}") return item def close_spider(self,spider): self.cur.close() self.conn.close() ``` 确保在项目的根目录下找到`settings.py`文件，并修改其内部关于pipeline的部分，使其能够调用上述定义好的方法: ```python ITEM_PIPELINES = { 'honors_of_kings.pipelines.SaveToMysqlPipeline': 300, } ``` 以上即是从零开始搭建一套完整的解决方案的过程概述，涵盖了从Web端采集公开资料直至持久化保存整个流程的关键环节。