### 使用Scrapy处理页面中多个相同HTML标签提取数据 当面对具有多个相同HTML标签的情况时，可以利用`ItemLoader`以及XPath表达式的灵活性来有效管理这些元素。对于每一个目标字段，可以通过指定不同的路径或条件来区分各个元素。 #### 定义Item类 定义一个用于存储所需信息的Item类，例如： ```python import scrapy class ZYJItem(scrapy.Item): title = scrapy.Field() source = scrapy.Field() author = scrapy.Field() publish_time = scrapy.Field() content_creator = scrapy.Field() photographer = scrapy.Field() reviewer = scrapy.Field() ``` #### 创建自定义ItemLoader 为了更好地控制数据加载流程并简化代码结构，建议创建一个继承自`scrapy.loader.ItemLoader`的新类，在其中设置默认的输入和输出处理器[^3]。 ```python from scrapy.loader import ItemLoader from w3lib.html import remove_tags class ZYJItemLoader(ItemLoader): default_output_processor = TakeFirst() def __init__(self, *args, **kwargs): super(ZYJItemLoader, self).__init__(*args, item=ZYJItem(), **kwargs) # 设置各字段对应的Xpath/CSS选择器及预处理函数 self.add_xpath('title', '//h1/text()') self.add_xpath('source', '(//span[contains(@class,"origin")])[last()]//text()') self.add_xpath('author', '//meta[@name="author"]/@content') self.add_xpath('publish_time', '//time/@datetime') # 特定于内容部分的选择逻辑 self.add_xpath('content_creator', "//div[@id='footzoon']/div[@id='endtext']/*[contains(text(),'创作')]/following-sibling::*/text()") self.add_xpath('photographer', "//div[@id='footzoon']/div[@id='endtext']/*[contains(text(),'摄影')]/following-sibling::*/text()") self.add_xpath('reviewer', "//div[@id='footzoon']/div[@id='endtext']/*[contains(text(),'审核')]/following-sibling::*/text()") # 处理可能存在的多条记录 self.replace_value('content', lambda v: [remove_tags(x).strip() for x in v]) ``` 上述实现方式不仅能够有效地应对单个唯一标识符下的单一值获取需求，同时也支持针对同一父节点下存在多个子节点的情形进行批量操作。特别是对于`content_creator`, `photographer`, 和 `reviewer`这三个属性而言，采用了基于文本匹配的方式定位具体位置，并随后选取紧随其后的兄弟节点作为实际的目标对象[^2]。 #### 解析详情页的具体实践 在Spider内部编写解析规则时，可以直接实例化上面提到过的`ZYJItemLoader`来进行工作流的设计。每当遇到一个新的详情页面链接时，就启动一次新的加载过程，直至完成整个网站的信息采集任务为止[^1]。 ```python def parse_detail(self, response): loader = ZYJItemLoader(response=response) try: loaded_item = loader.load_item() yield loaded_item except Exception as e: logging.error(f"Parsing failed with error {e}") raise DropItem("Missing required fields.") ``` 此段代码展示了如何在一个典型的回调函数中运用已配置好的`ItemLoader`去构建完整的item实体，并通过管道机制传递出去供后续阶段使用。同时加入了异常捕获环节以确保即使某些关键要素未能成功读取也不会影响整体程序运行稳定性。