### 使用 Scrapy 框架爬取古诗文网的诗句、作者及资源链接 #### 数据模型定义 在 `items.py` 文件中，需定义数据结构来存储爬取的内容。以下是适合该需求的数据模型： ```python import scrapy class GushiwenItem(scrapy.Item): # 诗句 sentence = scrapy.Field() # 作者 author = scrapy.Field() # 资源链接 url = scrapy.Field() ``` 此部分基于已有引用中的数据模型设计[^1]。 #### 创建 Scrapy 项目 按照标准流程初始化并创建 Scrapy 爬虫项目： ```bash scrapy startproject gushiwen_project cd gushiwen_project scrapy genspider gushiwen_spider www.gushiwen.cn ``` 上述命令会生成基础目录结构以及初始 Spider 文件[^3]。 #### 编写 Spider 文件 Spider 是核心逻辑所在，负责请求网页并提取所需数据。以下是一个完整的 Spider 实现示例： ```python import scrapy from ..items import GushiwenItem class GushiwenSpider(scrapy.Spider): name = "gushiwen" allowed_domains = ["www.gushiwen.cn"] start_urls = [ "https://www.gushiwen.cn/default_1.aspx", # 替换为目标页面URL ] def parse(self, response): poems = response.css('.left .cont') for poem in poems: item = GushiwenItem() # 提取诗句 sentence = poem.css('b::text').get() if not sentence: continue item['sentence'] = sentence.strip() # 提取作者 author_info = poem.xpath('./p/a/text()').getall() if author_info: item['author'] = ', '.join(author_info).strip() # 提取资源链接 link = poem.xpath('./p/a/@href').get() if link: full_url = response.urljoin(link) item['url'] = full_url yield item # 处理分页 next_page = response.css('a.c_pager_next::attr(href)').get() if next_page is not None: next_page_link = response.urljoin(next_page) yield scrapy.Request(url=next_page_link, callback=self.parse) ``` 在此实现中，通过 CSS 和 XPath 表达式定位目标元素，并将其赋值给对应的字段[^2]。 #### 配置 Pipeline 为了保存抓取到的数据至 JSON 文件或其他形式，可以在 `pipelines.py` 中配置处理逻辑。例如： ```python import json class JsonWriterPipeline: def open_spider(self, spider): self.file = open('output.json', 'w', encoding='utf-8') def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + "\n" self.file.write(line) return item ``` 随后更新 `settings.py` 启用管道功能： ```python ITEM_PIPELINES = { 'gushiwen_project.pipelines.JsonWriterPipeline': 300, } ``` 以上代码片段参考了已有的 Pipelines 设计思路[^4]。 --- ### 注意事项 1. **反爬机制**：古诗文网可能具备一定的反爬措施，建议设置合理的下载延迟 (`DOWNLOAD_DELAY`) 并启用随机 User-Agent。 2. **合法性验证**：确保遵守目标网站的服务条款与隐私政策，合法合规地进行数据采集。 3. **错误处理**：增加异常捕获逻辑以应对网络波动或 HTML 结构变化带来的潜在问题。 ---