### 使用 Scrapy 爬取古诗文网站并保存为 CSV 或文本文件 为了实现通过 Scrapy 爬取古诗文网站并将数据保存到 CSV 文件或文本文件中，可以按照以下方式构建爬虫程序。 #### 1. 安装依赖库 确保已安装 `scrapy` 库。如果未安装，可以通过以下命令完成安装： ```bash pip install scrapy ``` --- #### 2. 创建 Scrapy 项目 运行以下命令创建一个新的 Scrapy 项目： ```bash scrapy startproject gushiwen ``` 这将在当前目录下生成一个名为 `gushiwen` 的项目结构。 进入该项目目录： ```bash cd gushiwen ``` --- #### 3. 配置 Items 数据模型 定义要提取的数据字段，在项目的 `items.py` 中配置如下内容： ```python import scrapy class GushiItem(scrapy.Item): title = scrapy.Field() # 古诗标题 author = scrapy.Field() # 作者名称 dynasty = scrapy.Field() # 所属朝代 content = scrapy.Field() # 正文内容 ``` 此部分用于描述抓取的目标数据项[^4]。 --- #### 4. 编写 Spider 脚本 在 `spiders` 子目录中新建一个 Python 文件（如 `gushi_spider.py`），编写具体的爬取逻辑： ```python import scrapy from gushiwen.items import GushiItem class GushiSpider(scrapy.Spider): name = 'gushi' # 爬虫名称 allowed_domains = ['gushiwen.cn'] # 域名范围 start_urls = ['https://www.gushiwen.cn/'] # 初始 URL 地址 def parse(self, response): poems = response.css('div.poem') # 提取页面中的诗歌列表 for poem in poems: item = GushiItem() item['title'] = poem.css('h1::text').get() or '' # 抓取标题 item['author'] = poem.css('.author::text').get() or '' # 抓取作者 item['dynasty'] = poem.css('.dynasty::text').get() or '' # 抓取朝代 item['content'] = '\n'.join(poem.css('.content p::text').getall()) # 抓取正文 yield item # 返回抓取的结果给管道处理 next_page = response.css('a.next-page::attr(href)').get() # 查找下一页链接 if next_page is not None: yield response.follow(next_page, self.parse) # 继续请求下一页 ``` 这里使用 CSS Selector 来定位 HTML 元素，并从中抽取所需的信息[^2]。 --- #### 5. 设置持久化存储 编辑 `settings.py` 文件来启用 Feeds 导出功能，从而自动将结果保存至目标文件格式： ```python FEEDS = { 'output.csv': { # 输出路径及文件名 'format': 'csv', # 文件格式 (可选 csv/json/text) 'encoding': 'utf8', 'overwrite': True, }, } ``` 这样无需额外编码即可轻松导出成指定类型的文档[^3]。 对于纯文本形式，则需自定义 Pipeline 并重载其方法以逐条记录每笔资料于单独档案里头；或者直接修改 FEED 参数里的 format 字段设为 text 即可满足需求。 --- #### 6. 运行爬虫 最后执行下面这条指令启动刚才建立好的蜘蛛程式去采集资料： ```bash scrapy crawl gushi -o output.txt --logfile log.txt ``` 其中 `-o` 参数指定了输出文件的位置与类型，而 `--logfile` 将日志信息存入特定位置方便后续排查错误[^1]。 --- ### 注意事项 - 如果遇到反爬机制，可能需要加入 User-Agent 模拟浏览器行为或是设置延时访问间隔。 - 对动态加载的内容考虑引入 Selenium 辅助解析 JavaScript 渲染后的 DOM 结构[^2]。