### 使用 Scrapy 爬取电影天堂网站数据并保存为 CSV 文件 为了实现从电影天堂网站抓取数据并将结果保存为 CSV 文件的目标，可以遵循以下方法构建 Scrapy 爬虫项目。以下是具体步骤和代码示例： --- #### 1. 创建 Scrapy 项目 首先创建一个新的 Scrapy 项目： ```bash scrapy startproject dytt_project ``` 进入项目目录： ```bash cd dytt_project ``` --- #### 2. 定义爬虫逻辑 在 `dytt_project/spiders/` 下新建一个名为 `dytt_spider.py` 的文件，并定义爬虫逻辑。 以下是完整的爬虫代码示例： ```python import scrapy class DyttSpider(scrapy.Spider): name = "dytt" allowed_domains = ["www.dytt8.net"] start_urls = [ "https://www.dytt8.net/html/gndy/dyzz/index.html", # 假设这是目标页面URL ] def parse(self, response): """解析列表页""" movie_items = response.xpath('//div[@class="co_content8"]/ul/li') # 获取所有电影项 for item in movie_items: title = item.xpath('.//a/text()').get().strip() # 提取电影标题 detail_url = item.xpath('.//a/@href').get() # 提取详情链接 yield { 'title': title, 'detail_url': f"https://www.dytt8.net{detail_url}" if detail_url.startswith('/') else detail_url, } next_page = response.xpath('//a[text()="下一页"]/@href').get() if next_page is not None: yield response.follow(next_page, callback=self.parse) def parse_detail(self, response): """解析详情页""" download_link = response.xpath('//td[@bgcolor="#fdfddf"]/a/@href').get() # 提取下载链接 description = response.xpath('//span[@property="v:description"]/text()').get() or "" yield { 'title': response.meta.get('title'), 'description': description.strip(), 'download_link': download_link, } ``` --- #### 3. 配置 Items 和 Pipelines（可选） 虽然可以直接通过命令行参数 `-o` 输出为 CSV 文件，但如果需要更多控制，可以在项目的 `items.py` 中定义数据结构，并启用自定义的 Pipeline。 ##### （1）Items 定义 编辑 `items.py` 文件如下： ```python import scrapy class MovieItem(scrapy.Item): title = scrapy.Field() description = scrapy.Field() download_link = scrapy.Field() ``` ##### （2）Pipeline 定义 如果需要手动处理数据存储，可在 `pipelines.py` 中添加类似以下内容： ```python import csv class CsvExportPipeline: def __init__(self): self.file = open("movie_data.csv", "w", newline="", encoding="utf-8") self.writer = csv.DictWriter(self.file, fieldnames=["title", "description", "download_link"]) self.writer.writeheader() def process_item(self, item, spider): self.writer.writerow(item) return item def close_spider(self, spider): self.file.close() ``` 然后，在 `settings.py` 中激活该 Pipeline： ```python ITEM_PIPELINES = { 'dytt_project.pipelines.CsvExportPipeline': 300, } ``` --- #### 4. 运行爬虫并生成 CSV 文件 如果没有使用自定义 Pipeline，可以通过以下命令直接运行爬虫并将结果保存为 CSV 文件： ```bash scrapy crawl dytt -o movies.csv ``` 这将会把爬取的结果保存到当前目录下的 `movies.csv` 文件中[^1]。 --- #### 5. 解决乱码问题 如果生成的 CSV 文件存在乱码问题，可以尝试以下两种方法之一解决： - **方法一**：确保编码设置为 UTF-8 并在打开时指定编码。 - **方法二**：将文件转换为 ANSI 编码。例如，右击文件 -> 记事本打开 -> 文件 > 另存为 -> 设置编码为 ANSI -> 保存[^1]。 --- ### 注意事项 - **XPath 表达式调试**：建议先单独测试 XPath 表达式的准确性，可通过浏览器开发者工具或第三方工具验证。 - **反爬机制应对**：部分网站可能具有反爬措施，需注意请求频率以及是否需要模拟登录或其他操作。 - **字段映射一致性**：确保最终输出的字段名与实际提取的数据相匹配。 ---