### 使用 Scrapy 框架爬取网页数据并通过 XPath 解析，将结果存储到 MongoDB 中，同时实现简单可视化的 Python 爬虫代码示例 以下是一个完整的示例，展示如何使用 Scrapy 框架爬取网页数据、通过 XPath 解析数据、将结果存储到 MongoDB 数据库中，并实现简单的可视化功能。 #### 1. 创建 Scrapy 项目 首先，创建一个 Scrapy 项目并生成爬虫文件： ```bash scrapy startproject scrapy_mongodb_project cd scrapy_mongodb_project scrapy genspider example_spider example.com ``` #### 2. 编写爬虫逻辑 在 `example_spider.py` 文件中编写爬虫逻辑，使用 XPath 提取所需的数据。 ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example_spider" start_urls = ["https://example.com"] def parse(self, response): # 使用 XPath 提取数据 for item in response.xpath('//div[@class="item"]'): yield { 'title': item.xpath('.//h2/text()').get(), 'description': item.xpath('.//p/text()').get(), 'link': item.xpath('.//a/@href').get() } # 处理分页 next_page = response.xpath('//a[@class="next-page"]/@href').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` #### 3. 配置 MongoDB Pipeline 在 `pipelines.py` 文件中配置 MongoDB 数据管道以存储爬取的数据。 ```python import pymongo class MongoDBPipeline: def __init__(self): # 初始化 MongoDB 连接 self.host = 'localhost' self.port = 27017 self.db_name = 'scrapy_db' self.collection_name = 'items' # 创建 MongoDB 客户端 self.client = pymongo.MongoClient(f'mongodb://{self.host}:{self.port}/') self.db = self.client[self.db_name] self.collection = self.db[self.collection_name] def process_item(self, item, spider): # 将提取的 item 插入到 MongoDB 集合中 self.collection.insert_one(dict(item)) return item def close_spider(self, spider): # 关闭 MongoDB 连接 self.client.close() ``` 在 `settings.py` 文件中启用该管道： ```python ITEM_PIPELINES = { 'scrapy_mongodb_project.pipelines.MongoDBPipeline': 300, } ``` #### 4. 实现简单的可视化功能 可以使用 Flask 或其他 Web 框架来实现简单的可视化界面。以下是一个基于 Flask 的示例： ```python from flask import Flask, jsonify from pymongo import MongoClient app = Flask(__name__) # 连接到 MongoDB client = MongoClient('localhost', 27017) db = client['scrapy_db'] collection = db['items'] @app.route('/data', methods=['GET']) def get_data(): # 查询 MongoDB 数据并返回 JSON 格式 data = list(collection.find({}, {'_id': 0})) return jsonify(data) if __name__ == '__main__': app.run(debug=True) ``` 运行 Flask 应用后，可以通过访问 `http://127.0.0.1:5000/data` 查看爬取的数据。 #### 5. 分布式爬取与队列管理 Scrapy 支持分布式架构，爬取队列通常保存在数据库中。如果爬虫中断，数据库中的 Request 依然存在，下次启动时会接着上次中断的地方继续爬取[^3]。 --- ### 注意事项 - 在实际应用中，请确保遵守目标网站的 `robots.txt` 文件规定，并尊重网站的爬虫策略。 - 如果需要处理动态加载的内容，可以结合 Selenium 或 Puppeteer 等工具模拟浏览器行为。 ---