### 使用Scrapy框架爬取贝壳网房源信息并保存到CSV文件和数据库 以下是一个完整的解决方案，描述如何利用Scrapy框架爬取贝壳网的楼盘名称、地址、均价、总价，并将其分别保存到CSV文件和数据库中。 #### 1. 创建Scrapy项目 初始化一个新的Scrapy项目： ```bash scrapy startproject beike_spider cd beike_spider ``` #### 2. 定义Items模型 编辑 `items.py` 文件以定义需要提取的数据结构。这里我们关注楼盘名称、地址、均价和总价四个字段。 ```python import scrapy class BeikeItem(scrapy.Item): building_name = scrapy.Field() # 楼盘名称 address = scrapy.Field() # 地址 avg_price = scrapy.Field() # 均价 total_price = scrapy.Field() # 总价 ``` 此部分代码定义了一个名为 `BeikeItem` 的类，其中包含了我们需要采集的信息字段[^3]。 #### 3. 编写Spider逻辑 在 `spiders/beike.py` 中编写具体的爬虫逻辑： ```python import scrapy class BeikeSpider(scrapy.Spider): name = 'beike' allowed_domains = ['ke.com'] def __init__(self, city=None, *args, **kwargs): super(BeikeSpider, self).__init__(*args, **kwargs) if not city: raise ValueError("City parameter is required.") base_url = f'https://{city}.ke.com/loupan/pg{{}}/' self.start_urls = [base_url.format(1)] self.base_url = base_url def parse(self, response): for selector in response.xpath('//ul[@class="house-lst"]/li'): try: item = BeikeItem() # 提取具体字段 item['building_name'] = selector.xpath('.//div[@class="lp-name"]/h3/a/text()').get().strip() item['address'] = selector.xpath('.//div[@class="col-1"]/p[1]/span/text()').get().strip() item['avg_price'] = selector.xpath('.//div[@class="col-2"]/p/span/text()').get().strip() + "元/m²" item['total_price'] = selector.xpath('.//div[@class="col-2"]/p[last()]/text()').re(r'\d+')[0] + "万" yield item except Exception as e: print(f"Error parsing item: {e}") # 获取下一页链接并继续抓取 current_page = int(response.url.split('/')[-2][2:]) next_page = current_page + 1 has_next = bool(response.css('a.next')) if has_next: next_url = self.base_url.format(next_page) yield scrapy.Request(url=next_url, callback=self.parse) ``` 该脚本实现了从指定城市的新房页面逐页抓取的功能[^4]。 #### 4. 配置Settings文件 调整项目的配置参数以便更好地适应需求，在 `settings.py` 添加或修改这些选项： ```python BOT_NAME = 'beike_spider' SPIDER_MODULES = ['beike_spider.spiders'] NEWSPIDER_MODULE = 'beike_spider.spiders' ROBOTSTXT_OBEY = False # 不遵循robots.txt协议 DOWNLOAD_DELAY = 2 # 设置下载延迟防止被封禁 CONCURRENT_REQUESTS_PER_DOMAIN = 8 # 同一域名并发数限制 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...' # 自定义User-Agent头 FEED_FORMAT = 'csv' # 输出格式设置为CSV FEED_URI = './output.csv' # 数据保存路径 ITEM_PIPELINES = { 'beike_spider.pipelines.BeikePipeline': 300, } ``` 此处设置了输出格式为 CSV 并指定了保存路径；还启用了自定义管道处理数据入库的操作[^1]。 #### 5. 实现Pipeline存入数据库 新建一个 Pipeline 来管理将 Items 存储至 MySQL 数据库的过程。首先安装必要的依赖包： ```bash pip install pymysql ``` 接着创建 `pipelines.py` 文件内容如下所示： ```python import pymysql class BeikePipeline(object): def open_spider(self, spider): """连接数据库""" self.conn = pymysql.connect( host='localhost', port=3306, user='root', password='your_password', database='real_estate', charset='utf8mb4') self.cursor = self.conn.cursor() def process_item(self, item, spider): sql = """ INSERT INTO properties(building_name, address, avg_price, total_price) VALUES (%s,%s,%s,%s); """ values = ( item.get('building_name'), item.get('address'), item.get('avg_price'), item.get('total_price') ) self.cursor.execute(sql, values) self.conn.commit() return item def close_spider(self, spider): """关闭资源""" self.cursor.close() self.conn.close() ``` 这个 pipeline 类负责打开数据库连接、执行 SQL 插入语句以及最终释放资源的工作流程[^2]。 #### 6. 执行爬虫任务 可以通过命令行启动爬虫作业，同时传递目标城市的简称作为参数之一： ```bash scrapy crawl beike -a city=bj ``` 这样就会针对北京地区的新建住宅发起爬取动作，并把结果同步记录进本地 CSV 文档与远程关系型数据库表单之中。 --- ###