### 使用 Scrapy 爬取房天下网站各城市新房数据 为了实现通过 Scrapy 框架爬取房天下网站上的新房信息，可以按照以下方法设计 Spider 和 Items。 #### 1. 定义 Item 类型 首先，在 `items.py` 文件中定义用于存储新房信息的数据模型。以下是基于引用中的字段扩展的新房信息类： ```python import scrapy class NewHouseItem(scrapy.Item): """ 新房 item """ province = scrapy.Field() # 省份 city = scrapy.Field() # 城市 district = scrapy.Field() # 行政区 name = scrapy.Field() # 小区名称 price = scrapy.Field() # 价格 rooms = scrapy.Field() # 户型描述 area = scrapy.Field() # 面积范围 address = scrapy.Field() # 地址 origin_url = scrapy.Field() # 数据源链接 ``` 此部分定义了新房的关键属性[^1]。 --- #### 2. 创建 Spider 创建一个新的 Spider 来抓取目标页面的内容。假设我们已经知道房天下的新房列表页 URL 结构如下： - 各省的城市列表：https://www.fang.com/SoufunFamily.htm - 每个城市的新房列表页：http://{city}.newhouse.fang.com/house/s/ Spider 的主要逻辑分为以下几个方面： ##### (a) 初始化请求 从省份和城市的索引页获取所有城市及其对应的新房入口链接。 ```python import scrapy from ..items import NewHouseItem class FangtianxiaNewhousespiderSpider(scrapy.Spider): name = 'fangtianxia_newhouse' allowed_domains = ['fang.com'] start_urls = ['https://www.fang.com/SoufunFamily.htm'] def parse(self, response): provinces = response.xpath('//div[@class="outCont"]//tr') for province_tr in provinces: province_name = province_tr.xpath('.//td[not(@class)]/strong/text()').get() if not province_name or "其它" in province_name: continue city_links = province_tr.xpath('.//td[last()]//a') for link in city_links: city_name = link.xpath('./text()').get() href = link.xpath('./@href').get() if ".newhouse." in href and "/house/" in href: yield scrapy.Request( url=f"http:{href}", callback=self.parse_city, meta={"province": province_name.strip(), "city": city_name} ) ``` 此处解析省级区域以及其下属城市，并过滤出有新房板块的城市链接[^1]。 --- ##### (b) 解析城市新房列表 进入具体城市的新房列表页后，提取每一页的房源详情并翻页继续抓取。 ```python def parse_city(self, response): province = response.meta.get('province', '') city = response.meta.get('city', '') new_house_list = response.xpath('//ul[contains(@id,"newhouse_loupai_list")]/li') for house_li in new_house_list: try: name = house_li.xpath('.//div[@class="nlcd_name"]/a/text()').re_first(r'\s*(.+)\s*') price_text = house_li.xpath('.//div[@class="nhouse_price"]/span/text()').get(default='暂无') + \ house_li.xpath('.//div[@class="nhouse_price"]/em/text()').get(default='') detail_link = house_li.xpath('.//div[@class="nlcd_name"]/a/@href').get() full_detail_url = f"https:{detail_link}" if detail_link.startswith("//") else None item = NewHouseItem( province=province, city=city, name=name.strip(), price=price_text.strip().replace("\r\n", ""), origin_url=full_detail_url ) yield scrapy.Request(url=item['origin_url'], callback=self.parse_detail, meta={'item': item}) except Exception as e: pass next_page = response.xpath('//a[text()="下一页"]/@href').get() if next_page: yield response.follow(next_page, self.parse_city) ``` 这里实现了对单个房屋基本信息的抽取，并跳转到详细页面进一步处理[^1]。 --- ##### (c) 抓取详细信息 访问每个房子的具体页面来补充更多细节（如面积、户型等）。 ```python def parse_detail(self, response): item = response.meta.get('item', {}) info_div = response.xpath('//div[@class="infor_wrap clearfix"]') room_info = "".join(info_div.xpath('.//div[@class="inf_left fl mr_30"]/dl/dd/text()').extract()).strip() area_range = info_div.xpath('.//div[@class="area"]/text()').re_first(r'(\d+-\d+)平米') item.update({ "rooms": room_info.split()[0], "address": info_div.xpath('.//dd/p/a/text()').get("").strip(), "area": area_range.replace("平米", "") if area_range else "" }) yield item ``` 完成最终的信息填充并返回完整的记录项。 --- ### 注意事项 - **反爬机制**：需注意目标站点可能存在的防爬措施，适当设置下载延迟 (`DOWNLOAD_DELAY`) 或启用代理池。 - **动态加载内容**：如果某些数据由 JavaScript 动态渲染，则需要借助工具如 Selenium 进行模拟浏览器操作。 - **异常处理**：增加错误日志记录功能以便调试问题所在位置。 ---