二手房信息爬取的方法与技巧多样，不同方式各有特点。 ### 通用方法 - **确定目标**：明确要爬取的信息，如第一个页面的设置、中间列表部分、翻页部分等；从第二个页面获取参考总价、单价、小区名称、大区域 + 小区域等基本信息和交易信息，还有地图部分的数据等 [^1]。 - **处理 URL**：以链家网为例，其二手房信息显示的 URL 有规律，如 https://bj.lianjia.com/ershoufang/pg2/ 每个 URL 递增一，可利用此规律构造不同页面的 URL 进行信息爬取 [^2]。 - **添加请求头**：访问网页时，要添加头信息，否则可能无法访问 [^2]。 - **解析网页**：可以使用不同的解析工具，如用 beautifulsoup 解析网页，找到二手房信息；也可以使用 xpath 解析网页，但初次使用可能不习惯 [^2][^4]。 - **数据处理**：解析出来的数据可能有部分不工整，需要进行格式化处理 [^4]。 - **保存数据**：将信息简单处理后保存成 csv 文件 [^2]。 ### 不同框架下的方法 - **Scrapy 框架**：创建爬虫项目使用 `scrapy startproject Ljhouse`，进入项目使用 `cd Ljhouse`，设置爬虫名和爬虫域名使用 `scrapy genspider Lj bj.lianjia.com`，之后还需修改 settings 设置 [^3]。 - **Python 脚本**：编写主程序，通过列表设置要爬取的区域，使用循环控制爬取的页数，拼接新的 URL 并启动爬虫程序。同时可以设置标志位来控制程序的变化，如是否继续爬取某个区域 [^4]。 ### 数据筛选与获取 获取当前条件下的房屋数据个数，判断是否超过 3000，若超过则进行第二级筛选，若未超过则直接获取数据 [^1]。 ```python # 示例代码，以 Python 爬取链家二手房信息为例 import requests from bs4 import BeautifulSoup import csv headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} url = 'https://bj.lianjia.com/ershoufang/pg{}/' with open('bj_ershoufang.csv', 'a', newline='', encoding='utf-8') as fp: write = csv.writer(fp) write.writerow(['标题', '详情', '关注量', '总价(万)', '每平方米价格']) for page in range(1, 11): new_url = url.format(page) response = requests.get(new_url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') # 这里需要根据实际网页结构提取信息 # 示例代码省略具体提取逻辑 # write.writerow([title, detail, attention, total_price, unit_price]) print(f'第{page}页爬取完成') ```