使用Python爬取小区数据可按以下两种方式实现： ### 爬取全国小区名称及城市简写 可依据网站提供的城市分类来爬取城市简写，具体代码如下： ```python import requests from bs4 import BeautifulSoup address_list = [] def get_address(): response = requests.get("https://www.lianjia.com/city/").text soup = BeautifulSoup(response, 'lxml') text_list = soup.find_all('a') for item in text_list: if type(item.get('href')) == str and item.get('href')[0] == 'h': value = item.get('href').split("https://")[1].split('.')[0] if value not in address_list: address_list.append(value) if value == 'yw': break print(address_list) get_address() ``` 此代码通过请求链家城市分类页面，解析HTML结构，提取城市简写信息并存储在列表中，最后打印该列表 [^1]。 ### 爬取贝壳小区数据 以下代码用于爬取贝壳小区数据，并将其存储在CSV文件中： ```python import csv import time import requests import parsel import pandas as pd f = open('data.csv', mode='w', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=[ '小区', '价格', '区域', '商圈', '结构', '建成年份' ]) csv_writer.writeheader() headers = { 'User-Agent': '你的user-agent', 'Cookie': '你的cookie' } # 设定页数范围，假设需要抓取前5页 for page in range(1, 5): url = f'https://m.ke.com/lf/xiaoqu/?page={page}' response = requests.get(url=url, headers=headers) html = response.text selector = parsel.Selector(html) lis = selector.css('.xiaoqu-list-page__li-item .info') for li in lis: title = li.css('.title::text').get() Price = li.css('.price em::text').get() info = li.css('.sub-text::text').getall() dit = { '小区': title, '价格': Price, '区域': info[0], '商圈': info[1], '结构': info[3], '建成年份': info[5] } csv_writer.writerow(dit) print(dit) # 为防止请求过于频繁，可以加入延时 time.sleep(2) f.close() ``` 该代码通过循环请求不同页面的小区数据，解析HTML结构提取所需信息，然后将其写入CSV文件，同时为避免请求过于频繁，加入了2秒的延时 [^2]。 ### 链家小区数据爬取注意事项 链家网站地址有规律，单页有30个小区且最多30页，从第二页起链接变为pg2之类，可借此爬取30页以后的数据。不过链家很多小区是无效的，需从源码了解具体结构 [^3]。