### 代码结构说明 为了实现从房产网站抓取二手房数据并保存为CSV文件，采用以下技术栈： - **requests**：用于发起HTTP请求获取网页内容。 - **BeautifulSoup**：用于解析HTML文档并提取所需数据。 - **pandas**：用于将爬取的数据整理成结构化格式，并导出为CSV文件。 该方案不依赖Scrapy框架，适用于静态页面或简单动态加载的网站。若目标网站使用JavaScript进行复杂渲染，则需结合Selenium[^2]。 --- ### 完整Python爬虫代码 以下是一个完整的示例，用于爬取链家网（以长沙为例）的二手房信息，并将结果保存为`houses.csv`文件： ```python import requests from bs4 import BeautifulSoup import pandas as pd import time import random headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', } def get_page(url): try: response = requests.get(url, headers=headers) response.encoding = 'utf-8' if response.status_code == 200: return response.text else: print(f"Failed to fetch {url}, status code: {response.status_code}") return None except Exception as e: print(f"Error fetching {url}: {e}") return None def parse_list_page(html): soup = BeautifulSoup(html, 'html.parser') house_links = soup.select('.sellListContent li .title a') links = [link['href'] for link in house_links] return links def parse_detail_page(html): soup = BeautifulSoup(html, 'html.parser') title = soup.select_one('h1.detail-title') and soup.select_one('h1.detail-title').text.strip() price = soup.select_one('.price .total') and soup.select_one('.price .total').text.strip() unit_price = soup.select_one('.unitPriceValue') and soup.select_one('.unitPriceValue').text.strip() community_name = soup.select_one('.aroundInfo .communityName span') and soup.select_one('.aroundInfo .communityName span').text.strip() area = soup.select_one('.areaName span') and soup.select_one('.areaName span').text.strip() return { '标题': title, '总价': price, '单价': unit_price, '小区': community_name, '区域': area } def main(): base_url = 'https://cs.ke.com/ershoufang/' all_data = [] for page in range(1, 6): # 抓取前5页数据 url = f'{base_url}pg{page}/' print(f'正在抓取第 {page} 页: {url}') list_html = get_page(url) if not list_html: continue house_urls = parse_list_page(list_html) for house_url in house_urls: print(f'正在抓取房源详情页: {house_url}') detail_html = get_page(house_url) if detail_html: data = parse_detail_page(detail_html) all_data.append(data) time.sleep(random.uniform(1, 2)) # 避免访问频率过高 df = pd.DataFrame(all_data) df.to_csv('houses.csv', index=False, encoding='utf-8-sig') print("数据已成功保存至 houses.csv") if __name__ == '__main__': main() ``` --- ### 数据存储与处理 通过`pandas`库，可以将爬取到的房源信息转换为DataFrame对象，并导出为CSV文件。使用`utf-8-sig`编码可避免中文乱码问题。此外，程序中引入了随机延迟机制，以降低被封IP的风险。 --- ### 注意事项 - 如果网站启用了复杂的反爬机制（如验证码、滑块验证等），建议使用Selenium模拟浏览器行为。 - 若网页内容由JavaScript动态加载，`requests`无法获取完整DOM结构，此时应改用Selenium进行渲染。 - 爬取过程中应遵守目标网站的Robots协议，避免对服务器造成过大压力。 ---