### 使用 Python 编写爬虫类获取二手房交易数据 为了实现从网络上抓取二手房交易数据，并对其进行处理和可视化，下面提供了一个完整的解决方案。该方案包括定义一个用于抓取网页内容的 `Spider` 类、利用 Pandas 进行数据分析以及借助 Matplotlib 展示结果。 #### 定义 Spider 类以执行 Web 抓取操作 ```python import requests from bs4 import BeautifulSoup import pandas as pd class Spider: def __init__(self, url): self.url = url def fetch_page(self): response = requests.get(self.url) soup = BeautifulSoup(response.text, 'html.parser') return soup def extract_data(self, soup): items = [] # 假设页面结构如下所示；实际应用时需根据具体网站调整解析逻辑 listings = soup.find_all('div', class_='list-item') for listing in listings: title = listing.h2.a['title'] price = float(listing.span.string[:-1]) # 移除单位 "万" area = int(listing.p.contents[-2].strip()[:-3]) # 提取面积数值部分 item = { 'Title': title, 'Price (RMB)': price * 10000, # 转换为元 'Area (sqm)': area } items.append(item) df = pd.DataFrame(items) return df ``` 此段代码创建了一个名为 `Spider` 的类，它接受目标 URL 并提供了两个主要方法：一个是用来请求 HTML 页面 (`fetch_page`) ，另一个则是提取所需的数据 (`extract_data`) 。这里假设了特定的HTML标签和属性名称，在真实场景下应当依据所访问站点的具体情况进行适当修改[^1]。 #### 利用 Pandas 对收集到的信息做进一步加工 一旦获得了原始数据框对象之后就可以运用各种函数来进行清洗、转换等预处理工作： ```python def preprocess(df): # 删除缺失值所在的行 cleaned_df = df.dropna() # 添加新列计算每平方米价格 cleaned_df["Unit Price"] = cleaned_df["Price (RMB)"]/cleaned_df["Area (sqm)"] return cleaned_df.sort_values(by="Unit Price", ascending=False).reset_index(drop=True) spider_instance = Spider("http://example.com/house-list") # 替换成真实的URL地址 soup_content = spider_instance.fetch_page() raw_dataframe = spider_instance.extract_data(soup_content) processed_dataframe = preprocess(raw_dataframe) print(processed_dataframe.head()) ``` 这段脚本首先实例化了之前定义好的 `Spider` 类，并调用了其成员函数完成了整个流程——即先下载网页再从中抽取有用信息形成 DataFrame 表格形式存储起来。接着对这些记录进行了简单的清理与扩充，比如去掉了含有空白单元格的那一行并将总价转化为单价以便后续绘图显示之用[^2]。 #### 应用 Matplotlib 创建图表呈现最终成果 最后一步便是采用图形的方式让读者能够更加清晰地理解所得结论： ```python import matplotlib.pyplot as plt plt.figure(figsize=(8,6)) plt.scatter(x=processed_dataframe.index, y=processed_dataframe['Unit Price'], color='blue') for idx,row in processed_dataframe.iterrows(): label = f"{row['Title']}" plt.annotate(label, # this is the text (idx,row['Unit Price']), # these are the coordinates to position the label textcoords="offset points", # how to position the text xytext=(0,10), # distance from text to points (x,y) ha='center') plt.title('Second-hand House Unit Prices Distribution') plt.xlabel('Index of Property') plt.ylabel('Unit Price per Square Meter(RMB)') plt.show() ``` 上述程序片段绘制了一张散点图来表示不同房源之间的单价差异情况。每个点代表一处房产的位置及其对应的每平米售价。此外还添加了一些标注帮助识别具体的案例位置[^3]。