### Python 爬虫 58 同城 二手房 数据抓取 示例代码 为了实现对58同城二手房信息的爬取，可以采用`requests`库发送HTTP请求并获取网页内容，再利用`BeautifulSoup4`或`lxml`中的XPath方法解析HTML文档。下面是一个简单的例子，展示了如何使用这些工具来抓取58同城上的二手房名称及其对应的价格。 #### 使用 `requests` 和 `BeautifulSoup` ```python import requests from bs4 import BeautifulSoup url = 'https://gz.58.com/ershoufang/' # 广州地区二手房价目页链接作为示例 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url=url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') items = [] for item in soup.select('.property'): # .property 是包含房产信息的一个类名 title_element = item.find('h3', {'class': 'title'}) price_element = item.find('p', {'class': 'unit-price'}) if title_element and price_element: house_name = title_element.get_text(strip=True) unit_price = price_element.get_text(strip=True).replace('\r\n', '').strip() items.append({ 'house_name': house_name, 'unit_price': unit_price }) else: print(f"Failed to fetch the page with status code {response.status_code}") print(items[:5]) # 打印前五个结果以便查看效果 ``` 这段脚本会访问指定的城市站点，并尝试从中抽取所有的房屋列表项，提取每套房子的名字以及单价等信息[^1]。 #### 使用 `requests` 和 XPath 解析 (`lxml` 库) 如果更倾向于使用XPath表达式来进行节点定位，则可以选择安装`lxml`库，并修改上述部分逻辑如下： ```python from lxml import etree # ... 继续沿用之前的 url 变量和 headers 字典 ... tree = etree.HTML(response.content.decode()) items_xpath = tree.xpath('//div[contains(@class,"property")]') items = [] for item in items_xpath: try: house_name = ''.join(item.xpath('.//h3[@class="title"]/text()')).strip() unit_price = ''.join(item.xpath('.//p[@class="unit-price"]//text()')).replace('\r\n', '').strip() items.append({ 'house_name': house_name, 'unit_price': unit_price }) except Exception as e: continue print(items[:5]) ``` 此版本同样能够完成相同的功能，但是采用了不同的DOM树遍历方式[^3]。