使用Python爬取贝壳租房网站数据可以按照以下步骤进行： ### 1. 发送请求获取网页内容 可使用`requests`库发送HTTP请求来获取贝壳租房网站的网页源代码。示例代码如下： ```python import requests def get_html(page): """获取网站html代码""" url = "https://bj.zu.ke.com/zufang/pg{}/#contentList".format(page) response = requests.get(url) if response.status_code == 200: return response.text return None ``` 此代码定义了一个`get_html`函数，它接收一个页码作为参数，通过`requests.get`方法发送请求并返回网页的HTML代码。若请求成功（状态码为200），则返回HTML代码；否则返回`None` [^2]。 ### 2. 解析网页内容 使用`lxml`库中的`etree`模块来解析HTML内容。`xpath`是一种在XML文档中查找信息的语言，可用于在HTML文档中对元素和属性进行遍历，具有可在XML中查找信息、支持HTML查找以及通过元素和属性进行导航等优点 [^3]。示例代码如下： ```python from lxml import etree html = get_html(1) if html: tree = etree.HTML(html) # 这里可以根据具体的xpath表达式提取所需信息 # 例如提取房源标题 titles = tree.xpath('//div[@class="content__list--item--title twoline"]/a/text()') print(titles) ``` 上述代码先调用`get_html`函数获取第一页的HTML代码，然后使用`etree.HTML`方法将其转换为可解析的树结构，最后通过`xpath`表达式提取房源标题。 ### 3. 数据存储 可以使用`xlsxwriter`库将提取的数据存储到Excel文件中。示例代码如下： ```python import xlsxwriter # 创建一个新的Excel文件 workbook = xlsxwriter.Workbook('beike_rent.xlsx') worksheet = workbook.add_worksheet() # 写入表头 worksheet.write(0, 0, '标题') # 假设已经提取了标题数据 titles = ['标题1', '标题2', '标题3'] for i, title in enumerate(titles): worksheet.write(i + 1, 0, title) # 关闭工作簿 workbook.close() ``` 此代码创建了一个名为`beike_rent.xlsx`的Excel文件，将提取的标题数据写入文件中。 ### 4. 循环爬取多页数据 为了获取更多的租房信息，可以循环爬取多页数据。示例代码如下： ```python for page in range(1, 6): # 爬取前5页数据 html = get_html(page) if html: tree = etree.HTML(html) titles = tree.xpath('//div[@class="content__list--item--title twoline"]/a/text()') # 这里可以将提取的数据存储到Excel或其他地方 ``` 上述代码通过循环调用`get_html`函数，依次获取前5页的HTML代码，并提取房源标题。