### Python 爬虫 链家网 二手房 数据采集 存储 Excel 实现方法 为了完成从链家网抓取二手房数据并将其存储至Excel文件的任务，可以遵循以下流程： #### 发起请求 使用`requests`库向目标网址发送HTTP GET请求来获取网页内容。设置合适的User-Agent头信息模拟浏览器访问，以避免被服务器识别为自动化工具而拒绝服务。 ```python import requests url = 'https://cs.lianjia.com/ershoufang/' headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko)' 'Chrome/91.0.4472.124 Safari/537.36') } response = requests.get(url=url, headers=headers) print(response.status_code) # 输出状态码验证是否成功连接 ``` #### 获取请求内容 确认响应的状态码正常后（通常是200），可以通过`.text`属性读取返回的内容字符串形式的数据[^4]。 #### 解析数据 采用`lxml`库中的HTML解析器处理页面源代码，提取所需字段如房屋标题、价格等。这里假设已知具体的XPath路径用于定位这些元素的位置。 ```python from lxml import etree html_content = response.content.decode('utf-8') # 将字节流转换成UTF-8编码的字符串 tree = etree.HTML(html_content) # 假设我们想要获取所有的房子名称和对应的价格 house_names = tree.xpath('//div[@class="title"]/a/text()') prices = tree.xpath('//span[@class="totalPrice totalPrice2"]/i/text()') data_list = list(zip(house_names, prices))[:10] # 取前十个作为例子展示 for item in data_list: print(f'House Name: {item[0]}, Price: ¥{item[1]}万') ``` #### 保存数据到Excel 利用`openpyxl`模块创建新的工作簿对象，并依次写入每一行记录；最后调用`.save()`函数指定文件名进行保存操作。 ```python import openpyxl wb = openpyxl.Workbook() ws = wb.active ws.title = "Lianjia Second-hand Houses" header_row = ["House Name", "Price"] ws.append(header_row) for row_data in data_list: ws.append(row_data) output_file_path = './lianjia_houses.xlsx' wb.save(output_file_path) print(f'Data has been saved to "{output_file_path}" successfully.') ``` 上述过程展示了完整的Python爬虫项目框架——从网络请求直到最终结果落地的过程。需要注意的是，在实际开发过程中还需要考虑异常情况下的错误处理机制以及遵守网站robots协议等相关法律法规的要求[^2]。