### 使用 PyCharm 编写 Python 爬虫代码爬取链家重庆二手房房源信息 以下内容详细描述了如何使用 PyCharm 编写 Python 代码以爬取链家重庆二手房房源信息，规避反爬机制，并将结果保存为 `cq.csv` 文件。 --- #### 创建项目与文件 在 PyCharm 中创建一个新的 Python 项目[^1]。具体操作如下： 1. 双击 PyCharm 图标启动软件。 2. 点击创建新项目。 3. 选择【Pure Python】，设置文件位置，点击右下角【Create】。 4. 在菜单栏中选择【文件】→【新建】→【Python File】。 5. 输入文件名（如 `lianjia_spider.py`），点击【确定】。 --- #### 避免反爬机制 为了规避链家网站的反爬机制，可以采用以下策略： - **动态 User-Agent**：通过 `fake_useragent` 库随机生成 User-Agent，模拟不同浏览器访问[^1]。 - **随机延时**：在每次请求之间添加随机延时，避免触发频率限制[^1]。 - **IP 代理池**（可选）：如果频繁访问导致 IP 被封禁，可以构建一个代理池以切换 IP 地址。 以下是相关代码示例： ```python from fake_useragent import UserAgent import time import random ua = UserAgent() headers = {'User-Agent': ua.random} # 随机延时函数 def random_delay(): time.sleep(random.uniform(1, 3)) ``` --- #### 构造爬虫逻辑 链家重庆二手房页面的 URL 模式为 `https://cq.lianjia.com/ershoufang/pg{}/`，其中 `{}` 表示页码。每页包含约 30 条房源信息，因此需要爬取前 10 页以获取 300 条数据。 以下是完整的爬虫代码： ```python import requests from bs4 import BeautifulSoup import pandas as pd from fake_useragent import UserAgent import time import random # 动态 User-Agent 设置 ua = UserAgent() headers = {'User-Agent': ua.random} # 构造链家重庆二手房页面链接 def construct_url(page): base_url = "https://cq.lianjia.com/ershoufang/pg{}/" return base_url.format(page) # 获取网页内容 def fetch_page(url): try: response = requests.get(url, headers={'User-Agent': ua.random}) if response.status_code == 200: return response.text else: print(f"Failed to fetch page: {response.status_code}") return None except Exception as e: print(f"Error fetching page: {e}") return None # 解析网页内容 def parse_html(html): soup = BeautifulSoup(html, 'lxml') items = soup.find_all('li', class_='clear') # 查找所有房源信息 data = [] for item in items: title = item.find('div', class_='title').get_text(strip=True) if item.find('div', class_='title') else 'N/A' total_price = item.find('div', class_='totalPrice').get_text(strip=True) if item.find('div', class_='totalPrice') else 'N/A' unit_price = item.find('div', class_='unitPrice').get_text(strip=True) if item.find('div', class_='unitPrice') else 'N/A' data.append([title, total_price, unit_price]) return data # 主程序逻辑 def main(): all_data = [] for page in range(1, 11): # 爬取前 10 页，每页约 30 条数据 url = construct_url(page) html = fetch_page(url) if html: page_data = parse_html(html) all_data.extend(page_data) random_delay() # 随机延时以避免被封禁 df = pd.DataFrame(all_data, columns=['Title', 'Total Price', 'Unit Price']) df.to_csv('cq.csv', index=False, encoding='utf-8-sig') if __name__ == '__main__': main() ``` --- #### 数据存储 爬取到的房源信息将存储为 CSV 文件。使用 `pandas` 库的 `to_csv` 方法保存数据[^1]。确保文件编码为 `utf-8-sig`，以兼容 Excel 打开时的中文显示问题。 --- #### 注意事项 1. 如果目标网站结构发生变化，可能需要调整解析规则。例如，检查 `soup.find_all` 的参数是否正确匹配当前页面的 HTML 结构[^3]。 2. 对于动态加载的内容，可以考虑使用 Selenium 或 Playwright 模拟浏览器行为以获取完整数据[^2]。 3. 如果频繁访问导致 IP 被封禁，建议使用代理池或更换网络环境。 ---