### 使用 Python 编写爬虫程序从贝壳网抓取 20 页数据并保存到 CSV 文件 以下是实现该功能的一个完整代码示例。此代码基于 `requests` 和 `BeautifulSoup4` 库来完成网页数据的抓取和解析，并使用 `pandas` 将数据导出为 CSV 文件。 #### 安装依赖库 在运行代码之前，请确保安装所需的第三方库： ```bash pip install requests beautifulsoup4 pandas ``` #### 示例代码 以下是一个完整的 Python 程序，用于从贝壳网抓取 20 页的数据并将结果保存到 CSV 文件中： ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_data_from_beike(page_number): url = f"https://www.beike.com/some-endpoint?page={page_number}" # 替换为目标网站的实际 URL headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {page_number}, status code: {response.status_code}") soup = BeautifulSoup(response.text, 'html.parser') items = [] # 假设每一页有多个列表项，每个列表项包含名称、价格和其他字段 for item in soup.select('.item-class'): # 替换为实际 HTML 的 CSS 类名 name = item.find('h2').text.strip() if item.find('h2') else None price = item.find('span', class_='price-class').text.strip() if item.find('span', class_='price-class') else None items.append({ 'Name': name, 'Price': price }) return items all_items = [] for i in range(1, 21): # 抓取前 20 页 try: data = fetch_data_from_beike(i) all_items.extend(data) print(f"Page {i} fetched successfully.") except Exception as e: print(f"Error fetching page {i}: {e}") df = pd.DataFrame(all_items) # 将数据保存到 CSV 文件 output_file = "beike_data.csv" df.to_csv(output_file, index=False, encoding='utf-8-sig') print(f"All data has been saved to {output_file}.") ``` #### 关键点说明 1. **URL 构造**: 上述代码假设目标网站支持分页查询，可以通过修改 URL 参数（如 `?page=`）访问不同页面的内容[^1]。 2. **请求头设置**: 添加自定义 User-Agent 是为了避免被服务器识别为自动化工具而拒绝服务[^2]。 3. **HTML 解析**: 利用 `BeautifulSoup` 提供的功能定位所需数据的位置，并提取相关内容。 4. **异常处理**: 对于可能失败的 HTTP 请求或无效的 DOM 结构进行了基本错误捕获。 5. **数据存储**: 使用 Pandas 创建 DataFrame 并将其转换成 CSV 文件以便后续分析[^3]。 ---