### Python脚本：爬取1000条手机信息数据集并保存到指定目录 以下是一个完整的Python脚本，能够从网络上爬取1000条手机信息，并将其保存为CSV文件，存储路径为 `D:\Python\save`。代码中使用了`requests`库来发送HTTP请求，`BeautifulSoup`库解析HTML文档，并利用`csv`模块将数据导出。 #### 依赖环境配置 在运行此脚本之前，请确保已安装所需的第三方库。可以通过以下命令完成安装： ```bash pip install requests beautifulsoup4 pandas ``` #### 完整代码示例 以下是用于抓取手机信息的完整Python代码： ```python import os import requests from bs4 import BeautifulSoup import csv import time import random # 创建保存目录 os.makedirs(r"D:\Python\save", exist_ok=True) # 设置请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_phone_data(url): """ 获取单页上的所有手机信息 """ response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') phones = [] items = soup.find_all('div', class_='phone-item') # 替换为实际网站对应的HTML结构[^1] for item in items: name = item.find('h2').text.strip() if item.find('h2') else "N/A" price = item.find('span', class_='price').text.strip() if item.find('span', class_='price') else "N/A" brand = item.find('span', class_='brand').text.strip() if item.find('span', class_='brand') else "N/A" phone_info = { 'Name': name, 'Price': price, 'Brand': brand } phones.append(phone_info) return phones def save_to_csv(data, filepath=r'D:\Python\save\phones.csv'): """ 将数据保存至CSV文件 """ keys = data[0].keys() with open(filepath, 'w', newline='', encoding='utf-8-sig') as output_file: # 使用utf-8-sig编码解决Excel乱码问题 dict_writer = csv.DictWriter(output_file, fieldnames=keys) dict_writer.writeheader() dict_writer.writerows(data) def main(): base_url = 'https://example.com/phones?page={}' # 替换为目标网站的实际URL模板[^2] all_phones = [] current_count = 0 target_count = 1000 while current_count < target_count: page_num = int(current_count / 20) + 1 # 假设每页有20条记录 url = base_url.format(page_num) try: new_phones = fetch_phone_data(url) if not new_phones: # 如果当前页面无数据，则停止采集 break all_phones.extend(new_phones) current_count += len(new_phones) print(f"Fetched {current_count} records so far.") time.sleep(random.uniform(1, 3)) # 随机延迟防止被封禁IP地址[^3] except Exception as e: print(f"Error fetching data from {url}: {e}") continue save_to_csv(all_phones[:target_count]) # 只保留前1000条有效数据 print("Data collection completed and saved to CSV file at D:\\Python\\save.") if __name__ == "__main__": main() ``` #### 关键功能解释 1. **创建保存目录**：通过`os.makedirs()`函数确保目标路径存在，即使不存在也会自动创建。 2. **动态分页逻辑**：假设每一页显示固定数量（如20条）的信息，因此可以根据已经获取的数量计算下一页索引。 3. **异常处理与随机延时**：加入基本错误捕获机制以及合理的等待时间间隔，减少因频繁请求而触发服务器防护措施的风险[^3]。 4. **UTF-8-SIG编码支持**：为了避免某些工具（如Microsoft Excel）打开CSV文件时出现乱码问题，采用了`utf-8-sig`编码格式。 --- #### 数据清洗与预处理建议 由于不同源站点返回的内容可能存在噪声或者缺失项，在正式分析前还需进一步清理所提取出来的原始资料。例如标准化价格单位、去除多余空白字符等操作均有助于提升后续建模效果的质量。 ---