### 编写Python爬虫程序以生成包含1000条手机信息的数据集 为了实现这一目标，可以采用以下方法构建一个完整的Python爬虫程序。该程序将使用`requests`库来发送HTTP请求，`BeautifulSoup`库解析HTML文档，并最终将数据存储到CSV文件中。 #### 依赖环境配置 在运行此脚本之前，请确保已安装所需的第三方库。可以通过以下命令完成安装： ```bash pip install requests beautifulsoup4 pandas ``` #### 完整代码示例 以下是用于抓取手机信息的完整Python代码： ```python import requests from bs4 import BeautifulSoup import csv import time import random # 设置请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_phone_data(url): """ 获取单页上的所有手机信息 """ response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') phones = [] items = soup.find_all('div', class_='phone-item') # 替换为实际网站对应的HTML结构[^1] for item in items: name = item.find('h2').text.strip() if item.find('h2') else "N/A" price = item.find('span', class_='price').text.strip() if item.find('span', class_='price') else "N/A" brand = item.find('span', class_='brand').text.strip() if item.find('span', class_='brand') else "N/A" phone_info = { 'Name': name, 'Price': price, 'Brand': brand } phones.append(phone_info) return phones def save_to_csv(data, filename='phones.csv'): """ 将数据保存至CSV文件 """ keys = data[0].keys() with open(filename, 'w', newline='', encoding='utf-8') as output_file: dict_writer = csv.DictWriter(output_file, fieldnames=keys) dict_writer.writeheader() dict_writer.writerows(data) def main(): base_url = 'https://example.com/phones?page={}' # 替换为目标网站的实际URL模板[^2] all_phones = [] current_count = 0 target_count = 1000 while current_count < target_count: page_num = int(current_count / 20) + 1 # 假设每页有20条记录 url = base_url.format(page_num) try: new_phones = fetch_phone_data(url) if not new_phones: # 如果当前页面无数据，则停止采集 break all_phones.extend(new_phones) current_count += len(new_phones) print(f"Fetched {current_count} records so far.") time.sleep(random.uniform(1, 3)) # 随机延迟防止被封禁IP地址[^3] except Exception as e: print(f"Error fetching data from {url}: {e}") continue save_to_csv(all_phones[:target_count]) # 只保留前1000条有效数据 print("Data collection completed and saved to CSV file.") if __name__ == "__main__": main() ``` #### 关于代码的关键说明 1. **请求头设置**：通过自定义`User-Agent`字段伪装成真实用户的浏览器行为，降低被反爬的概率[^1]。 2. **动态分页逻辑**：假设每一页显示固定数量（如20条）的信息，因此可以根据已经获取的数量计算下一页索引[^2]。 3. **异常处理与随机延时**：加入基本错误捕获机制以及合理的等待时间间隔，减少因频繁请求而触发服务器防护措施的风险[^3]。 --- #### 数据清洗与预处理建议 由于不同源站点返回的内容可能存在噪声或者缺失项，在正式分析前还需进一步清理所提取出来的原始资料。例如标准化价格单位、去除多余空白字符等操作均有助于提升后续建模效果的质量。 ---