### Python 爬虫抓取网页数据并保存为 CSV 文件 #### 准备工作 为了完成这一任务，需先安装必要的库。这通常涉及`requests`用于发送HTTP请求获取页面源码；`BeautifulSoup`来自`bs4`包，用来解析HTML文档；以及`pandas`或者内置的`csv`模块来处理CSV文件的操作。 对于开发环境而言，确保已正确配置Python解释器版本，并通过pip工具安装上述提及的相关依赖项[^1]。 #### 获取与解析网页内容 利用`requests.get()`函数发起GET请求获得目标网站响应对象，随后调用`.content`属性读取其主体部分作为字节流传递给`BeautifulSoup`构造方法初始化实例化后的soup对象以便后续分析提取所需信息片段。 ```python import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) html_content = response.content soup = BeautifulSoup(html_content, 'html.parser') ``` #### 提取消息并构建表格结构 遍历DOM树定位至特定标签节点集合，从中抽取感兴趣字段组合成列表形式每条记录对应一行最终形成二维表状序列待写入磁盘持久化存储。 假设要收集的是某类商品的价格和名称，则可以这样做： ```python items = [] for item_div in soup.find_all('div', class_='item'): name = item_div.find('h2').text.strip() price = float(item_div.find('span', class_='price').text.replace('$','')) items.append([name, price]) ``` #### 存储到CSV文件中 这里提供两种方式实现相同目的——一是借助于`pandas.DataFrame.to_csv()`便捷高效地一次性写出整个DataFrame；二是运用标准库中的`csv.writer`逐行追加记录直至全部完成。 ##### 方法一：使用 Pandas 库 这种方法简单直观易于理解适用于初学者快速上手实践案例学习。 ```python import pandas as pd df = pd.DataFrame(items, columns=['Name', 'Price']) df.to_csv('output.csv', index=False, encoding='utf-8-sig') ``` ##### 方法二：直接操作 CSV 模块 此方案灵活性更高允许自定义更多细节参数设置比如分隔符、引号规则等满足复杂场景需求。 ```python import csv with open('output_direct.csv', mode='w', newline='', encoding='utf-8-sig') as file: writer = csv.writer(file) writer.writerow(['Name', 'Price']) # 写入列名 for row in items: writer.writerow(row) ``` 注意，在某些情况下可能遇到字符集不兼容引发乱码现象，因此建议指定合适的编码格式如UTF-8带BOM签名(`utf-8-sig`)以确保跨平台兼容性良好[^5]。