如何从网站获得数据，并导入pycharm中变成csv文件

### 使用Python从网页抓取数据并保存为CSV文件 #### 准备工作为了实现这一过程，在PyCharm环境中需先确保已安装必要的库，如`requests`用于发送HTTP请求以及`BeautifulSoup`或`lxml`解析HTML文档。此外，还需导入`csv`模块以便于后续的数据写入操作。 #### 获取网页内容通过`requests.get()`函数可以轻松获取指定URL的内容，并将其作为字符串返回给程序进一步处理[^1]。 ```python import requests from bs4 import BeautifulSoup import csv url = 'http://example.com' # 替换成实际的目标网址 response = requests.get(url) html_content = response.text ``` #### 解析HTML结构使用`BeautifulSoup`对象来加载上述获得的HTML文本，从而方便地定位所需的信息片段。这里假设要提取的是房源描述信息为例： ```python soup = BeautifulSoup(html_content, 'html.parser') houses = soup.find_all('div', class_='house') # 假设每个房屋条目都包裹在一个具有特定类名的<div>标签内 data_list = [] for house in houses: apartment_info = house.select_one('div p a').get_text(strip=True) # 提取出<a>标签内的文字部分并去除前后空白字符 data_list.append([apartment_info]) ``` #### 数据存档至CSV文件创建一个新的CSV文件并将收集到的数据逐行记录进去。考虑到编码兼容性问题，推荐采用UTF-8编码方式打开文件流。 ```python with open('output.csv', mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) header = ['Apartment Description'] writer.writerow(header) for row in data_list: writer.writerow(row) ``` 这样就完成了整个流程——即从访问目标站点开始直到最终形成可供分析使用的本地CSV副本为止[^2]。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇给我一段Python代码将指定目录下的word规章文件进行数据清洗。word文件中含表格和图片。