### 使用Python进行数据采集与存储 #### 选择合适的库 对于数据采集，`requests` 库用于发送HTTP请求并接收响应。为了处理HTML文档，可以选择 `BeautifulSoup` 或者更高效的 `lxml` 解析器。如果目标网站有复杂的动态加载内容，则可能需要用到像Selenium这样的浏览器自动化工具[^1]。 ```python import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') ``` #### 获取页面内容 一旦选择了适当的库之后，就可以编写代码来获取网页的内容。上述代码片段展示了如何使用 `requests` 发送GET请求以及怎样用 `BeautifulSoup` 来解析返回的 HTML 文档[^2]。 #### 提取所需信息 提取特定的信息通常涉及到查找标签或者属性。例如，在一个商品列表页中寻找所有的产品名称： ```python product_names = [] for item in soup.find_all('div', class_='product-name'): product_name = item.string.strip() product_names.append(product_name) ``` #### 将数据存入文件 当完成了数据抓取工作后，下一步就是考虑怎么把得到的数据保存下来以便后续分析。最简单的方式之一是将其写入 CSV 文件，这可以通过内置模块 csv 完成；而对于更加复杂的数据结构来说，Pandas 的 DataFrame 是更好的选择[^3]。 ```python import pandas as pd dataframe = pd.DataFrame({ 'Product Name': product_names, }) dataframe.to_csv('products.csv', index=False) # 如果要保存为Excel格式 dataframe.to_excel('products.xlsx', sheet_name='Sheet1', index=False) ``` #### 处理 JSON API 响应 有时数据不是来自静态网页而是 RESTful APIs 返回的结果。这时可以直接调用接口并将结果转换成 Python 字典对象再进一步加工[^4]。 ```python api_url = "https://jsonplaceholder.typicode.com/posts" posts_response = requests.get(api_url).json() df_posts = pd.DataFrame(posts_response) df_posts.to_json('posts.json', orient='records') ``` #### 高级应用案例 除了基本的操作外，还可以做一些更有意义的事情比如定期更新数据库、监控价格变动趋势等。下面是一个例子说明了如何收集农产品的价格变化情况，并最终生成图表展示出来[^5]。 ```python import matplotlib.pyplot as plt def plot_price_trend(data): dates = data['Date'] prices = data[['Apple Price', 'Tomato Price', 'Corn Price']] fig, ax = plt.subplots(figsize=(8,6)) for column in prices.columns: ax.plot(dates, prices[column], label=column.replace("Price", "")) ax.set_xlabel('Date') ax.set_ylabel('Wholesale Price ($)') ax.legend(title="Products") plt.title('Agricultural Product Wholesale Prices Over Time') plt.tight_layout() plt.savefig('price_trends.png') plt.show() ```