### 从服务器拉取数据并存入本地数据库 在Python中，可以通过使用`requests`库来从服务器获取数据，并使用`sqlite3`或`SQLAlchemy`等工具将数据存储到本地数据库中。以下是一个完整的流程示例： #### 获取数据 首先，使用`requests`库从服务器获取数据。假设服务器提供了一个REST API接口，返回JSON格式的数据。 ```python import requests def fetch_data_from_server(url): response = requests.get(url) if response.status_code == 200: return response.json() else: raise Exception(f"Failed to fetch data: {response.status_code}") ``` #### 存储数据到本地数据库 接下来，使用`sqlite3`库将获取到的数据存储到本地SQLite数据库中。 ```python import sqlite3 def save_data_to_database(data, db_path='data.db'): conn = sqlite3.connect(db_path) cursor = conn.cursor() # 创建表（假设数据包含id和value字段） cursor.execute(''' CREATE TABLE IF NOT EXISTS data ( id INTEGER PRIMARY KEY, value TEXT ) ''') # 插入数据 for item in data: cursor.execute('INSERT INTO data (id, value) VALUES (?, ?)', (item['id'], item['value'])) conn.commit() conn.close() ``` #### 可视化分析 最后，使用`matplotlib`库对存储在数据库中的数据进行可视化分析。 ```python import matplotlib.pyplot as plt import sqlite3 def visualize_data(db_path='data.db'): conn = sqlite3.connect(db_path) cursor = conn.cursor() # 查询数据 cursor.execute('SELECT id, value FROM data') rows = cursor.fetchall() # 提取数据 ids = [row[0] for row in rows] values = [int(row[1]) for row in rows] # 假设value是整数 # 绘制图表 plt.figure(figsize=(10, 5)) plt.plot(ids, values, marker='o') plt.xlabel('ID') plt.ylabel('Value') plt.title('Data Visualization') plt.grid(True) plt.show() conn.close() ``` ### 自动化每日任务 为了每天自动执行上述任务，可以使用操作系统的定时任务功能，例如在Linux系统中使用`cron`。 #### Linux系统下的`cron`设置 编辑`crontab`文件以添加定时任务： ```bash crontab -e ``` 添加以下行以每天凌晨1点执行脚本： ```bash 0 1 * * * /usr/bin/python3 /path/to/your_script.py ``` ### 示例脚本整合 将上述函数整合到一个脚本中： ```python import requests import sqlite3 import matplotlib.pyplot as plt def fetch_data_from_server(url): response = requests.get(url) if response.status_code == 200: return response.json() else: raise Exception(f"Failed to fetch data: {response.status_code}") def save_data_to_database(data, db_path='data.db'): conn = sqlite3.connect(db_path) cursor = conn.cursor() cursor.execute(''' CREATE TABLE IF NOT EXISTS data ( id INTEGER PRIMARY KEY, value TEXT ) ''') for item in data: cursor.execute('INSERT INTO data (id, value) VALUES (?, ?)', (item['id'], item['value'])) conn.commit() conn.close() def visualize_data(db_path='data.db'): conn = sqlite3.connect(db_path) cursor = conn.cursor() cursor.execute('SELECT id, value FROM data') rows = cursor.fetchall() ids = [row[0] for row in rows] values = [int(row[1]) for row in rows] plt.figure(figsize=(10, 5)) plt.plot(ids, values, marker='o') plt.xlabel('ID') plt.ylabel('Value') plt.title('Data Visualization') plt.grid(True) plt.show() conn.close() if __name__ == "__main__": server_url = "https://api.example.com/data" data = fetch_data_from_server(server_url) save_data_to_database(data) visualize_data() ```