### 基于Python的数据采集与可视化项目实例 以下是关于如何使用Python完成数据采集与可视化的具体示例。此示例展示了从Prometheus获取时间序列数据并将其可视化的过程。 #### 数据采集部分 利用 `requests` 库向 Prometheus 发送 HTTP 请求，执行 PromQL 查询语句来提取所需的时间序列数据[^3]： ```python import requests def fetch_prometheus_data(query, prometheus_url="http://localhost:9090"): response = requests.get(f"{prometheus_url}/api/v1/query", params={"query": query}) if response.status_code != 200: raise Exception(f"Failed to get data from Prometheus: {response.text}") result = response.json() status = result['status'] if status != 'success': raise Exception(f"Request failed with status {status}") return result['data']['result'] # 示例查询 CPU 使用率 cpu_usage_query = 'rate(process_cpu_seconds_total[5m])' data = fetch_prometheus_data(cpu_usage_query) print(data) ``` #### 数据处理部分 将采集到的原始 JSON 数据转换为 Pandas DataFrame 的结构以便后续分析和操作[^4]: ```python import pandas as pd def process_to_dataframe(raw_data): processed_data = [] for item in raw_data: metric_name = item['metric'].get('__name__', '') value = float(item['value'][1]) timestamp = int(item['value'][0]) processed_data.append({ 'timestamp': pd.to_datetime(timestamp, unit='s'), 'metric': metric_name, 'value': value }) df = pd.DataFrame(processed_data) return df.set_index('timestamp') df = process_to_dataframe(data) print(df.head()) ``` #### 可视化部分 采用 Matplotlib 或 Seaborn 对数据进行图表绘制，直观展现趋势变化[^1][^2]: ```python import matplotlib.pyplot as plt import seaborn as sns sns.set(style="darkgrid") plt.figure(figsize=(10, 6)) sns.lineplot(x=df.index, y="value", data=df) plt.title("CPU Usage Over Time") plt.xlabel("Time") plt.ylabel("Usage Rate") plt.xticks(rotation=45) plt.tight_layout() plt.show() ``` 以上代码片段实现了完整的流程：从远程服务抓取实时指标、解析成易于计算的形式再到最终呈现给用户的图形界面。 ###