# 告别手动处理告警：用夜莺+Ibex实现磁盘清理自动化（附Python脚本模板） 凌晨三点，刺耳的告警铃声再次响起——/var分区使用率超过90%。这已经是本周第三次了。作为团队唯一的SRE，你揉着惺忪的睡眼打开终端，开始机械地执行那套熟悉的命令：查找大文件、确认可删除内容、清理日志...这种重复性工作正在吞噬你的生命。有没有可能让系统在发现问题时自动修复？这就是我们今天要解决的痛点。 ## 1. 技术栈选型与架构设计 夜莺监控（Nightingale）作为新一代云原生观测平台，其告警自愈机制与Ibex模块的组合，为自动化运维提供了完整解决方案。这套系统的核心优势在于： - **实时响应**：从触发告警到执行修复脚本的延迟控制在秒级 - **安全管控**：通过严格的权限校验和脚本沙箱机制保障操作安全 - **灵活扩展**：支持Python/Shell/PowerShell等多种脚本语言 - **执行追溯**：完整的任务历史记录和输出日志审计 典型工作流程如下图所示（模拟架构图）： ``` [Grafana阈值告警] → [夜莺告警引擎] → [Ibex任务分发] ↑ ↓ [监控指标采集] [Categraf执行脚本] ↑ ↓ [服务器资源] [自动修复结果反馈] ``` 在实际生产环境中，我们需要特别注意以下设计约束： - 磁盘清理操作必须遵循**最小权限原则**，使用专用服务账号 - 脚本需要处理**文件锁**和**进程占用**等边缘情况 - 保留**关键日志证据**以备后续审计 - 设置**操作超时**防止长时间阻塞 ## 2. 环境配置实战 ### 2.1 Ibex服务端部署 推荐使用Docker快速部署Ibex服务端： ```bash # 创建数据持久化目录 mkdir -p /opt/ibex/{logs,meta} # 启动容器（适配V6版本） docker run -d --name ibex-server \ -p 10090:10090 \ -v /opt/ibex/logs:/home/ibex/logs \ -v /opt/ibex/meta:/home/ibex/meta \ flashcatcloud/ibex:latest ``` 关键配置参数说明： | 参数 | 推荐值 | 作用 | |------|--------|------| | worker_num | CPU核心数×2 | 并发任务处理能力 | | timeout | 300 | 任务默认超时(秒) | | meta_dir | /home/ibex/meta | 脚本存储路径 | | auth_users | 配置文件定义 | 访问控制名单 | ### 2.2 夜莺回调配置 在夜莺Web控制台完成以下关键配置： 1. **自愈地址配置**： ```ini Address = "http://ibex-server:10090" BasicAuthUser = "ibex" BasicAuthPass = "your_secure_password" ``` 2. **Categraf客户端启用**： ```toml [ibex] enable = true servers = ["ibex-server:10090"] interval = "1500ms" ``` > 生产环境建议：将interval调整为2000-3000ms以降低服务端压力，同时设置servers为负载均衡地址实现高可用。 ## 3. Python自愈脚本开发 ### 3.1 安全清理框架 以下脚本模板实现了带安全检查的日志清理功能： ```python #!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import time import json import subprocess from pathlib import Path class DiskCleaner: def __init__(self): self.safe_dirs = ["/var/log", "/tmp"] self.max_age = 30 # 最大保留天数 self.min_free = 20 # 目标空闲百分比 def check_safe_path(self, path): """验证路径是否在允许操作的白名单中""" abs_path = os.path.abspath(path) return any(abs_path.startswith(d) for d in self.safe_dirs) def get_disk_usage(self, path): """获取磁盘使用情况""" stat = os.statvfs(path) return { 'total': stat.f_blocks * stat.f_frsize, 'used': (stat.f_blocks - stat.f_bfree) * stat.f_frsize, 'free': stat.f_bavail * stat.f_frsize } def clean_old_files(self, path): """清理过期文件""" if not self.check_safe_path(path): raise PermissionError(f"路径 {path} 不在允许的操作范围内") deleted = [] for f in Path(path).rglob('*'): if f.is_file() and (time.time() - f.stat().st_mtime) > self.max_age * 86400: try: f.unlink() deleted.append(str(f)) except Exception as e: print(f"删除失败 {f}: {str(e)}") return deleted if __name__ == "__main__": cleaner = DiskCleaner() try: # 从标准输入读取告警上下文 alert_data = json.loads(sys.stdin.read()) target_path = alert_data.get('target_path', '/var/log') # 执行清理操作 report = { 'deleted': cleaner.clean_old_files(target_path), 'before': cleaner.get_disk_usage(target_path), 'after': None } # 验证清理效果 report['after'] = cleaner.get_disk_usage(target_path) print(json.dumps(report, indent=2)) except Exception as e: print(f"执行失败: {str(e)}", file=sys.stderr) sys.exit(1) ``` ### 3.2 关键安全措施 1. **路径白名单校验**：确保脚本不会误删系统关键目录 2. **文件年龄检查**：只清理超过保留期限的文件 3. **操作前后对比**：生成详细的清理报告 4. **异常捕获**：所有操作都有try-catch保护 ### 3.3 告警规则配置 在夜莺中创建对应的告警规则： ```bash # 磁盘空间告警规则示例 disk_used_percent{path="/var"} > 85 ``` 回调地址配置为： ``` ${ibex}/[脚本ID]?target_path=/var/log ``` ## 4. 生产环境进阶技巧 ### 4.1 性能优化方案 当需要处理大量服务器时，可以采用分级清理策略： ```python def batch_clean(self, hosts): """分布式清理方案""" from concurrent.futures import ThreadPoolExecutor with ThreadPoolExecutor(max_workers=10) as executor: futures = { executor.submit(self.remote_clean, host): host for host in hosts } return [f.result() for f in futures] def remote_clean(self, host): """通过SSH执行远程清理""" cmd = f"ssh {host} 'find /var/log -type f -mtime +30 -delete'" try: subprocess.run(cmd, check=True, shell=True, timeout=300) return {"host": host, "status": "success"} except subprocess.TimeoutExpired: return {"host": host, "status": "timeout"} ``` ### 4.2 监控看板配置 建议在Grafana中创建自愈监控看板，关键指标包括： - **执行成功率**：`sum(ibex_task_status{result="success"}) / count(ibex_task_status)` - **平均耗时**：`avg(ibex_task_duration_seconds)` - **资源释放量**：`sum(disk_released_bytes)` ### 4.3 异常处理机制 完善的错误处理应包含： 1. **重试机制**：对网络抖动等临时错误自动重试 ```python @retry(stop_max_attempt_number=3, wait_fixed=2000) def safe_remove(self, path): os.unlink(path) ``` 2. **熔断保护**：当失败率超过阈值时暂停任务 ```python if failure_rate > 0.3: raise CircuitBreakerError("失败率过高，触发熔断") ``` 3. **通知降级**：当自愈失败时自动升级告警级别 ```python if not self.check_clean_result(): alert_level = "critical" ``` ## 5. 典型问题排查指南 以下是三个最常见的故障场景及解决方案： **案例一：权限不足导致执行失败** - 现象：脚本报错"Permission denied" - 解决： 1. 检查Categraf运行账号权限 2. 验证sudoers配置中的免密设置 3. 使用`getfacl`确认目标目录ACL **案例二：脚本超时被中断** - 现象：任务状态显示timeout - 优化： ```python # 在脚本中添加超时控制 from func_timeout import func_timeout, FunctionTimedOut try: func_timeout(300, long_running_task) except FunctionTimedOut: print("任务执行超时") ``` **案例三：清理后空间未释放** - 现象：df显示空间未增加 - 排查： 1. 使用`lsof | grep deleted`查找被进程占用的文件 2. 检查是否处于docker挂载点 3. 确认文件系统类型（如tmpfs的特殊性） 在实施自动化清理方案后，某电商平台运维团队将磁盘告警处理时间从平均47分钟缩短到完全自动化，每月减少人工干预超过200次。关键在于建立完善的监控-自愈闭环，而不是简单地用脚本替代人工操作。