墨尔本服务器监控告警实战：Prometheus + Grafana

监控是运维的眼睛。本文分享墨尔本服务器 Prometheus + Grafana 监控告警实战。

监控架构 1) Prometheus：指标采集和存储 2) Node Exporter：服务器指标采集 3) Grafana：数据可视化 4) AlertManager：告警管理 5) 各种 Exporter：数据库、应用等

Prometheus 部署 1) 安装：二进制或 Docker 2) 配置：prometheus.yml 定义采集目标 3) 存储：时序数据库，默认 15 天 4) 采集：pull 模式，定期拉取指标 5) 服务发现：自动发现采集目标

核心配置 ```yaml global: scrape_interval: 15s scrape_configs: - job_name: 'node' static_configs: - targets: ['localhost:9100'] - job_name: 'mysql' static_configs: - targets: ['localhost:9104'] ```

Node Exporter 指标 1) CPU：使用率、各核心状态 2) 内存：总量、使用、缓存 3) 磁盘：使用率、IO、吞吐 4) 网络：流量、错误、丢包 5) 系统：负载、进程数、文件描述符

Grafana 仪表盘 1) 导入模板：Node Exporter 官方模板 2) 自定义面板：根据需求创建 3) 变量：支持多主机切换 4) 告警：在面板上配置告警 5) 共享：导出和分享仪表盘

告警规则 1) CPU 使用率 > 80% 持续 5 分钟 2) 磁盘使用率 > 85% 3) 内存使用率 > 90% 4) 服务宕机 5) 网络丢包 > 1% 6) 数据库连接数过多

AlertManager 配置 1) 告警分组：按服务分组 2) 抑制规则：避免重复告警 3) 静默：维护期静默告警 4) 通知：邮件、Slack、钉钉、Webhook 5) 升级：未处理告警升级通知

告警规则示例 ```yaml groups: - name: server_alerts rules: - alert: HighCPU expr: 100 - (avg by(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80 for: 5m labels: severity: warning annotations: summary: "High CPU usage on {{ $labels.instance }}" ```

应用监控 1) 应用指标：QPS、延迟、错误率 2) 数据库指标：连接数、慢查询、QPS 3) Redis 指标：内存、命中率、QPS 4) 自定义指标：业务相关指标 5) 使用 client library 埋点

日志监控 1) Loki：轻量日志聚合 2) ELK：成熟的日志方案 3) 日志告警：错误日志告警 4) 日志检索：快速定位问题

告警最佳实践 1) 告警要有意义：避免告警疲劳 2) 分级告警：warning、critical 3) 告警要可操作：明确处理步骤 4) 定期审查：清理无效告警 5) 值班机制：告警有人处理

效果对比 | 指标 | 无监控 | Prometheus 监控 | | --- | --- | --- | | 故障发现时间 | 小时级 | 分钟级 | | 故障恢复时间 | 长 | 短 | | 性能瓶颈 | 难发现 | 可视化 | | 资源规划 | 凭经验 | 数据支撑 | | 告警准确率 | 低 | 高 |

常见问题 问题一：告警太多 修复：调整阈值；分组抑制；清理无用告警。

问题二：监控数据丢失 修复：Prometheus 高可用；远程存储。

问题三：仪表盘太乱 修复：按服务拆分仪表盘；使用变量。

问题四：告警延迟 修复：缩短采集间隔；优化规则。

总结：Prometheus + Grafana 是现代监控的标准方案。合理配置采集、仪表盘、告警，可以提前发现问题，快速定位故障，保障系统稳定运行。