搭建监控平台（二）

前言

在上一篇博文中，我们完成了监控平台的初步搭建。但光有监控还不够，在 OOM、磁盘即将满、BTRFS 出现错误等情况时，我们可能会因为未能及时监控到而导致服务器出现异常。为了解决这个情况，我们可以利用 Prometheus 中的监控功能来设置对一些情况的警告。并经由 Alertmanager 进行统一管理并转发。本博文拟针对一些常见情况设置自动告警，并经由 Alertmanager 往指定邮箱发送告警邮件。

配置 Prometheus

关联 Alertmanager

在正式设置警告规则前，我们应该关联 Prometheus 与 Alertmanager，让 Prometheus 正确向 Alertmanager 发送告警信息：

1
alerting:
2
  alertmanagers:
3
    - static_configs:
4
        - targets: ['localhost:9093']

配置告警规则

首先，应该创建一个子目录用于维护警告：

1
mkdir -p /etc/prometheus/rules

然后在配置文件引入这个目录：

1
rule_files:
2
  - '/etc/prometheus/rules/*.yml'

接着我们创建相关的告警规则：

1
groups:
2
  - name: hostStatsAlert
3
    rules:
4
      - alert: CPUHighUse
5
        expr: '(1 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]))) * 100 > 0.85'
6
      - alert: DiskFull
7
        expr: 'node_filesystem_avail_bytes{mountpoint=~"/"} / node_filesystem_size_bytes < 0.85'
8
      - alert: OOM
9
        expr: 'node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes < 0.85'
10
      - alert: NodeDown
11
        expr: 'up == 0'

然后重启 Prometheus：

1
systemctl restart prometheus

安装并配置 Alertmanager

Alertmanager 同样也在官方仓库中，直接安装即可。

紧接着我们对其进行简单的配置，让他通过指定的 Gmail 邮箱向一个特殊的邮箱发送告警邮件：

1
global:
2
  smtp_smarthost: smtp.gmail.com:587
3
  smtp_from: <接受邮箱地址>
4
  smtp_auth_username: <发送邮箱用户名>
5
  smtp_auth_password: <发送邮箱密码>
6

7
route:
8
  group_by: ['alertname']
9
  group_wait: 30s
10
  group_interval: 5m
11
  repeat_interval: 1h
12
  receiver: 'email'
13

14
receivers:
15
  - name: email
16
    email_configs:
17
      - to: <接受邮箱地址>
18
        send_resolved: true
19

20
inhibit_rules:
21
  - source_match:
22
      severity: 'critical'
23
    target_match:
24
      severity: 'warning'
25
    equal: ['alertname', 'dev', 'instance']

然后启动 Alertmanager：

1
systemctl enable --now alertmanager