一、问题来源:告警一旦恢复就“永久消失”?

用过Alertmanager的朋友应该都有这种经历:告警在群里炸了一轮,等你想要复盘的时候,打开Alertmanager界面,只能看到当前还处于“活跃”状态的告警。那些已经恢复的告警,就像没来过一样,无迹可寻。就像一部电视剧,看完之后想回看某个片段,却发现只能在“当前正在播放”和“已删除”之间二选一。

这个“缺陷”其实不是bug,而是设计如此。Alertmanager的核心职责是管理告警的发送与抑制,它并不承担历史数据的存储。它只会把每个告警从“firing”(触发)到“resolved”(恢复)的状态转换推送给你,但推送完之后,数据就扔掉了。如果你用的Grafana,可能还能从Prometheus的数据里找到一些告警指标,但那些只是指标,不是完整的告警事件记录。比如你想查“昨天凌晨3点到底哪个实例的CPU告警被人手动忽略了”,就非常麻烦。

那怎么办?自己动手,把告警历史“录”下来。

这篇文章就是来聊聊怎么通过Alertmanager的Webhook功能,做一个小而美的“历史告警录像机”。没有太高深的技术,只要你懂一点Python,跟着做就行。

二、一个常见的应用场景:深夜排查“幽灵告警”

先看一个具体的场景。我负责的一台服务器,经常在后半夜收到一条“内存使用率超过90%”的告警。但是每次我早上起来看的时候,告警已经恢复了,Alertmanager界面一片安静,跟什么都没发生一样。我根本不知道它是什么时候触发的,持续了多久,当时的标签是什么。如果有一条历史查询,我就能直接看到:凌晨2点15分开始,2点45分恢复,持续了30分钟,当时的实例IP是10.0.0.8。有了这些信息,才能判断是流量高峰、还是某个定时任务导致的,或者只是内存泄漏的前兆。

这就是历史告警查询的价值。它可以帮助你做复盘、审计、根因分析。但Alertmanager把这块完全留给了用户自己扩展。

三、为什么不能直接用现有API搞定?

有的同学可能说:Alertmanager不是有API吗?我可以用/api/v2/alerts查历史啊。别急,我去查过。这个接口返回的是当前内存中的告警,包括已恢复但还没被前端清理的告警。但这个“历史”只是暂时的,一旦Alertmanager重启,或者时间一长,就没了。换句话说,它对于“近期少量”的恢复告警还有一点记忆,但绝对不是一个可靠的存储方案。

所以真正靠谱的方案就一条:把Alertmanager推送出来的告警,主动接到自己的存储里。Alertmanager支持很多种receiver,其中有一个叫webhook,每当告警状态变化时,它就会往你指定的URL发送一个HTTP POST请求,里面带着完整的告警信息。我们用这个机制,就能以很低的成本获得告警历史。

另外,也有同学会用Kafka、Elasticsearch这类外部系统来接收。如果你所在的团队已经有ELK,那确实可以往Elasticsearch里送。但那套东西比较重。对于大多数中小项目,一个简单的Python服务加SQLite完全够用了。

接下来,我们就动手实现。

四、实战:用Python给Alertmanager装个“录像机”

4.1 技术栈说明

本示例统一使用Python 3.9 + Flask 2.2 + SQLite3,不依赖任何外部数据库。Flask是一个轻量级Web框架,非常适合这种小工具。SQLite是Python自带的文件型数据库,一个文件就能存所有告警历史,备份起来也很方便。示例代码同时支持接收告警和查询历史,一共不到100行。

4.2 搭建Webhook接收服务

先写一个Flask服务,监听地址是0.0.0.0:5001,然后暴露两个接口:

  • POST /api/alerts:接收Alertmanager发送的告警数据。
  • GET /history:按条件查询历史告警。

下面是代码。我会把关键的地方都加上注释。

# 技术栈:Python 3.9 + Flask 2.2 + SQLite3
from flask import Flask, request, jsonify
import sqlite3
import datetime
import json

app = Flask(__name__)
DB_PATH = "alerts.db"  # 数据库文件,就在当前目录下

# 初始化数据库,建一张告警历史表
def init_db():
    with sqlite3.connect(DB_PATH) as conn:
        conn.execute("""
            CREATE TABLE IF NOT EXISTS alert_history (
                id INTEGER PRIMARY KEY AUTOINCREMENT,
                alert_name TEXT,
                status TEXT,
                starts_at TEXT,
                ends_at TEXT,
                labels TEXT,
                raw_json TEXT,
                received_at TEXT
            )
        """)

# 程序启动时先建表
init_db()

# 接收Alertmanager推送的告警
@app.route("/api/alerts", methods=["POST"])
def receive_alerts():
    # Alertmanager发送的是JSON数组,每个元素是一条告警
    alerts = request.json
    if not alerts:
        return jsonify({"status": "empty"}), 200
    with sqlite3.connect(DB_PATH) as conn:
        for alert in alerts:
            labels = alert.get("labels", {})
            # 告警名称一般都在labels里,key是alertname
            alert_name = labels.get("alertname", "unknown")
            status = alert.get("status", "")  # firing或者resolved
            starts_at = alert.get("startsAt", "")  # 触发时间
            ends_at = alert.get("endsAt", "")      # 恢复时间
            raw_json = json.dumps(alert)            # 保留完整原始数据
            received_at = datetime.datetime.now().isoformat()  # 落库时间
            conn.execute(
                "INSERT INTO alert_history "
                "(alert_name, status, starts_at, ends_at, labels, raw_json, received_at) "
                "VALUES (?, ?, ?, ?, ?, ?, ?)",
                (alert_name, status, starts_at, ends_at, str(labels), raw_json, received_at)
            )
    # 务必返回200,否则Alertmanager会认为发送失败并不断重试
    return jsonify({"status": "ok"}), 200

# 查询历史告警:支持按名称模糊、按状态、按开始时间范围过滤
@app.route("/history")
def history():
    name = request.args.get("name", "")
    status = request.args.get("status", "")
    start = request.args.get("start", "")  # 比如 2025-01-01T00:00:00Z
    end = request.args.get("end", "")

    conditions = []
    params = []
    if name:
        conditions.append("alert_name LIKE ?")
        params.append(f"%{name}%")
    if status:
        conditions.append("status = ?")
        params.append(status)
    if start:
        conditions.append("starts_at >= ?")
        params.append(start)
    if end:
        conditions.append("starts_at <= ?")
        params.append(end)

    sql = "SELECT * FROM alert_history"
    if conditions:
        sql += " WHERE " + " AND ".join(conditions)
    sql += " ORDER BY starts_at DESC LIMIT 200"  # 最多返回200条,避免刷屏

    with sqlite3.connect(DB_PATH) as conn:
        rows = conn.execute(sql, params).fetchall()

    result = []
    for row in rows:
        result.append({
            "id": row[0],
            "alert_name": row[1],
            "status": row[2],
            "starts_at": row[3],
            "ends_at": row[4],
            "labels": row[5],
            "received_at": row[6]
        })
    return jsonify(result)

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5001)

这段代码里,sqlite3.connect用with语句可以自动提交事务,防止写入一半出错。查询的时候用了参数化SQL,防止SQL注入。这些都是基本功,但很重要。

4.3 把告警事件关联到Alertmanager配置

服务写好了,接下来要把Alertmanager的告警“接”过来。在Alertmanager的配置文件里加一个Webhook类型的Receiver。下面是一份很精简的配置示例:

# Alertmanager配置文件:alertmanager.yml
global:
  resolve_timeout: 5m

route:
  # 所有告警都进这个receiver,我们沿用默认路由
  receiver: 'alert-history'
  group_by: ['alertname']
  group_wait: 1s
  group_interval: 1s
  repeat_interval: 4h

receivers:
- name: 'alert-history'
  webhook_configs:
    # 我们的Python服务地址
    - url: 'http://localhost:5001/api/alerts'
      send_resolved: true

这里注意,send_resolved一定要设成true。因为告警恢复时也会产生一条记录,如果你不开启,那么恢复的那条信息就不会发到我们的库里。没有“恢复”时间,你只能看到触发时间,无法计算告警持续时间,历史就不完整了。

改完配置之后,需要在Alertmanager服务中加载新配置。如果你用systemd管理,直接systemctl reload alertmanager。如果用容器,就重启容器。这个步骤很简单,就不展开演示了。

4.4 测试整个链路:模拟一条告警推送

我们先用curl模拟Alertmanager发送一条告警过来,验证我们的服务能不能正常接收。打开终端,执行下面这条命令:

# 模拟一条“CPU使用率过高”的告警
curl -X POST http://localhost:5001/api/alerts \
  -H "Content-Type: application/json" \
  -d '[
        {
          "status": "firing",
          "labels": {
            "alertname": "CPUHigh",
            "severity": "critical",
            "instance": "host01"
          },
          "startsAt": "2025-01-01T10:00:00Z",
          "endsAt": "0001-01-01T00:00:00Z"
        }
      ]'

发送成功后,查询看结果:

# 按告警名称查询历史
curl "http://localhost:5001/history?name=CPUHigh"

你会得到类似下面这样的结果:

[
  {
    "id": 1,
    "alert_name": "CPUHigh",
    "status": "firing",
    "starts_at": "2025-01-01T10:00:00Z",
    "ends_at": "0001-01-01T00:00:00Z",
    "labels": "{'alertname': 'CPUHigh', 'severity': 'critical', 'instance': 'host01'}",
    "received_at": "2025-01-01T18:00:01.123456"
  }
]

如果你在配置里设置了send_resolved: true,那么当告警恢复时,Alertmanager还会往你的服务再发一条status:"resolved"的告警。你可以用同样的接口查询,就能看到一条新的记录,它带有更晚的startsAt或endsAt。如果你的告警规则里设置了for: 5m,Alertmanager会在持续5分钟后触发,恢复时的记录也有意义。

这里有一个值得注意的细节:Alertmanager发送的是整个告警组的批量数据。比如你的路由配置里group_by: ['alertname'],那同一类告警会合并在一起发送,webhook收到的就是个数组。因此我们的接收服务必须用for循环逐条处理,而不是直接当成单对象。上面的代码已经处理了这个场景。

4.5 更进一步:加一个简单的统计接口

查询历史还不够,我们还可以加一个非常实用的统计接口:统计每天各告警触发的次数。这能帮助你快速发现规律。请看下面的扩展代码:

# 技术栈:Python 3.9 + Flask 2.2 + SQLite3
# 在现有的app.py里追加一个路由即可
@app.route("/stats/daily")
def daily_stats():
    # 按日期、告警名称统计触发次数
    sql = """
        SELECT substr(starts_at, 1, 10) AS day, alert_name, COUNT(*)
        FROM alert_history
        WHERE status = 'firing'
        GROUP BY day, alert_name
        ORDER BY day DESC
        LIMIT 30
    """
    with sqlite3.connect(DB_PATH) as conn:
        rows = conn.execute(sql).fetchall()
    stats = [{"date": r[0], "name": r[1], "count": r[2]} for r in rows]
    return jsonify(stats)

这段代码用substr把starts_at中的日期部分截取出来,然后按日期和告警名分组统计。使用它,你就能在界面上画出“这段时间内每天有哪些告警一直在骚扰你”。这个统计接口可以在后续接到Grafana或者自己写个简单前端展示。

五、技术优缺点分析与注意事项

5.1 这种扩展方式的优点

第一,实现成本低。一个Python文件加一段Alertmanager配置,半小时就能跑起来,不需要引入额外的消息队列或者大数据组件。第二,数据完全自主可控。数据库文件在你手里,想怎么查就怎么查,不会受Alertmanager自身生命周期的影响。第三,扩展性强。你可以轻松添加权限控制、告警标注、数据导出等功能。第四,对Alertmanager是零侵入的。它只是多了一个Webhook目标,不会影响原有告警流程。

5.2 这种扩展方式的缺点

首先,它依赖Flask这个服务一直在线。如果Python服务挂了,告警发送就会失败(虽然Alertmanager会重试,但长期挂了可能丢数据)。其次,SQLite不太适合高并发写入或者海量数据的场景,如果告警量大到每秒几千条,SQLite可能会成为瓶颈。再者,我们没有做去重。同一个告警多次触发和恢复,会插入多条记录,查询时需要自己注意区分,否则统计时会重复。

如果你需要更强的能力,可以考虑把存储换成PostgreSQL或Elasticsearch,把Flask换成Golang服务,但原理还是一样的。不要在初期盲目引入“重武器”。

5.3 注意事项

第一,一定要设置send_resolved: true,否则你会缺少恢复时间,历史告警的持续时长就算不出来。第二,webhook的URL要保证网络可达,如果Alertmanager和你的服务不在同一台机器,需要把localhost换成实际IP。第三,注意告警重复发送的机制。Alertmanager在使用repeat_interval到了一个周期后,如果告警还在firing,会再次发送同一个告警。这意味着,如果你的目标是想记录“每个告警事件的发生”,那需要做去重;如果是想记录“告警通知的每次发送”,那不用去重。具体可以根据业务需求调整存储逻辑。第四,要注意数据库的清理。运行久了,告警记录会越来越多。建议写一个定时任务,比如每天凌晨删除三个月以前的数据,或者用SQLite的DELETE语句定期清理,避免磁盘被撑爆。第五,安全方面,这个服务如果暴露在公网,一定要加上认证。我们可以用Flask的钩子函数做简单的token校验,这里就不展开了。

六、文章的总结

Alertmanager不提供历史告警查询,不是它的失职,而是它的职责定位决定的。作为使用者,我们完全可以利用官方预留的Webhook机制,自己打造一个历史告警存储与查询服务。本文用Python、Flask和SQLite演示了一个完整的实现:接收Alertmanager推送、落库、按条件查询、按日统计。整个方案轻量、易上手,适合个人开发者、中小团队快速落地。

实际生产环境里,你还可以在这个基础上增加更多的能力:接入前端页面、对接企业微信机器人、生成月度告警报告等等。只要把“历史数据”抓住了,后面能做的事情其实非常多。希望这篇文章能帮你解决“告警一恢复就找不到记录”的难题,让你在面对每一次告警复盘时都有据可查。

最后别忘记:如果告警历史查询这个需求经常出现,可以考虑把它做成一个公共组件,让团队里所有人都能方便地查看,而不是每次都在群里翻聊天记录。