アラート
JavaScript の式で書いたアラートルールを 1 分ごとに確認し、Slack か HTTP Webhook に送り、30 日間記録します。
CPU が 5 分間 80% を超えても、誰にもメッセージが届きません
Wave Alerts ドキュメント (ワークロードメトリクスのデフォルトルール); prometheus.io, Alerting overview; Prometheus と Alertmanager の設定ドキュメント。
Kubernetes には、ワークロードが高負荷のままのときにメッセージを送る仕組みがありません。よくある構成は Prometheus と Alertmanager です。「Prometheus サーバーのアラートルールは、アラートを Alertmanager に送ります」(prometheus.io)。
運用して設定するシステムが 2 つ増えます。デフォルトでは、Prometheus は 1m ごとに収集してルールを評価し、Alertmanager はグループの最初の通知の前に 30s (group_wait) 待ちます。
タイトルのルールは、Wave のワークロードメトリクスのデフォルトルールです。5 分以上、最大 CPU か平均メモリが 80% に達すると、メッセージを送ります。
デフォルトルール、1 分ごとの確認、メッセージテンプレート: Wave Alerts ドキュメント。CPU の値、ワークロード名、チャネルは説明用です。88% は区間の最大値で、ドキュメントの例と同じ計算です。
Wave の仕組み
- Prometheusデフォルトで 1m ごとに収集
- ルールアラートルールPromQL の式、1m ごとに評価
- 発火Alertmanagerアラートをまとめ、まず 30s 待つ
- ルーティング受信先チャット、Webhook など
- イベントワークロードメトリクス、スケジュールの phase、Autopilot ログ
- 一致ルールJavaScript の式、1 分ごとに確認
- 整形メッセージ自分のテンプレート、ワークロードと CPU 入り
- 送信チャネルSlack Webhook、Slack Web API、HTTP
チャネルを追加する
Slack Webhook、Slack Web API、HTTP Webhook に送ります。1 つのチャネルを複数のルールで使え、チャネルごとに HTTP プロキシを経由させることもできます。
ルールを書く
ルールは、3 種類のイベントのどれかに対する JavaScript の式です。ワークロードの CPU とメモリ、Deployment scheduling phase の START と END、Autopilot ログの欠落です。Wave はルールを 1 分ごとに確認します。
すべての送信を確認する
送信ごとにレスポンスとステータスが記録され、ログは 30 日間残ります。Wave は失敗した送信を再送しないため、失敗がメッセージの洪水につながりません。