알림
JavaScript 식으로 쓴 알림 규칙을 1분마다 확인하고, Slack이나 HTTP 웹훅으로 보내며, 30일 동안 기록합니다.
CPU가 5분 동안 80%를 넘어도, 아무에게도 메시지가 가지 않습니다
Wave Alerts 문서(워크로드 메트릭의 기본 규칙); prometheus.io, Alerting overview; Prometheus와 Alertmanager 설정 문서.
Kubernetes에는 워크로드가 계속 과열될 때 메시지를 보내는 기능이 없습니다. 흔한 방법은 Prometheus와 Alertmanager입니다. "Prometheus 서버의 알림 규칙은 알림을 Alertmanager로 보냅니다"(prometheus.io).
운영하고 설정할 시스템이 두 개 늘어납니다. 기본값으로 Prometheus는 1m마다 수집하고 규칙을 평가하며, Alertmanager는 그룹의 첫 알림 전에 30s(group_wait)를 기다립니다.
제목의 규칙은 Wave의 워크로드 메트릭 기본 규칙입니다. 5분 이상 동안 최대 CPU나 평균 메모리가 80%에 닿으면 메시지를 보냅니다.
기본 규칙, 1분 확인, 메시지 템플릿: Wave Alerts 문서. CPU 수치, 워크로드 이름, 채널은 설명용입니다. 88%는 구간의 최댓값으로, 문서 예시와 같은 계산입니다.
Wave가 하는 일
- Prometheus기본값으로 1m마다 수집
- 규칙알림 규칙PromQL 식, 1m마다 평가
- 발생Alertmanager알림을 묶고, 먼저 30s 대기
- 라우팅수신처채팅, 웹훅 등
- 이벤트워크로드 메트릭, 스케줄 phase, Autopilot 로그
- 매칭규칙JavaScript 식, 1분마다 확인
- 렌더링메시지내 템플릿, 워크로드와 CPU 포함
- 전송채널Slack Webhook, Slack Web API, HTTP
채널을 추가합니다
Slack Webhook, Slack Web API, HTTP 웹훅으로 보냅니다. 채널 하나를 여러 규칙이 같이 쓸 수 있고, 채널마다 HTTP 프록시를 거치게 할 수 있습니다.
규칙을 씁니다
규칙은 세 가지 이벤트 중 하나에 대한 JavaScript 식입니다. 워크로드 CPU와 메모리, Deployment scheduling phase의 START와 END, 그리고 Autopilot 로그 누락입니다. Wave는 규칙을 1분마다 확인합니다.
모든 전송을 확인합니다
전송마다 응답과 상태가 기록되고, 로그는 30일 동안 남습니다. Wave는 실패한 전송을 다시 보내지 않으므로, 실패가 메시지 폭주로 이어지지 않습니다.