클러스터 리소스 예측
클러스터의 Pod CPU, 메모리 request를 Node 용량과 비교해 7일, 30일 시점으로 예측합니다. 그래서 늦기 전에 노드를 추가하거나 request를 줄일 수 있습니다.
request가 Node CPU의 94%에 이르고, 첫 경고는 Pending Pod입니다
kubernetes.io, Reserve Compute Resources for System Daemons, Resource Management for Pods and Containers; Cluster Autoscaler FAQ; Wave Cluster Resource Forecast 문서. 94%는 문서 예시이며 여기서는 설명용 수치입니다.
"스케줄러는 Allocatable을 초과해서 배치하지 않습니다"(kubernetes.io). request가 이미 Node CPU의 94%를 차지하면 다음 Pod가 들어갈 노드가 없을 수 있습니다. "스케줄러가 Pod가 들어갈 노드를 찾지 못하면, 자리가 생길 때까지 Pod는 스케줄되지 않은 채로 남습니다"(kubernetes.io). Pod는 Pending으로 남습니다.
Cluster Autoscaler는 "pending 상태의 Pod가 있는지 주기적으로 확인"한 뒤 노드를 추가합니다(Cluster Autoscaler FAQ). Pod가 이미 기다리고 있을 때 움직입니다.
Forecast 선과 7일, 30일 스냅샷: Wave Cluster Resource Forecast 문서. Node CPU의 94%: 문서 예시. 맞는 노드가 없을 때의 Pending: kubernetes.io. 곡선과 나머지 값은 설명용 예시입니다.
Wave가 하는 일
- Pods새 Pod마다 request가 더해짐
- requestSchedulerAllocatable에 자리가 있는 노드에만 배치
- 자리 없음PodFailedScheduling과 함께 Pending
- PendingCluster AutoscalerPod가 Pending이 된 뒤 노드 추가
- Wave AgentNode 용량과 Pod request
- gRPCWave Core최소 7일의 이력 보관
- 추세Forecast7일, 30일 뒤의 request 추세
- 30일까지Wave ConsoleNode 용량 대비 Forecast 선
추세를 학습합니다
Wave는 최소 7일의 이력이 필요합니다. 클러스터의 Node CPU와 메모리 용량을 Pod request, limit과 함께 추적합니다.
request를 앞으로 투영합니다
CPU와 메모리 차트에 Pod CPU Request (Forecast)와 Pod Memory Request (Forecast) 선이 더해지고, 7일과 30일 시점의 스냅샷이 표시됩니다. Forecast 선이 용량 선에 가까워지는 곳이 대략 부족해지는 시점입니다. 카운트다운은 없고, 얼마나 가까우면 위험한지는 사용자가 판단합니다.
가장 저렴한 해결책을 고릅니다
실제로 성장하고 있다면 노드를 추가합니다. request가 부풀려져 있다면 먼저 Smart Sizing으로 줄이면 하드웨어를 사지 않고도 Forecast가 내려갑니다. Filter Group으로 일부 워크로드만 좁혀서 볼 수도 있습니다.