유휴 노드 감지
DaemonSet Pod만 돌고 애플리케이션 Pod가 약 1주 동안 없는 노드를 찾고, 그 노드가 차지한 CPU와 메모리를 보여 줍니다.
노드에서 1주 동안 DaemonSet Pod만 돌아도 비용은 그대로 나갑니다
kubernetes.io, DaemonSet; Cluster Autoscaler FAQ (GitHub kubernetes/autoscaler); Datadog State of Cloud Costs, 2024. 1주라는 기간은 설명용 예시입니다.
DaemonSet은 모든(또는 일부) 노드에서 Pod 사본이 하나씩 돌도록 보장합니다(kubernetes.io). 그래서 애플리케이션 Pod가 없는 노드에서도 node-exporter, fluentd, calico-node는 돌고 있습니다. Kubernetes는 이 노드를 유휴로 표시하지 않고, 클라우드는 다른 노드와 똑같이 비용을 청구합니다.
Cluster Autoscaler는 노드의 Pod request 합계가 allocatable의 50% 미만일 때만 그 노드를 제거 후보로 봅니다. 이 합계에는 기본적으로 DaemonSet Pod도 들어갑니다. 이미 최소 크기인 노드 그룹은 축소하지 않습니다(Cluster Autoscaler FAQ).
컨테이너 비용의 83%가 유휴 리소스와 관련되어 있고, 그 낭비의 약 54%는 클러스터 인프라를 과하게 프로비저닝한 비용인 cluster idle입니다(Datadog State of Cloud Costs, 2024).
유휴 기준, 약 1주, Pod Count: Wave Idle Node Detection 문서. 50% 기준과 최소 크기: Cluster Autoscaler FAQ. 노드와 Pod 수는 설명용 예시입니다.
Wave가 하는 일
- DaemonSet쓰이든 아니든 모든 노드에 Pod를 둠
- requestCluster AutoscalerDaemonSet Pod도 50% 기준에 포함
- 최소 크기노드 그룹최소 크기이면 축소하지 않음
- 유지NodeReady 상태로 과금, 표시 없음
- Wave Agent모든 노드의 Pod를 보고
- gRPCWave Core시스템, DaemonSet, 애플리케이션 Pod로 분류
- 분류유휴 기간약 1주 동안 애플리케이션 Pod 없음
- 약 1주Wave Console클러스터별 유휴 CPU와 메모리
모든 Pod를 분류합니다
Wave는 각 노드의 Pod를 시스템 Pod, DaemonSet Pod, 그리고 Deployment, StatefulSet, Job의 애플리케이션 Pod로 나눕니다. 애플리케이션 Pod가 하나라도 있으면 그 노드는 사용 중입니다.
짧은 상태는 걸러 냅니다
노드는 기본적으로 약 1주 동안 애플리케이션 Pod 없이 있어야 표시됩니다. scale-down 지연이나 막 끝난 배치 Job으로는 표시되지 않습니다. Pod가 하나도 없는 것으로 읽힌 노드는 유휴가 아니라 데이터 누락으로 처리합니다.
낭비를 보여 줍니다
Idle Nodes 화면은 클러스터마다 유휴 노드 수, 유휴 CPU, 유휴 메모리를 보여 주고, 노드마다 유형별 Pod Count를 보여 줍니다. 노드를 drain한 뒤 삭제할지, 워크로드를 그 노드로 옮길지, waveautoscale.io/idle-node-detection="false" 어노테이션으로 남길지는 사용자가 정합니다.