Spot Workload Placement
워크로드마다 앞 번호의 레플리카는 On-Demand에 두고, 나머지는 레플리카 번호에 따라 Spot에 배치합니다. YAML은 바꾸지 않습니다.
AWS는 2분 전에 통지하고 Spot 노드를 회수합니다
AWS, Amazon EC2 User Guide, Spot Instance interruption notices; AWS, Amazon EC2 Spot Instances FAQ; karpenter.sh v1.14 문서, NodePools와 Scheduling.
AWS는 EC2가 인스턴스를 중지하거나 종료하기 2분 전에 Spot 중단 통지를 보냅니다(AWS EC2 User Guide). 그 대신 Spot 인스턴스는 On-Demand 가격보다 최대 90% 저렴할 수 있습니다(AWS Spot FAQ).
기본적으로 NodePool이 둘 다 허용하면 Karpenter는 On-Demand보다 Spot을 먼저 띄웁니다(karpenter.sh). 레플리카 일부를 On-Demand에 남겨 두는 장치가 없어서, 모든 레플리카가 통지를 받는 노드에 있을 수 있습니다.
Karpenter에서도 capacity type마다 NodePool을 하나씩 두고 topology spread를 걸어 워크로드를 나눌 수 있지만, 문서는 이를 거친(crude) 방법이라고 부릅니다(karpenter.sh).
2분 전 통지: AWS EC2 User Guide. NodePool이 둘 다 허용할 때 On-Demand보다 Spot 우선: karpenter.sh v1.14 문서. 레플리카 번호에 따른 배치, On-Demand는 파란색, Spot은 주황색: Wave Spot Workload Placement 문서. 노드 구성은 예시입니다.
Wave가 하는 일
- NodePoolSpot과 On-Demand를 모두 허용
- 참조Karpenter둘 다 허용되면 Spot을 먼저 띄움
- 배치Deployment모든 레플리카가 Spot에 놓일 수 있음
- 회수Spot 중단2분 전 통지 후 노드 drain
- Wave Console워크로드별 임계값, 또는 CR
- Pod 생성Mutating webhook새 Pod마다 가로챔
- 주입nodeAffinity레플리카 번호로 정함
- 배치배치 결과임계값까지 On-Demand, 나머지는 Spot
임계값 정하기
Wave Console에서 Deployment, Argo Rollout, OpenShift DeploymentConfig 중 하나를 고르거나 WaveKarpenterSpotPlacement CR을 적용하고, Pod Spot Threshold를 정합니다.
Wave가 affinity를 설정
MutatingWebhookConfiguration이 새 Pod마다 레플리카 번호에 따라 nodeAffinity를 추가합니다. 임계값이 5이면 Pod 1~5는 On-Demand로, Pod 6부터는 Spot으로 갑니다. YAML은 바뀌지 않습니다.
Prefer 또는 Require 선택
Prefer는 Spot을 쓰다가 Spot이 부족하면 On-Demand로 넘어갑니다. Require는 Spot 용량이 생길 때까지 Pod를 Pending으로 둡니다. webhook에는 cert-manager나 직접 준비한 TLS 인증서가 필요합니다.