Spot Workload Placement
ワークロードごとに番号の小さいレプリカを On-Demand に置き、残りをレプリカ番号に応じて Spot に配置します。YAML は変更しません。
AWS は 2 分前の通知で Spot ノードを回収します
AWS, Amazon EC2 User Guide, Spot Instance interruption notices; AWS, Amazon EC2 Spot Instances FAQ; karpenter.sh v1.14 ドキュメント, NodePools と Scheduling
AWS は、EC2 がインスタンスを停止または終了する 2 分前に Spot 中断通知を出します (AWS EC2 User Guide)。その代わり、Spot インスタンスは On-Demand 料金から最大 90% 安くなることがあります (AWS Spot FAQ)。
デフォルトでは、NodePool が両方を許可すると Karpenter は On-Demand より先に Spot を起動します (karpenter.sh)。レプリカの一部を On-Demand に残す仕組みがないため、すべてのレプリカが通知を受けるノードに載ることがあります。
Karpenter でも、capacity type ごとに NodePool を 1 つずつ用意して topology spread をかければワークロードを分けられますが、ドキュメントはこれを粗い (crude) 方法と呼んでいます (karpenter.sh)。
2 分前の通知: AWS EC2 User Guide。NodePool が両方を許可するときは On-Demand より Spot を優先: karpenter.sh v1.14 ドキュメント。レプリカ番号による配置、On-Demand は青、Spot はオレンジ: Wave Spot Workload Placement ドキュメント。ノードの構成は例示です。
Wave の仕組み
- NodePoolSpot と On-Demand の両方を許可
- 参照Karpenter両方許可なら Spot を先に起動
- 配置Deploymentすべてのレプリカが Spot に載りうる
- 回収Spot 中断2 分前に通知し、ノードを drain
- Wave Consoleワークロードごとのしきい値、または CR
- Pod 作成Mutating webhook新しい Pod ごとに介入
- 注入nodeAffinityレプリカ番号で決まる
- 配置配置結果しきい値までは On-Demand、残りは Spot
しきい値を決める
Wave Console で Deployment、Argo Rollout、OpenShift DeploymentConfig のいずれかを選ぶか WaveKarpenterSpotPlacement CR を適用し、Pod Spot Threshold を設定します。
Wave が affinity を設定
MutatingWebhookConfiguration が、新しい Pod ごとにレプリカ番号に応じて nodeAffinity を追加します。しきい値が 5 なら、Pod 1〜5 は On-Demand、Pod 6 以降は Spot に配置されます。YAML は変わりません。
Prefer か Require を選ぶ
Prefer は Spot を使い、Spot が足りないときは On-Demand に切り替えます。Require は Spot の容量ができるまで Pod を Pending のままにします。webhook には cert-manager か独自の TLS 証明書が必要です。