Node Warmup
次の Pod がノードを必要とする前に、ノードを起動しておきます。Wave の 1 回のベンチマークで、最初の新しい Pod は 31 秒ではなく 3 秒で Ready になりました。
ノードが起動する間、新しい Pod は 31 秒間 Pending のままです
Wave 3.1.0 リリース記事 (1 回のベンチマーク、最初の新しい Pod); Wave Node Warmup ドキュメント; karpenter.sh v1.14, NodeClaims と CapacityBuffers
Karpenter はデフォルトでは、Pod が Pending になり、入れるノードがないときに初めてノードを起動します。インスタンスが起動し、Node として登録され、初期化されるまで Pod は開始できません (karpenter.sh)。
EKS で行った Wave の 1 回のベンチマークで、最初の新しい Pod は 31 秒待ちました。Node Warmup ドキュメントは、その内訳をノード起動 約 15 秒、kubelet 登録 5 秒、イメージ pull 10 秒、スケジューリング 1 秒と推定しています。
Karpenter 自身も、CapacityBuffers (アルファ機能) や静的な NodePool で空き容量を確保できます。CapacityBuffer は実際の Pod としては作成されない placeholder Pod で場所を確保するため、ワークロードのイメージは事前に pull されません (karpenter.sh)。
31 秒と 3 秒: Wave の 1 回のベンチマークでの最初の新しい Pod (Wave 3.1.0 リリース記事; EKS, c5n.xlarge と c6i.xlarge の Spot, ap-northeast-1)。31 秒の内訳は Wave Node Warmup ドキュメントの推定値です。
Wave の仕組み
- PodPending: 入れるノードがない
- 起動NodeClaimLaunched: インスタンスを作成
- kubelet 参加NodeNode として登録・初期化
- 配置kubeletイメージを pull してからコンテナを起動
- Wave Core最大の Pod と 10% のバッファが入るノードがないことを検知
- 空きなしウォームアップ PodKarpenter に今すぐノードを起動させる
- 参加準備済みノードconsolidation を 10 分停止。事前 pull がオンならイメージも取得済み
- 配置新しい Podすでに参加済みのノードで起動
空きの不足を見つける
Wave Core が NodePool ごとに最大の Pod を追跡します。どのノードにもその Pod と 10% のバッファ (デフォルト) が入らないとき、Node Warmup がノードを起動します。
ノードを先に起動する
ウォームアップ Pod が Karpenter に今すぐノードを起動させます。Max Pod モードは常時、または cron スケジュールで動きます。Trigger モードは cron スケジュールに合わせて、指定サイズのノードを指定数だけ起動します。
ノードを準備したまま保つ
ウォームアップ中は、その NodePool の Karpenter consolidation が止まり (デフォルト 10 分)、ウォームアップしたノードには do-not-disrupt アノテーションが付きます。イメージの事前 pull をオンにすると、Wave がワークロードのイメージを事前にノードへ pull します。事前 pull はデフォルトでオフです。
結果
最初の新しい Pod が Ready になるまで、Wave の 1 回のベンチマーク
Wave 3.1.0 リリース記事: EKS での 1 回のベンチマーク、最初の新しい Pod のみ