クラスターリソース予測
クラスターの Pod の CPU とメモリの request を Node の容量と比べ、7 日後と 30 日後の時点で予測します。手遅れになる前にノードを追加したり、request を減らしたりできます。
request が Node CPU の 94% に達し、最初の警告は Pending の Pod です
kubernetes.io, Reserve Compute Resources for System Daemons, Resource Management for Pods and Containers; Cluster Autoscaler FAQ; Wave Cluster Resource Forecast ドキュメント。94% はドキュメントの例で、ここでは説明用の値です。
「スケジューラーは Allocatable を超えて割り当てません」(kubernetes.io)。request がすでに Node CPU の 94% を占めていると、次の Pod が収まるノードはないかもしれません。「スケジューラーが Pod の収まるノードを見つけられない場合、場所が見つかるまで Pod はスケジュールされないまま残ります」(kubernetes.io)。Pod は Pending のままです。
Cluster Autoscaler は「pending の Pod があるかを定期的に確認」してからノードを追加します(Cluster Autoscaler FAQ)。動くのは、Pod がすでに待っているときです。
Forecast の線と 7 日、30 日のスナップショット: Wave Cluster Resource Forecast ドキュメント。Node CPU の 94%: ドキュメントの例。収まるノードがないときの Pending: kubernetes.io。曲線とその他の値は説明用の例です。
Wave の仕組み
- Pods新しい Pod ごとに request が加わる
- requestSchedulerAllocatable に空きがあるノードにだけ配置
- 空きなしPodFailedScheduling で Pending のまま
- PendingCluster AutoscalerPod が Pending になってからノードを追加
- Wave AgentNode の容量と Pod の request
- gRPCWave Core最低 7 日の履歴を保持
- 推移Forecast7 日後と 30 日後の request の推移
- 30 日先Wave ConsoleNode の容量に対する Forecast の線
推移を学ぶ
Wave には最低 7 日の履歴が必要です。クラスターの Node の CPU とメモリの容量を、Pod の request と limit と並べて追跡します。
request を先へ延ばす
CPU とメモリのチャートに Pod CPU Request (Forecast) と Pod Memory Request (Forecast) の線が加わり、7 日後と 30 日後のスナップショットが表示されます。Forecast の線が容量の線に近づくところが、おおよそ不足する時点です。カウントダウンはなく、どこまで近ければ危ないかは利用者が判断します。
最も安い対策を選ぶ
実際に増えているならノードを追加します。request が膨らんでいるなら、まず Smart Sizing で減らすと、ハードウェアを買わずに Forecast が下がります。Filter Group で一部のワークロードに絞って見ることもできます。