Podスケジューリング遅延検出
Pending で待ったすべての Pod と待ち時間、その背後のスケジューラーメッセージを記録し、Kubernetes がイベントを削除した後も残します。
Pod が Pending で待っても、FailedScheduling イベントは 1 時間後に消えます
kubernetes.io, Debug Pods, Resource Management for Pods and Containers, kube-apiserver リファレンス(--event-ttl、デフォルト 1h0m0s)。
「Pod が Pending のままなら、ノードにスケジュールできないことを意味します」(kubernetes.io)。理由は FailedScheduling イベントに "0/42 nodes available: insufficient cpu" のようなメッセージで残ります。
kube-apiserver はデフォルトでイベントを 1 時間しか保持しません(--event-ttl)。夜の間に起きた遅延は、朝には理由が残っていません。
イベントのデフォルト保持 1 時間: kube-apiserver --event-ttl(kubernetes.io)。行と conditions history: Wave Pod Scheduling Delay ドキュメント。12 分の待ち、時刻、3 時間後の確認は説明用の例です。
Wave の仕組み
- Pod作成され、phase は Pending
- スケジュールkube-scheduler収まるノードが見つからない
- ノードなしイベントFailedScheduling、理由付き
- 1h TTLkube-apiserverデフォルトで 1 時間後にイベントを削除
- Wave Agent全ノードから Pod の状態を送信
- gRPCWave CorePod ごとに Pending の時間を測定
- Pod ごとConditions historyすべてのスケジューラーメッセージを時刻付きで
- 保持Wave Console遅延テーブル、デフォルト 7 日間
待ち時間を測る
遅延した Pod ごとに、スケジューリング遅延、ワークロード、namespace、ステータス(Resolved か Pending)を 1 行に記録します。KPI カードは直近 24 時間の合計、平均、解決済み、未解決の遅延を表示します。
理由を残す
Conditions history は、スケジューラーの condition を時刻とメッセージとともに順番に残します。例: "0/5 nodes are available: 2 Insufficient cpu"。PVC を使う Pod では、ボリュームがバインドされなかった理由も表示します。
遅延がいつ起きるかを見る
時間帯別の平均 Pending 時間のチャートで、遅延がデプロイやピーク時間に集中しているかを確認できます。デフォルトの範囲は直近 7 日間です。