メモリリーク検出
コンテナごとに 1 時間ごとの最小値のメモリを追い、上がり続けるフロアを検出して、コンテナが OOMKilled になる前に対応できるようにします。
メモリが 1 日 50 MB ずつ増えても、Kubernetes は OOMKilled まで何も知らせません
kubernetes.io, Assign Memory Resources to Containers and Pods, Resource Management for Pods and Containers。1 日 50 MB は Wave Memory Leak Detection ドキュメントの例から取った説明用の値です。
limit を超えるメモリを割り当てたコンテナは「終了の候補になり」、カーネルはメモリ limit を OOM kill で強制します(kubernetes.io)。その瞬間まで Pod は Running のままで、ステータスのどこにも増え続けるメモリへの警告はありません。
ゆっくりしたリークは、普通のノコギリ型のグラフに隠れます。ガベージコレクションのたびにメモリは減りますが、各サイクルの最低点は毎日少しずつ上がっていきます。
メモリ limit での OOM kill: kubernetes.io。1 時間ごとの最小値と Steady Growth: Wave Memory Leak Detection ドキュメント。曲線、1 日 50 MB、limit、日数は説明用の例です。
Wave の仕組み
- コンテナメモリが limit を超える
- limit 超過Linux カーネルOOM kill で limit を強制
- OOM killkubeletback-off を置いてコンテナを再起動
- ステータスkubectl describe pod障害の後で OOMKilled を表示
- Wave AgentcAdvisor とともにコンテナごとのメモリを収集
- gRPCWave Core1 時間ごとの最小値を最大約 5 日間保持
- 最小値リークのパターンSteady Growth か Trend Based Growth、信頼度スコア付き
- 検出Wave Consoleリークタブと OOM リスクタブ
フロアを見る
Wave はコンテナごとに 1 時間ごとの最小値のメモリを最大約 5 日間追跡します。通常の使用は上下しますが、リークはこのフロアを押し上げ続けます。
パターンを分ける
検出は Steady Growth か Trend Based Growth に分類され、ベースラインのメモリ、直近のメモリ、増加率、信頼度スコアが記録されます。バブルチャートは、速く大きくリークしているワークロードを一つの角に集めて表示します。
limit も確認する
Possible OOM Risk タブは、リークの有無にかかわらず、いまメモリ limit に近いワークロードを一覧にします。どこからを近いとみなすかは OOM Risk Settings で決めます。