Wave Flow
Istio ゲートウェイでリクエストを 4 段階の優先度に分けます。負荷が高いときは低い段階を HTTP 503 で拒否し、重要なリクエストは処理され続けます。
チケット販売が始まると、トラフィックが以前のピークの 4 倍に達します
Ticketmaster、Eras Tour 先行販売に関する声明、2022 年 11 月 19 日; istio.io、DestinationRule リファレンス、rate limit と circuit breaking のタスク
ボット攻撃とコードを持たないファンにより、Ticketmaster のシステムリクエストは 35 億件、以前のピークの 4 倍に達しました。Ticketmaster は、やり取り全体の約 15% で問題が起きたと推定しています。その中には、カートに入れたチケットをファンが失う passcode 検証エラーも含まれます。
デフォルトの Istio には実質的なリクエスト上限がありません。maxConnections、http1MaxPendingRequests、http2MaxRequests のデフォルトはどれも 2^32-1 です (istio.io)。
自分で追加する rate limit や circuit breaker は、リクエスト数や接続数を数えます。優先度の考え方がないため、上限を超えると決済のリクエストも、同じ route や host のほかのリクエストと同じく 429 か 503 を受け取ります。
リクエストの種類は説明用の例です。どの段階を拒否するかは負荷によります: IMPORTANT は極端な負荷のときだけ、CRITICAL は拒否しません。段階と 503 応答は Wave Flow ドキュメントより。
Wave の仕組み
- Ingress Gatewayすべてのリクエストを転送、上限のデフォルトは 2^32-1
- 自分で追加EnvoyFilterlocal rate limit: token bucket が 1 分あたりのリクエスト数を数える
- 超えると 429DestinationRulecircuit breaker: host ごとの接続数と保留リクエスト数を制限
- 超えると 503サービス決済もおすすめと同じく拒否される
- Traffic Rules4 段階、header・path・method で振り分け
- ポリシーWave AgentWASM モジュールをプロキシにデプロイ
- WASM フィルターIngress Gatewayフィルターがルーティング前にリクエストを分類
- 負荷時拒否の判断BULK から、CRITICAL は拒否しない、すぐに HTTP 503
リクエストを 4 段階に分ける
Wave Web コンソールの Traffic Rules ページか WaveFlowPolicy で、header、path、method によってリクエストを CRITICAL、IMPORTANT、MODERATE、BULK に振り分けます。
Istio でフィルターを動かす
Wave Agent が Wave Flow を WASM モジュールとして Istio Ingress Gateway、Sidecar、Ambient waypoint にデプロイします。フィルターはルーティングの前に各リクエストを確認します。
低い段階から拒否する
段階を Auto にすると、負荷が高いときにフィルターがすぐに HTTP 503 を返します。最初は BULK、次に MODERATE、IMPORTANT は極端な負荷のときだけです。CRITICAL は拒否しません。