NetFUNNEL Integration
CPU, 메모리, 최대 레플리카 임계값을 넘으면 NetFUNNEL 대기실 segment를 켜고, 쿨다운 뒤에 끕니다. 사용자는 오류 대신 줄을 서서 기다립니다.
Pod가 maxReplicas 10에 도달하면, 새 사용자는 대기 순번 대신 오류를 받습니다
kubernetes.io, HorizontalPodAutoscaler v2 API 레퍼런스와 Horizontal Pod Autoscaling; Ticketmaster, Eras Tour 사전 판매에 관한 발표, 2022년 11월 19일. 레플리카 10개는 Wave NetFUNNEL Integration 문서의 예시에서 가져온 설명용 값입니다.
HPA는 maxReplicas를 넘지 못합니다. kubernetes.io는 maxReplicas를 "autoscaler가 늘릴 수 있는 레플리카 수의 상한"이라고 설명합니다. Deployment가 레플리카 10개 중 10개를 실행하면, 늘어난 요청은 모두 같은 10개 Pod로 갑니다.
상한 아래에서도 HPA는 최대 15초마다 한 번씩만 레플리카를 추가합니다(kubernetes.io). 기본 설정에서는 그사이에 도착한 사용자를 붙잡아 둘 곳이 없습니다.
Ticketmaster의 2022년 사전 판매에서 트래픽은 이전 피크의 4배에 달했고, Ticketmaster는 "큐를 안정적으로 유지하려고 속도를 늦춰야 했다"고 밝혔습니다.
maxReplicas 상한: kubernetes.io HPA 레퍼런스. Segment ON/OFF, Max Inflow, 기본 쿨다운 60초: Wave NetFUNNEL Integration 문서. 레플리카 10개는 문서 예시에서 가져온 설명용 값입니다.
Wave가 하는 일
- HPA최대 15초마다 레플리카 추가
- 스케일DeploymentmaxReplicas에서 멈춤, 10 / 10
- 대기열 없음Ingress Gateway모든 요청을 전달, 한도 기본값은 2^32-1
- 모든 사용자Pods모든 요청을 받고, 사용자는 오류를 받음
- Wave Metrics AgentDeployment별 CPU와 메모리 수집
- 확인Wave설정한 임계값을 모두 초과, 예: 레플리카 최대
- ONNetFUNNEL segment사용자가 순번을 보며 대기, Max Inflow까지 입장
- 그동안Autopilot켜져 있으면 Pod를 스케일, 쿨다운(기본 60초) 후 segment OFF
NetFUNNEL 계정 연결
Wave 웹 콘솔의 Settings > NetFUNNEL 탭이나 WaveNetfunnelConnection에 tenant ID와 organization ID를 입력합니다. 현재 지원하는 유형은 NetFUNNEL SaaS뿐입니다.
Deployment를 segment에 매핑
Deployment, Argo Rollout, DeploymentConfig마다 NetFUNNEL segment를 고르고, CPU, 메모리, 최대 레플리카 임계값과 쿨다운을 정합니다. CPU와 메모리 데이터는 Wave Metrics Agent가 수집합니다.
Wave가 대기열을 켜고 끔
설정한 임계값을 모두 넘으면 Wave가 매핑된 segment를 모두 켭니다. 각 segment는 Max Inflow까지만 들여보내고, 나머지 사용자는 자신의 순번을 보며 기다립니다. 지표가 내려가고 쿨다운(기본 60초)이 끝나면 Wave가 segment를 끄고 변경마다 기록을 남깁니다.