Kubernetes 엔지니어가 단계에 맞는 구성을 설치합니다. GPU 클러스터, LLM 서빙 스택, Run:ai AI 플랫폼 중 필요한 것을 설치하고, 테스트한 뒤 런북과 함께 넘겨 드립니다.
상담 예약서버에 Kubernetes를 설치하고, GPU 드라이버 설치를 자동화하고, 연구자가 명령 하나로 빈 GPU에 작업을 올리게 합니다. 기존 서버도 같은 클러스터에 들어갑니다.
GPU 노드에 llm-d 또는 NVIDIA Dynamo를 설치하고, 게이트웨이와 모니터링을 연결하고, 부하 테스트로 측정합니다.
캐시 인지 라우팅이 프롬프트 앞부분을 이미 가진 복제본으로 요청을 보냅니다.
Prefill과 Decode를 서로 다른 GPU 묶음에서 실행하고 각각 따로 확장합니다.
캐시를 CPU 메모리와 스토리지로 옮기고, 모델 하나를 여러 노드에 배치합니다.
NVIDIA는 2026년 10월 Run:ai를 오픈소스로 공개했습니다. 팀별 할당량, 공정 분배 스케줄링, GPU 분할을 제공합니다. 대신 Prometheus, Ingress, TLS, 워크로드 오퍼레이터가 필요합니다. 이 구성요소를 모두 설치해 Run:ai에 연결하고, 고객 팀에 맞게 플랫폼과 클러스터를 맞춤 구성합니다.
GPU, 워크로드, 팀, 목표를 확인합니다.
고객 환경에 맞는 오픈소스를 고릅니다.
각 도구를 설치하고 게이트웨이와 모니터링에 연결합니다.
고객 워크로드로 테스트하고 결과 보고서를 드립니다.
런북, 교육, 기술 지원을 제공합니다.
GPU 한 장을 여러 워크로드가 나눠 쓰고, GPU 메모리를 오버커밋하고, GPU마다 사용 현황을 봅니다. 세 서비스 어디에나 추가할 수 있습니다.
보유한 GPU와 실행하려는 워크로드를 알려 주세요. 맞는 서비스를 제안해 드립니다.