Kubernetes エンジニアが段階に合わせて必要なものを導入します。GPU クラスタ、LLM サービングスタック、Run:ai AI プラットフォームのうち必要なものを導入し、テストしたうえでランブックとともに引き渡します。
相談を予約するサーバーに Kubernetes を導入し、GPU ドライバーの導入を自動化し、研究者がコマンド 1 つで空いている GPU にジョブを投入できるようにします。既存サーバーも同じクラスタに参加します。
GPU ノードに llm-d または NVIDIA Dynamo を導入し、ゲートウェイと監視を接続し、負荷テストで測定します。
キャッシュを考慮したルーティングが、プロンプトの先頭部分をすでに持つレプリカにリクエストを送ります。
Prefill と Decode を別々の GPU グループで実行し、それぞれ独立して拡張します。
キャッシュを CPU メモリとストレージに移し、1 つのモデルを複数のノードに配置します。
NVIDIA は 2026 年 10 月に Run:ai をオープンソースとして公開しました。チームごとのクォータ、公平な配分によるスケジューリング、GPU 分割を提供します。その一方で Prometheus、Ingress、TLS、ワークロード用オペレーターが必要です。これらをすべて導入して Run:ai に接続し、お客様のチームに合わせてプラットフォームとクラスタをカスタマイズします。
GPU、ワークロード、チーム、目標を確認します。
お客様の環境に合うオープンソースを選びます。
各ツールを導入し、ゲートウェイと監視に接続します。
お客様のワークロードでテストし、結果レポートをお渡しします。
ランブック、トレーニング、技術サポートを提供します。
1 枚の GPU を複数のワークロードで共有し、GPU メモリをオーバーコミットし、GPU ごとの利用状況を確認します。3 つのサービスのどれにも追加できます。
お持ちの GPU と動かしたいワークロードを教えてください。合うサービスをご提案します。