LLM Serving Professional Service

お客様の Kubernetes クラスタで LLM を運用しましょう。サービングスタックは当社のエンジニアが一緒に構築します。

GPU ノードに llm-d または NVIDIA Dynamo を導入・設定し、ゲートウェイと監視を接続し、負荷テストで測定したうえで、ランブックとともに引き渡します。

構築する範囲

1 · 評価

モデル、GPU、トラフィック、レイテンシの目標を確認します。

2 · 導入

サービングフレームワーク、エンジン、ゲートウェイ、監視を導入します。

3 · 測定

毎秒トークン数、最初のトークンまでの時間、100 万トークンあたりのコストを負荷テストで測定します。

4 · 引き渡し

ランブックとトレーニングを提供します。

範囲、期間、費用はお問い合わせください。