Canonical、Nutanix、Red Hat 等のプロバイダーが提供するオープンソースの Kubernetes プラットフォーム上の NVIDIA NIM により、ユーザーは API 呼び出しで大規模言語モデルを展開可能に
企業における生成 AI の展開は、これまで以上に簡単になります。
生成 AI 推論マイクロサービスのセットである NVIDIA NIM は、クラウド コンピューティング アプリケーションの規模で AI モデルを自動化するオープン ソース ソフトウェアである KServe と連携します。
この組み合わせにより、生成 AI を他の大規模なエンタープライズ アプリケーションと同様に展開可能になります。また、Canonical、Nutanix、Red Hat など、数十社の企業のプラットフォームを通じて NIM を幅広く利用できるようになります。
KServe への NIM の統合により、NVIDIA のテクノロジがオープンソース コミュニティ、エコシステム パートナー、および顧客にまで広がります。NIM を通じて、これらすべてのユーザーが API 呼び出し (現代のプログラミングのプッシュ ボタン) で NVIDIA AI Enterprise ソフトウェア プラットフォームのパフォーマンス、サポート、セキュリティにアクセス可能となります。
Kubernetes 上で AI 提供
KServe は、大規模な分散アプリケーションのすべてのコンポーネントを保持するソフトウェア コンテナーを展開および管理するためのオープンソース システムである Kubernetes に基づく機械学習ツールキットである Kubeflow の一部として始まりました。
Kubeflow が AI 推論の取り組みを拡大するにつれ、KServe が誕生し、最終的には独自のオープンソース プロジェクトへと進化しました。
AWS、Bloomberg、Canonical、Cisco、Hewlett Packard Enterprise、IBM、Red Hat、Zillow、NVIDIA などの企業で現在稼働している KServe ソフトウェアには、多くの企業が貢献し、採用しています。
KServe の内部
KServe は基本的に、AI 推論を強力なクラウド アプリケーションのように実行するKubernetes の拡張機能です。KServe は標準プロトコルを使用し、最適化されたパフォーマンスで実行され、ユーザーが AI フレームワークの詳細を知らなくても PyTorch、Scikit-learn、TensorFlow、XGBoost をサポートします。
このソフトウェアは、新しい大規模言語モデル (LLM) が急速に登場している今日では特に有用です。
KServe を使用すると、ユーザーはモデル間を簡単に行き来して、どのモデルがニーズに最も適しているかをテストすることができます。また、モデルの更新版がリリースされると、「カナリア ロールアウト」と呼ばれる KServe の機能によって、慎重に検証して段階的に本番環境に展開する作業が自動化されます。
もう 1 つの機能である GPU 自動スケーリングは、サービスに対する需要の増減に応じてモデルを展開する方法を効率的に管理し、顧客とサービス プロバイダーに可能な限り最高の体験を提供します。
生成 AI への API 呼び出し
KServe の優れた機能が、NVIDIA NIM の使いやすさとともに利用可能となります。
NIM を使用すると、単純な API 呼び出しですべての複雑な処理を引き受けます。企業の IT 管理者は、データセンター内かリモート クラウド サービス上かを問わず、使用している AI モデルを変更した場合でも、アプリケーションが最適なパフォーマンスと効率で実行されていることを確認するために必要なメトリックを取得できます。
NIM を使用すると、IT プロフェッショナルは生成 AI のプロになり、企業の業務を変革することができます。これが、Foxconn や ServiceNow などの多くの企業が NIM を展開している理由です。
NIM は多数の Kubernetes プラットフォームに対応
KServe との統合により、ユーザーは Canonical の Charmed KubeFlow や Charmed Kubernetes、Nutanix GPT-in-a-Box 2.0、Red Hat’s OpenShift AI など、多数のエンタープライズ プラットフォームで NIM にアクセスできるようになります。
Red Hat のプリンシパル ソフトウェア エンジニアで KServe の貢献者である Yuan Tang 氏は次のように述べました。「Red Hat は NVIDIA と協力して、企業がオープンソース テクノロジを使用して AI をこれまで以上に簡単に展開できるようにしてきました。KServe を強化し、Red Hat OpenShift AI に NIM のサポートを追加することで、Red Hat の顧客に NVIDIA の生成 AI プラットフォームへの効率的なアクセスを提供できます」
「NVIDIA NIM 推論マイクロサービスと Nutanix GPT-in-a-Box 2.0 の統合により、顧客はクラウドからエッジまで、スケーラブルで安全、かつ高性能な生成 AI アプリケーションを一貫した方法で構築できるようになります」と、KServe と Kubeflow に貢献している Nutanix のエンジニアリング担当バイス プレジデント、Debojyoti Dutta 氏は語りました。
Canonical の MLOps 製品マネージャー、Andreea Munteanu 氏は次のように話しています。「KServe にも大きく貢献している企業として、Charmed Kubernetes と Charmed Kubeflow を通じて NIM を提供できることを嬉しく思います。私たちの努力の組み合わせにより、ユーザーは最高のパフォーマンス、効率、使いやすさで、生成 AI のパワーをフルに活用できるようになります」
他の数十のソフトウェア プロバイダーも、KServe を自社の製品に組み込むだけで、NIM のメリットを実感することができます。
オープンソース コミュニティへの貢献
NVIDIA は、KServe プロジェクトで長い実績を誇っています。最近の技術ブログで書いたように、KServe の Open Inference Protocol は NVIDIA Triton Inference Server で使用されており、ユーザーは多数の GPU、フレームワーク、オペレーティング モードで同時に多数の AI モデルを実行できます。
NVIDIA は、KServe で、一度に 1 つの AI モデルを多数の GPU で実行するユース ケースに重点を置いています。
NIM 統合の一環として、NVIDIA は、Triton や TensorRT-LLM などのオープンソース ソフトウェアへの貢献ポートフォリオを基に、KServe に積極的に貢献する予定です。NVIDIA は、生成 AI やその他のプロジェクト向けのオープンソース コードをサポートする Cloud Native Computing Foundation の積極的なメンバーでもあります。
今すぐ、Llama 3 8B または Llama 3 70B LLM モデルを使用して、NVIDIA API Catalogの NIM API をお試しください。世界中の何百もの NVIDIA パートナーが、NIM を活用して生成 AI を展開しています。
NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) の COMPUTEX 基調講演を視聴して、AI などの最新情報を入手してください。