Hugging Face がNVIDIA NIM を活用した推論サービスを開発者に提供

by Alexis Bjorlin · July 31, 2024

hdr-hugging-face-inference-nim-microservices-dgx-cloud-720x340

新しいサービスにより、人気の AI モデルで最大 5 倍のトークン効率が数百万の開発者にもたらされ、NVIDIA DGX Cloud で実行される NIM マイクロサービスにもすぐにアクセス可能に

世界最大級の AI コミュニティの 1 つである Hugging Face プラットフォームの 400 万人の開発者は、最も人気のある AI モデルのいくつかで NVIDIAアクセラレーテッド推論に簡単にアクセスできるようになります。

この新しい、サービスとしての推論 (inference-as-a-service) 機能で、開発者は NVIDIA DGX Cloud で実行される NVIDIA NIM マイクロサービスにより、最適化された Llama 3 ファミリーや Mistral AI モデルなどの主要な大規模言語モデルを迅速に展開することが可能になります。

本日 SIGGRAPH カンファレンスで発表されたこのサービスは、開発者が Hugging Face Hub でホストされているオープンソース AI モデルを使用して迅速にプロトタイプを作成し、本番環境の展開を支援します。Hugging Face Enterprise Hub のユーザーは、サーバーレス推論を使用して、柔軟性を高め、インフラのオーバーヘッドを最小限に抑え、NVIDIA NIM でパフォーマンスを最適化することができます。

これは、Hugging Face ですでに利用可能な AI トレーニングサービスである Train on DGX Cloud を補完するものです。

オープンソースモデルの増加に直面している開発者は、オプションを簡単に比較できるハブの恩恵を受けることが可能です。これらのトレーニングおよび推論ツールにより、Hugging Face の開発者は、NVIDIA アクセラレーテッドインフラで最先端のモデルを試用、テスト、展開する新しい方法を得られます。Hugging Face モデルカードの [トレーニング] および [展開] ドロップダウンメニューを使用して簡単にアクセスできるため、ユーザーは数回クリックするだけで開始できます。

NVIDIA NIM を搭載したサービスとしての推論 (Inference-as-a-Service Powered by NVIDIA NIM) から始めましょう。

単なるジェスチャーを超えて — NVIDIA NIM が大きなメリットをもたらす

NVIDIA NIM は、NVIDIA AI 基盤モデルやオープンソースコミュニティモデルを含む、AI マイクロサービスのコレクションであり、業界標準のアプリケーションプログラミングインターフェイス (API) を使用した推論用に最適化されています。

NIM は、言語モデルが使用および生成するデータの単位であるトークンの処理において、高い効率をユーザーにもたらします。最適化されたマイクロサービスは、基盤となる NVIDIA DGX Cloud インフラの効率も向上させ、重要な AI アプリケーションの速度を加速させることができます。

つまり、開発者は、NIM としてアクセスする AI モデルから、他のバージョンのモデルと比較して、より高速で堅牢な結果を得ることができます。たとえば、700 億パラメーターバージョンの Llama 3 は、NVIDIA H100 Tensor コア GPU 搭載システムでの既製の展開と比較して、NIM としてアクセスした場合に最大 5 倍のスループットを実現します。