文化的理解力と言語能力を備えたソブリン AI アプリケーションの展開を加速
世界中の国々が、自国のコンピューティング インフラ、データ、労働力およびビジネス ネットワークを使って人工知能を生み出し、ソブリン AI を追求しており、AI システムをその地域の価値観、法律および興味関心に整合するものにしています。
このような取り組みを支援するために、NVIDIA は本日、開発者が高性能な生成 AI アプリケーションの構築と展開を簡単に行えるようにする、3 つの新しい NVIDIA NIM マイクロサービスを投入すると発表しました。
これらのマイクロサービスは、地域のニーズを具体的に想定して作られた、主要なコミュニティ モデルに対応しています。これらのモデルは、現地の言語と文化遺産についての正確な理解と改善された対応力によって、ユーザーとの対話を向上させています。
ABI Research によれば、アジア太平洋地域だけでも、生成 AI ソフトウェアの売上は、今年の 50 億ドルから増加し、2030 年までには 480 億ドルに達するものと予想されています。
日本語データを基にしてトレーニングされた Llama-3-Swallow-70B は、現地の法律、規制および他の習慣を深く理解している、地域の言語モデルです。
「Rakuten AI 7B」 は「Mistral-7B」 を基に、英語と日本語のデータセットにより学習を行った一連のモデルです。同大規模言語モデルのチャットモデルとインストラクションチューニング済みモデルが、それぞれのNIMマイクロサービスとして利用可能になっています。なお、「Rakuten AI 7B」の基盤モデルとインストラクションチューニング済みモデルは、「LM Evaluation Harness」の基準で2024年1月～3月に楽天内で評価を実施し、オープンな日本語大規模言語モデルにおいてトップの平均スコアを獲得しました。
地域の言語で大規模言語モデル (LLM) のトレーニングを行うことによって、文化的および言語的に微妙な違いがよりよく理解され、それらが反映されるため、より正確でニュアンスのあるコミュニケーションが可能になり、アウトプットの効果が高まります。
これらのモデルは、Llama 3 のような基本的な LLM と比較した場合、日本語の言語理解、地域の法的課題への対応、質疑応答、ならびに言語翻訳や要約において優れた性能を発揮します。
シンガポール、アラブ首長国連邦、台湾、韓国、スウェーデンから、フランス、イタリア、インドにいたる、世界中の国や地域が、ソブリン AI への投資を行っています。
新しい NIM マイクロサービスにより、企業、政府機関および大学では、それぞれの環境でネイティブの LLM をホストできるようになり、開発者は高度なコパイロット、チャットボットおよび AI アシスタントを構築することができます。
ソブリン AI NIM マイクロサービスを使ったアプリケーション開発
開発者は、パフォーマンスを向上させながら、NIM マイクロサービスとしてパッケージ化されたソブリン AI モデルを本番環境に展開できます。
NVIDIA AI Enterprise で利用可能なマイクロサービスは、NVIDIA TensorRT-LLM オープン ソース ライブラリによって推論に最適化されています。
新しい Llama–3-Swallow-70B のベース モデルとして使用された Llama 3 70B 向けの NIM マイクロサービスは、最大 5 倍のスループットを提供します。これにより、本番環境でモデルを実行する際の総費用が削減され、レイテンシの低下によってユーザー体験が向上します。
新しい NIM マイクロサービスは、本日よりホステッド アプリケーション プログラミング インターフェース (API) として利用可能です。
NVIDIA NIM の利用により、より高速で正確な生成 AI の成果を実現
NIM マイクロサービスは、展開の加速と全体的なパフォーマンの向上を実現し、さらにヘルスケア、金融、製造、教育および法務を含む、世界の多様な業界の組織に必要なセキュリティを提供します。
東京工業大学は、日本語データを使って、Llama-3-Swallow 70B をファインチューニングしました。
東京工業大学 学術国際情報センターの横田 理央 教授は、次のように話しています。「LLMは、誰にでも同じ利益をもたらす機械的な道具ではありません。むしろ、人間の文化や創造性と相互作用する知的ツールなのです。その影響は相互的なものであり、モデルは我々が訓練するデータの影響を受けるだけでなく、我々の文化や我々が生成するデータもLLMの影響を受けることになります。従って、我々の文化的規範を遵守するソブリン AIモデルを開発することは最重要課題となります。NVIDIA NIMマイクロサービスとしてLlama-3-Swallowが利用可能になることで、開発者は様々な業界の日本のアプリケーションに簡単にアクセスしてモデルを展開できるようになります。」
たとえば、日本の AI 企業である Preferred Networks は、このモデルを使って日本語医療データの独自コーパスを用いてトレーニングされたヘルスケアに特化したモデル「Llama3-Preferred-MedSwallow-70B」を開発しています。このモデルは、日本の医師国家試験で高いスコアを達成しています。
NVIDIA AI Foundry で、カスタムのエンタープライズ モデルを作成
地域の AI モデルが文化的な機微のわかる、ローカライズされた対応を実現している一方で、エンタープライズは、自社のビジネス プロセスと専門知識に合わせるために、それらモデルをファインチューニングする必要があります。
NVIDIA AI Foundry は、よく使われている基盤モデル、ファインチューニング用の NVIDIA NeMo、および NVIDIA DGX Cloud の専用キャパシティを備えたプラットフォームおよびサービスです。これにより、開発者は NIM マイクロサービスとしてパッケージ化された、カスタマイズ可能な基盤モデルを作成するためのフル スタック ソリューションを利用できます。
さらに、NVIDIA AI Foundry を使用している開発者は、セキュリティ、安定性、ならびに本番環境の展開でのサポートを実現する、NVIDIA AI Enterprise ソフトウェア プラットフォームを利用することができます。
NVIDIA AI Foundry は、開発者に AI アプリケーションを構築し、独自のカスタム地域語 NIM マイクロサービスを迅速かつ簡単に展開するためのツールを提供します。その結果、開発者は文化的および言語的に適切な成果をユーザーに届けることができます。
※本ブログは8月28日に更新されています。