NVIDIA L40S GPU で加速された新しい OCI Compute インスタンスが提供開始。

企業は、運用効率の向上、コストの削減、イノベーションの推進を目的として、生成 AI、大規模言語モデル (LLM)、高度なグラフィックス、デジタル ツインを急速に導入しています。

ただし、これらのテクノロジを効果的に導入するには、企業が最先端のフルスタック アクセラレーテッド コンピューティング プラットフォームにアクセスする必要があります。この需要に応えるため、Oracle Cloud Infrastructure (OCI) は本日、NVIDIA L40S GPU ベアメタル インスタンスの注文が可能になり、単一の NVIDIA H100 Tensor コア GPU で加速される新しい仮想マシン (VM) が近日中に提供されることを発表しました。この新しい VM により、OCI の NVIDIA HGX H100 8-GPU ベアメタル インスタンスを含む既存の H100 ポートフォリオが拡張されます。

NVIDIA ネットワーキングと組み合わせ、NVIDIA ソフトウェア スタックを実行することで、これらのプラットフォームは強力なパフォーマンスと効率性を提供し、企業が生成 AI を進化させることを可能にします。

NVIDIA L40S が OCI で提供開始

NVIDIA L40S は、生成 AI、グラフィックス、ビデオ アプリケーション向けに画期的なマルチワークロード アクセラレーションを提供するように設計されたユニバーサル データセンター GPU です。第 4 世代の Tensor コアを搭載し、FP8 データ形式をサポートする L40S GPU は、小規模から中規模の LLM のトレーニングとファインチューニング、および幅広い生成 AI ユース ケースでの推論に優れています。

たとえば、1 基の L40S GPU (FP8) は、入力および出力シーケンス長が 128 の NVIDIA TensorRT-LLM を使用した Llama 3 8B で、1 基の NVIDIA A100 Tensor コア GPU (FP16) よりも 1 秒あたり最大 1.4 倍多くのトークンを生成できます。

L40S GPU は、クラス最高のグラフィックスおよびメディアのアクセラレーションも備えています。第 3 世代の NVIDIA レイトレーシング コア (RT コア) と複数のエンコード/デコード エンジンにより、高度な可視化およびデジタル ツイン アプリケーションに最適です。

L40S GPU は、前世代の GPU の最大 3.8 倍の性能のリアルタイム レイトレーシングを実現し、NVIDIA DLSS 3 をサポートしてレンダリングを高速化し、フレームレートをよりスムーズにします。このため、この GPU は NVIDIA Omniverse プラットフォームでのアプリケーション開発に最適で、リアルタイムでフォトリアルな 3D シミュレーションや AI 対応のデジタル ツインを実現します。L40S GPU 上の Omniverse により、企業は産業デジタル化のための高度な 3D アプリケーションとワークフローを開発し、生産に入る前に製品、プロセス、施設をリアルタイムで設計、シミュレーション、最適化できます。

OCI は、それぞれ 48 GB の GDDR6 メモリを備えた NVIDIA L40S GPU を 4 基搭載した BM.GPU.L40S.4 ベアメタル コンピューティング シェイプを提供します。このシェイプには、7.38 TB の容量を持つローカル NVMe ドライブ、112 コアの第 4 世代 Intel Xeon CPU、1 TB のシステム メモリが含まれます。

これらのシェイプは、OCI のベアメタル コンピューティング アーキテクチャを使用して、高スループットでレイテンシに敏感な AI または機械学習ワークロードの仮想化のオーバーヘッドを排除します。アクセラレーテッド コンピューティング シェイプには、サーバー効率を向上させる NVIDIA BlueField-3 DPU が搭載されており、データセンターのタスクを CPU からオフロードして、ネットワーク、ストレージ、セキュリティ ワークロードを高速化します。BlueField-3 DPU の使用により、OCI のオフボックス仮想化戦略が全フリートで推進されます。

NVIDIA L40S を搭載した OCI Supercluster は、800Gbps のノード間帯域幅と最大 3,840 基の GPU の低レイテンシによる超高性能を実現します。OCI のクラスター ネットワークは、RoCE v2 経由で NVIDIA ConnectX-7 NIC を使用して、AI トレーニングなどの高スループットでレイテンシに敏感なワークロードをサポートします。

Beamr Cloud の CEO である Sharon Carmel 氏は次のように述べています。「私たちは、ビデオ エンコーディングの効率を 30% 向上させるために、ベアメタル インスタンスと NVIDIA L40S GPU を備えた OCI AI インフラを選択しました。OCI 上の Beamr Cloud で処理されたビデオは、ストレージとネットワーク帯域幅の消費を最大 50% 削減し、ファイル転送を 2 倍高速化し、エンドユーザーの生産性を向上します。Beamr は OCI の顧客にビデオ AI ワークフローを提供し、ビデオの未来に備えます」

シングル GPU H100 VM が OCI に近日登場

単一の NVIDIA H100 Tensor コア GPU によって高速化された VM.GPU.H100.1 コンピューティング仮想マシン シェイプが、近日中に OCI に登場します。これにより、生成 AI および HPC ワークロードに NVIDIA H100 GPU のパワーを活用したいと考えている企業に、コスト効率の高いオンデマンド アクセスを提供します。

単一の H100 は、小規模なワークロードと LLM 推論に適したプラットフォームを提供します。例えば、1 基の H100 GPU は、入力および出力シーケンス長 128、FP8 精度の NVIDIA TensorRT-LLM を使用した Llama 3 8B で、1 秒あたり 27,000 を超えるトークンを生成できます (FP16 精度の単一の A100 GPU と比較して最大 4 倍のスループット)。

VM.GPU.H100.1 シェイプには、2×3.4TB の NVMe ドライブ容量、13 コアの第 4 世代 Intel Xeon プロセッサ、246GB のシステム メモリが含まれており、幅広い AI タスクに最適です。

Altair のデータ管理分析担当チーフ エンジニアである Yeshwant Mummaneni 氏は次のように述べています。「Oracle Cloud のベアメタル コンピューティングは、NVIDIA H100 および A100 GPU、低レイテンシのスーパークラスター、高性能ストレージを備えており、Altair の数値流体力学および構造力学ソルバーの価格性能比が最大 20% 向上します。これらの GPU を仮想マシンで活用して、Altair Unlimited 仮想アプライアンスを実現できることを楽しみにしています」

GH200 ベアメタル インスタンスが検証に利用可能

OCI は、顧客テスト用に BM.GPU.GH200 コンピューティング シェイプも提供します。このシェイプには、NVIDIA Grace Hopper Superchip と、NVIDIA Grace CPU と NVIDIA Hopper GPU 間の高帯域幅でキャッシュ コヒーレントな毎秒 900GB の接続である NVLink-C2C が搭載されています。これにより、600 GB を超えるアクセス可能なメモリが提供され、NVIDIA A100 GPU と比較して、テラバイト規模のデータを実行するアプリケーションのパフォーマンスが最大 10 倍向上します。

エンタープライズ AI 向けに最適化されたソフトウェア

企業は、OCI で AI、HPC、データ分析ワークロードを高速化するために、さまざまな NVIDIA GPU を使用しています。ただし、これらの GPU アクセラレーテッド コンピューティング インスタンスの潜在能力を最大限に引き出すには、最適化されたソフトウェア レイヤーが必要です。

OCI Marketplace で利用できる NVIDIA AI Enterprise ソフトウェア プラットフォームの一部である NVIDIA NIM は、高性能 AI モデル推論を安全かつ確実に展開して、世界クラスの生成 AI アプリケーションを展開できるように設計された、使いやすいマイクロサービスのセットです。

NVIDIA GPU 向けに最適化された NIM の事前構築済みコンテナーにより、開発者は所有コストの削減、市場投入までの時間の短縮、セキュリティを実現できます。NVIDIA API カタログにある人気のコミュニティ モデル向けの NIM マイクロサービスは、OCI 上に簡単に展開できます。

NVIDIA H200 Tensor コア GPU や NVIDIA Blackwell GPU などの今後の GPU アクセラレーテッド インスタンスにより、パフォーマンスは時間とともに向上し続けます。

L40S GPU の注文や、GH200 Superchip のテストをするには、OCI にお問い合わせください。詳細については、世界有数のグラフィックス カンファレンスである SIGGRAPH で Oracle と NVIDIA にご参加ください。

ソフトウェア製品情報についてはお知らせをご覧ください。