AI の次の波は、インフラに新たな要求を突きつけています。
AI エージェントや兆パラメータ規模のワークロードが主流となる中、AI インフラの性能は、演算能力だけでなく、演算、メモリ、ストレージ、ネットワーク、ソフトウェアが統合されたシステムとしてどのように設計されているかにも左右されます。
ハイパースケーラーや AI イノベーターによる次世代のセミカスタム AI インフラ構築を支援するため、NVIDIA は本日、XPU のメモリ性能と効率を高める次世代の高帯域幅メモリ技術である NVIDIA NVHBM により、NVIDIA NVLink Fusion を拡張しました。この技術は、メモリ業界の主要パートナー各社によって検証、提供される予定であり、この高度なメモリ機能を NVLink Fusion の顧客へと拡張し利用できるようになります。
従来の HBM アーキテクチャでは、メモリ コントローラが XPU ダイ上に配置されるため、本来は演算処理に割り当てられる貴重なシリコン領域が消費されます。一方 NVHBM は、NVIDIA が将来の GPU で採用する技術に基づいて構築されており、NVIDIA 独自のメモリ コントローラを HBM ベース ダイに統合しています。
メモリ コントローラを XPU ではなく 3D HBM スタックに統合することで、NVHBM は標準的な HBM4E と比較して、メモリ帯域幅を最大 30％ 向上させ、HBM の消費電力を 15％ 低減するとともに、XPU の演算ダイ上で利用可能な領域を最大 25％ 拡大します。
NVIDIA は、複数のメモリ ベンダーから提供される NVHBM の標準実装の確立を進めています。これにより、複数のサプライヤーのメモリを統合、認定するのに必要なエンジニアリング作業が軽減され、NVLink Fusion の顧客はカスタム AI チップをより迅速に市場投入できるようになります。
Amazon 傘下の Annapurna Labs は、NVLink Fusion に関する NVIDIA との幅広い協業の一環として、NVHBM に取り組む最初の企業となります。
AWS と NVIDIA、NVLink Fusion における協業を継続
Amazon 傘下の Annapurna Labs は、AI ワークロードの性能と効率を高めるため、NVIDIA と共に NVHBM 技術および NVLink スケールアップ アーキテクチャに取り組みます。
これは、AWS が以前に発表した NVLink Fusion への対応をさらに発展させるものです。Annapurna Labs は、Trainium4 を皮切りに、次世代 Trainium チップで NVLink Fusion をサポートする予定です。これにより Amazon のチップと NVIDIA GPU が共通のラックスケール アーキテクチャ上で連携できるようになります。
Amazon の Annapurna Labs でバイス プレジデントを務める Nafea Bshara 氏は次のように述べています。「NVHBM は、高帯域幅メモリの性能と効率を高めるための新しいアーキテクチャ アプローチです。今回の技術協業が、将来の AWS インフラ設計に寄与することを期待しています」
垂直統合と水平開放の両立
NVLink Fusion により、パートナーはカスタムの XPU や CPU を NVIDIA のラックスケール プラットフォームに接続できるようになります。
パートナーは、NVIDIA NVLink チップレット、NVLink-C2C、NVLink スイッチ、NVIDIA MGX システムおよびラックを利用できるだけでなく、CPU パートナー、ASIC 設計者、システム メーカー、テクノロジ プロバイダーから成る広範なエコシステムにもアクセスできます。
NVIDIA のラックスケール システム アーキテクチャの各世代で提供される NVLink Fusion により、ハイパースケーラーや AI ネイティブ企業は、スケールアップおよびスケールアウト型のネットワーク、ラックスケール システム、ソフトウェア向けの実績のあるテクノロジ スタックを活用しつつ、エンジニアリング リソースを XPU のイノベーションに集中させることができます。これにより、セミカスタム AI インフラをより迅速かつ低リスクで導入できるようになります。
NVLink および NVLink Fusion の詳細をご覧ください。