コンピュータ サイエンティストとして名高いビル ダリーが、AI パフォーマンスを年々倍加させる彼のチームについて解説。
「NVIDIA の研究者たちは、処理能力が高くプログラムしやすい、高速の AI チップをシステムに組み込む方法を明示しています」と、NVIDIA のチーフサイエンティスト、ビル ダリー (Bill Dally) はバーチャル開催されているイベントGTC Chinaで行う基調講演で語りました。
彼が率いる 200 人態勢の研究チームがいかにして「フアンの法則」を成り立たせているか、その例として 3 つのプロジェクトを紹介しました。フアンの法則は、NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) の、GPU が AI パフォーマンスを年々倍加させるという予測に由来します。
NVIDIA における AI、レイトレーシング、高速相互接続の研究を指揮したダリーは以下のように述べています。「コンピュータのパフォーマンスを本当に改善したいのなら、『フアンの法則』こそ重要な基準です。予測可能な未来のために、これが継続することを期待しています」
NVIDIA は毎年、AI インファレンスのパフォーマンスを 2 倍以上にしている超高効率アクセラレータ
その目標に向けて、NVIDIA の研究者たちが生みだしたのが MAGNet と呼ばれるツールです。これで作られた AI 推論 アクセラレータは、シミュレーションで 100 TOPS/W を叩きだしました。これは現在流通しているチップと比べて一桁以上も上回る効率です。
MAGNet には、既存のチップのエネルギーの大部分を消費するデータの移動を最小化する方法によって、デバイス内の情報の流れを調整する新技術が使われています。研究プロトタイプにはモジュラーのタイルセットとして実装され、フレキシブルに拡縮することが可能です。
別の取り組みとして、システム内の電気的リンクを、より高速な光学的リンクに置き換えることを目指しています。
すべてのフォトンに火をつける
「私たちには、(GPU を接続する) NVLink の速度を 2 倍に、あるいはさらにその 2 倍にする方法が見えていますが、電気信号は最終的には息切れしてしまいます」と語るダリーは、120 件以上もの特許を所有し、2009 年に NVIDIA に加わる前は、スタンフォード大学コンピュータ サイエンス学部長を務めていました。
チームはコロンビア大学の研究者らと協力し、通信接続プロバイダが大量の信号を単一の光学ファイバーに集結させるためにそのコア ネットワークで使っている技術を活かす方法を探っています。
これは、高密度波長分割多重方式と呼ばれる技術で、毎秒数テラバイトをチップ側面のミリメートル単位のスペースに収まるリンクに収める可能性を持っています。これは既存の相互接続の 10 倍以上の密度に相当します。
光学的リンクは、スループットが高速なだけでなく、より高密度なシステムも可能にします。その例として、ダリーは 160 以上の GPU を持つ、未来の NVIDIA DGX システムのイメージを提示しました。
光学的リンクを使えば 160 以上の GPU をシステムに組み込めるソフトウェアでは、NVIDIA の研究者らが Legate と呼ぶ新しいプログラミング システムのプロトタイプを作りました。これによって、単一の GPU 用に書かれたプログラムを、数千の GPU を搭載した Selene のような超大型スーパーコンピュータのようなあらゆるサイズのシステムで実行することができます。
Legate は新しい形式のプログラミング速記法を、高速化されたソフトウェア ライブラリおよび、Legion と呼ばれる高度なランタイム環境に連結します。これはすでにアメリカの国立研究所で試験が始まっています。
鮮やかな未来を描く
この 3 つの研究プロジェクトに関することは、ドメインに特化した NVIDIA のプラットフォームについて解説するダリーの基調講演のほんの 1 部です。このプラットフォームは、ヘルスケアや自動運転車、ロボティクスなどさまざまな業界に対応しています。講演では、データサイエンスや AI、グラフィックスなどについても掘り下げています。
ダリーは、次のように述べています。「これから数世代のうちに、NVIDIAの製品は物理ベース レンダリングを用いたパストレーシングを使って、リアルタイムで驚くべきイメージを描けるようになるでしょう。私たちは AI であらゆる場面を作りだせるようになるのです」
ダリーは、NVIDIA の対話型 AI フレームワークJarvisと、敵対的生成ネットワーク使用してシンプルなスケッチからみごとな風景画を描き出すツール GauGAN を組み合わせたデモを初披露しました。このデモでは、ユーザが簡単な音声コマンドで簡単に写実的な風景画を生成することができます。
(NVIDIA Jarvis のデモ：ユーザの音声コマンドで GauGAN を使った画像生成が可能)
基調講演の模様を録画する合間のインタビューでダリーは、複数の分野で先駆的な仕事をしたチームに対する格別の誇らしさを表していました。
「私たちがいま取り組んでいるレイトレーシングはすべて、NVIDIA Researchのプロトタイプから始まり、プロダクトチームを夢中させました。そして 2011 年には、ブライアン カタンツァーロ (Bryan Catanzaro) (NVIDIA の研究者) とアンドリュー エン (Andrew Ng) (スタンフォード大学教授) が組んでプロジェクトに取り組み、その成果として CuDNN というソフトウェアを作りました。私たちのディープランニング研究はそこから始まったのです」
ネットワーキングの最初の足掛かり
ダリーはまた、現行の世界有数のスーパーコンピュータで実行されている GPU を相互接続させる NVLink および NVSwitch の最初のプロトタイプにつながった共同研究でも指揮も執りました。
「プロダクト チームが私たちの研究をまだ準備が整わないうちに取り込みましたが、結果として私たちはいま、最も先進的なネットワーキング企業のひとつに数えられています」
ダリーは、自身のテクノロジへの熱い思いを、キャンディーの物語の中にいる子供のような気分だ、と例えます。ある日は AI アクセラレーションのグループの手伝いに飛んで行ったり、次の日にはロボティクスの複雑な問題に取り組む別のチームを手伝っていたりします。
「世界一とは言いませんが、この会社で一番面白い仕事をしています。なにしろ、未来をかたちにするお手伝いをしているのですから」
GTC China には 220 を超えるセッションがあり、基調講演はその 1 つにすぎません。全セッションが無料ですが、その多くは標準中国語で行われています。
GTC China のパネル、スタートアップ展示
基調講演に続いて、AI やデータサイエンス、ヘルスケア、その他の分野における NVIDIA のテクノロジが中国でどのように採用されているかについて、NVIDIA の上級エキスパートからなるパネリストによるディスカッションが行われます。
また本イベントでは、中国のスタートアップ企業トップ 12 社による展示も行われます。AI およびデータサイエンスのスタートアップ向けアクセラレーション プログラム NVIDIA Inception がホストします。
GTC China には、Alibaba、AWS、Baidu、ByteDance、China Telecom、Dell Technologies、Didi、H3C、Inspur、Kuaishou、Lenovo、Microsoft、Ping An、Tencent、清華大学、Xiaomiを含む企業が参加しています。
※NVIDIA Jarvis の名称は 2021 年 7 月に NVIDIA Riva に変更されました。