推論は NVIDIA GPU によってますます高速化され、あらゆる業界に革新をもたらす

大量に蓄積されたデータに基づいてスマートな選択をすばやく推論する AI の驚異的な能力により、農業から X 線に至るまで、AI はさまざまな分野に広がりを見せています。

データセットとそれらを分析するニューラルネットワークが増大するにつれ、ユーザーは AI 推論を加速するために NVIDIA GPU にますます目を向けるようになっています。

推論がどのように機能しているかを確認するには、広く使用されている、誰もがよく知る企業の製品を調べてみるとよいでしょう。

たとえば GE Research では GPU で高速化された AI モデルを、航空、ヘルスケア、電力、運送業界に導入しています。同社は、工場での検査の自動化、スマート トレインの実現、発電所の監視、医用画像の分析などを行っています。

GE では、これらの AI モデルをデータ センター サーバー内の V100 Tensor コア GPU を搭載した NVIDIA DGX システムや、エッジ コンピューティング ネットワーク内のJetson AGX Xavier モジュールで実行しています。これらのハードウェアでは、ディープラーニング用の NVIDIA TensorRT 推論エンジンや NVIDIA CUDA、cuDNN アクセラレーション ライブラリ、および Jetson モジュール用の NVIDIA JetPack ツールキットが使われています。

推論は動画アプリや契約にまで浸透

消費者市場では、世界で最も人気のある 2 つのモバイル動画アプリが NVIDIA GPU で AI 推論を実行しています。

TikTok とその中国本土版である Douyin は、2019 年 2 月に世界で 10 億ダウンロードを達成しました。同アプリの開発、運営を手掛ける ByteDance は、4 億人ものデイリー アクティブ ユーザーに向けて、1 日に 5,000 万もの新しい動画をアップロードしています。

ByteDanceでは、TensorRT を数千台の NVIDIA T4 および P4 GPU サーバー上で実行しているため、ユーザーはクールな動画を視聴するために検索したり、レコメンデーションを取得したりできます。同社は、NVIDIA 製品を使用することで数百万ドルを節約し、オンライン サービスの待ち時間を半分に削減することに成功したと見積もっています。

ビジネスの分野では、Deloitte が企業における複雑な契約の管理を支援する同社の dTrax ソフトウェアでAI推論 を使っています。たとえば、dTrax は、法規の変更があったときや企業が大きな買収を計画しているときに、長大な契約書の中から鍵となる一節を見つけ出し、更新することができます。

現在、世界中のいくつかの企業がdTraxを使用しています。データ センターでは NVIDIA DGX-1 システムで、クラウドでは AWS P3 インスタンスで実行されるこのソフトウェアは 2019 年に、フィナンシャル タイムズ紙のスマートビジネス賞を受賞しています。

GPU で推論を 2～10 倍速く実行

金融サービス会社の Squareが実施したテストによると、平均的なサイズのモデルの推論ジョブは CPU よりも GPU のほうが 2 倍速く実行され、RoBERTa などの大規模なモデルの推論は 10 倍速く実行されます。

同社には、Square Assistant をバーチャル スケジューラーとしてだけでなく対話型 AI エンジンにも使用して同社のすべての製品を駆動するという目標がありますが、NVIDIA GPU はその目標達成の鍵を握っています。

BMW グループは、NVIDIA Isaac ロボット プラットフォームを使用して、自動車製造工場のロジスティクスを強化する 5 種類の新しいロボットを開発中であることを発表しました。新しいロボットの 1 つは、NVIDIA Jetson AGX Xavier を搭載し、知覚、姿勢推定、経路計画といったコンピューター ビジョン タスクのために、1 秒あたり最大 32 兆回の処理を実現しています。

AI 推論は自動車内にも見られます。中国の Xpeng が4 月下旬に発表した電気自動車スポーツセダンである P7では、NVIDIA DRIVE AGX Xavier を使用して、一連のセンサーからのデータに基づいた推論を行い、レベル 3 の自動運転機能を実現しています。

GTC 2020 では、放射線学、ゲノミクス、顕微鏡検査など、ヘルスケア分野での AI の利用について、世界中の医療専門家による数十件の講演が行われました。それらの講演の 1 つで、米国放射線科医学会の会長である Geraldine McGinty (ジェラルディン マクギンティー) 氏は AI を、コストを削減しながら医療の質を向上させる「一世代に一度の機会」と称しました。

Tensor コアの導入や TensorRT での継続的なソフトウェア最適化、PyTorch や TensorFlow などの AI フレームワークの高速化により、NVIDIA のデータ センター プラットフォームでの推論性能は、過去 3 年間でほぼ 50 倍に成長

農場では、成長中の複数のスタートアップが AI を使用して効率を向上させています。たとえば、NVIDIA Inception Program に参加している Rabbit Tractors は、多機能ロボットに搭載された Jetson Nano モジュールを使用して、カメラやライダーのデータから、播種、散布、収穫する必要がある畝に沿ってどのように進むべきかを推論します。

GPU で推論を高速化したユース ケースを持つ企業は他にもあります。たとえば、American Express では不正検知に、P&G では産業検査に、大手ウェブ企業では検索エンジンに、GPU が使用されています。

A100 で最大 7 倍の推論が可能に

GPU での推論の可能性は右肩上がりに向上しています。

NVIDIA Ampere アーキテクチャでは、Multi-Instance GPU 機能により、推論は最大で 7 倍高速化します。A100 GPU ではディープ ニューラルネットワークのスパース性に対する新しいアプローチを使用することで、この数字はさらに向上することでしょう。これは、A100 GPU の技術概要で説明されているアーキテクチャの新機能の 1 つです。

推論で次に何ができるようになるのか、どのように推論を使い始めるのかを知るためのリソースはたくさんあります。

ウェビナーでは、A100 での推論の可能性について詳しく説明しています。NVIDIA の推論プラットフォーム専用ページでは、AI モデルを大規模に展開する NVIDIA Triton Inference Serverに関するチュートリアル、お客様事例、ホワイト ペーパーをすべて見ることができます。

NVIDIA TensorRT ページでは、推論のランタイム、最適化ツール、コード サンプルを見つけることができます。事前学習済みモデルや、使用を始めるために必要なコードをパッケージ化したコンテナは、NGC ソフトウェア カタログにあります。