SIGGRAPH の参加者が、仮想現実 (VR) と現実世界で Isaac のトレーニングを受けたロボットとドミノで対戦

投稿者: Zvi Greenstein
NVIDIA が SIGGRAPH 2017で、NVIDIA Project Holodeck 内の Isaac ラボでトレーニングを受けたロボットのインタラクティブなデモを初公開

コンピューターは、チェスで人間に勝つことができ、人間を上回る精度で画像を分類できます。そんな現在、NVIDIA は、日々の生活で私たちと安全に交流できるほどスマートなマシンを作成する方法を示します。

ロサンゼルスで今週開催される SIGGRAPH 2017 プロフェショナル グラフィックス カンファレンスで、私たちは参加者にドミノの試合を挑みます。参加者がロボットとテーブルを挟んで座り、順番にドミノを置いていくのです。

すべての人のためのロボット

怖がらないでください。決して負けないロボットを作成するつもりはありません。

この展示の目的は、NVIDIA Isaac ラボのロボット シミュレーターでトレーニングを受けたロボットである Isaac の最初のハンズオンデモで、シミュレーション (および VR) により、人間と交流するきわめて繊細なタスクをロボットが学習できるようにする方法を示すことです。

コップにコーヒーを注ぎ、高齢者を介護し、手術を行い、ドミノ ゲームを遊ぶといったスキルは、人口が 70 億人を超える世界の日々の生活で、ロボットを活用するために不可欠です。

このようなスキルは繊細すぎるため、プログラマーが 1 行ずつコードを入力することによって教えることはできません。SIGGRAPH での NVIDIA のデモでは、AI を利用してこれを実現する方法を示します。

Isaac と Project Holodeck のハンズオンデモ

NVIDIA のデモでは、GPU テクノロジ カンファレンスで今年発表した次の 2 つのテクノロジを実際に体験できます。

NVIDIA Isaacは、Isaac ラボと呼ばれる強力なシミュレーション環境を使用してトレーニングされた AI 対応ロボットです。
NVIDIA Isaac は、Isaac ラボと呼ばれる強力なシミュレーション
環境を使用してトレーニングされた AI 対応ロボットです。

NVIDIA Isaac は、Isaac ラボと呼ばれる強力なシミュレーション環境を使用してトレーニングされた AI 対応ロボットです。

Project Holodeck (協働的で物理的に正確な VR 環境) によって、人間は、シミュレーション環境に入り、現実世界と同様に VR 環境でロボットと交流できます。

次の 2 つの方法で Isaac と交流することにより、上記の 2 つのテクノロジがどのように連携するかを知ることができます。

参加者は、現実世界の展示フロアで Isaac と対戦できます。また、VR ヘッドセットを付けて、Project Holodeck を通じてシミュレーション環境に入ることもできます。

人間の存在を感知して反応し、ゲームの状況を識別し、ゲームのルールを理解し、選択する牌とその配置方法を決定するやり方をロボットに教えるため、ディープラーニングとコンピューター ビジョンを組み合わせました。

Isaac がゲームを理解するだけでなく、人間と交流するときにその知識を活用する方法を理解するよう支援するため、1 組のニューラル ネットワークが重要な役割を果たします。

1 つ目のニューラル ネットワークにより、分類手法を利用して、キャプチャされたドミノ牌の画像に基づいてゲームの状態が識別されます。このニューラル ネットワークは、ルールに従ってゲームでのさまざまな牌の移動を決定します。

次に、そのデータは別のニューラル ネットワークに転送されます。このニューラル ネットワークでは、強化学習を利用して、選択する牌とその配置方法が決定されます。

Isaac ラボ環境でトレーニングが完了すると、物理領域と仮想領域間で、その知識を展開および移行することができます。

シミュレートされた世界でロボットを開発し、トレーニングしてから、Project Holodeck のような VR 環境でロボットと共に作業することによって、研究者は、より安全、迅速で、コスト効率の高い方法で現実世界にロボットを配備できます。

詳細情報
NVIDIA Isaac の詳細については、こちらをご覧ください。

Project Holodeck の体験

Holodeck の VR スペースでリアルなモデルと協力するイメージ写真

Holodeck は、協働的な VR スペースで、ロボットだけでなく、大きくて複雑で、写真のようにリアルなモデルと協力し、可視化し、交流することを望むゲーム開発者、コンテンツ作成者、デザイナーにとって理想的なプラットフォームです。

NVIDIA Project Holodeck とは、きわめてリアルなマルチユーザー VR 環境です。これを利用すると、開発者は、高品質なモデルを簡単にインポートして交流することができます。また、ロボットやテスト方法の反復処理と調整を行うこともできます。

Isaac に加えて、NVIDIA は、SIGGRAPH の最初のハンズオン デモで、Holodeck 内の Koenigsegg Regera スーパーカーも展示しています。Koenigsegg 仮想自動車モデルは、5,000 万個を超えるポリゴンによって表現されています。

展示会の参加者は、モデルの色を変更したり、隠れた部品を表示するためにクリッピング範囲を適用したり、複雑な部品を可視化するためにモデルをビジュアルに展開したりできます。

この体験は非常に協働的であり、物理的に離れた部屋にいる参加者が、共有仮想スペースで互いに他の参加者を見て、対話します。

Holodeck 早期アクセス ベータ プログラムは、2017 年 9 月に提供される予定です。Project Holodeck の最新情報を得るには、こちらで登録してください。