起床。歯磨きに着替え。出勤。これが現実 (リアリティ) です。

では、あなたが『アイアンマン』のトニー スタークや『バットマン』のジョーカーを演じられると考えてみてください。これが仮想現実 (VR) です。

VR の進歩により、コンピューターによって生成された今までにない環境で、創作や遊び、仕事、コラボレーション、探検ができるようになりました。

VR は数十年にわたり発展してきましたが、つい最近エンターテイメントとビジネス向けに、急速に成長しています。

それでは、ヒーローを思い描いて、それが今あなたがいる部屋の中にいる様子を想像してみてください。これが拡張現実 (AR) です。

AR は、一瞬にして巻き起こったもう 1 つのセンセーションで、数十年にわたり開発が続いています。子供に人気の日本製ゲームが街中で遊べる、Pokemon GO が熱狂的に受け入れられたことから、現実世界に魔法の粉を振りかけるゲームが数多く生まれました。他にも AR の台頭を示す出来事があります。Apple が 2017 年に発表した ARKit は AR のモバイル コンテンツを作成する開発者向けのツール セットですが、iOS 11 向けに AR を構築するよう各社に勧めています。

Microsoft の Hololens と Magic Leap の Lightwear は、どちらも人々がホログラムのコンテンツとやりとりできるようにする、ヘッドマウント ディスプレイの草分けとなった 2 つの主要な成果です。

Magic Leap の Lightwear

これは、単なる遊びでもゲームでもありません。大きなビジネスです。IDC の調査スタッフは、世界全体で VR および AR の製品やサービスに費やされる金額が、2017 年の 114 億ドルから 2021 年までに 2,150 億ドルへ急上昇すると予測しています。

VR と AR が頭角を現したばかりですが、MR も急速に進化しています。MR に取り組む開発者たちは、まさに文字通り VR および AR の特性と現実世界とを混ぜ合わせ、ハイブリッドな体験を提供しています。

VR 環境では、あなたはハワイのビーチ チェアに瞬間移動し、足元には砂、片手にマイタイを楽しみ、飛行機のエコノミー クラスに着席することなくハワイ諸島へ運ばれます。しかし、本当にそこにいるのでしょうか。

複合現実では、実際にハワイ行きの飛行機に搭乗している間、動くときしむビーチ チェアを模倣したソファに腰かけ、本物の客室乗務員からマイタイのサービスを受けたり、ビーチ風の体験を作り出すために床に撒かれた砂に触れたりするシナリオを体験できます。ハワイのように感じられるハワイへのフライトは、MR の 1 つの事例です。

VR とは?

Sensorama

VR の概念は、1930 年代の文学に遡ります。1950 年代には、映像作家のモートン ハイリグ (Morton Heilig) が「体験劇場」について記述し、その後、Sensorama と名付けた、人々が覗き込む形式の没入型ビデオ ゲームのような機器を構築しました。先駆的な瞬間は 1968 年に訪れました。アイバン サザランド (Ivan Sutherland) が最初のヘッドマウント ディスプレイを開発した功績が認められたときです。

それ以降、多くの変化がありました。消費者向けの VR ヘッドセットは、大きく進化しました。このような進化は、光学、トラッキング、そして GPU パフォーマンスにおけるテクノロジのブレークスルーにより、推進されてきました。

Facebook の Oculus、HTC、Samsung、Sony など、多くの企業が製造した新しいヘッドセットにより、相当な改良が VR 体験に施されるにしたがい、VR に対する消費者の関心は、過去数年のうちに急上昇しました。しかし、コンピューターが生成する、立体的で没入型の環境を作成するということは、しゃれた VR ゴーグルだけを意味するのではありません。

大部分の障害は克服されており、これまでのところ、1 秒あたりのフレーム数を十分に提供することと、レイテンシ (ユーザーが頭を動かしたときに発生する遅れ) の削減などが対処され、生み出される体験がぎくしゃくしていて乗り物酔いが起こるようなことはありません。

VR は、グラフィックスの処理要件に最大の負荷をかけます。PC ゲームの約 7 倍も高い要求です。現在の VR 体験は、迅速なグラフィックスの提供をサポートするきわめて高速な GPU がなければ不可能です。

ソフトウェアも重要な役割を果たします。例えば、NVIDIA VRWorks ソフトウェア開発キットにより、ヘッドセットやアプリケーションの開発者は、VR に対応した最高のパフォーマンス、最少のレイテンシ、プラグアンドプレイの互換性を利用できるようになります。VRWorks は、Unity や Unreal Engine 4 などのゲーム エンジンに統合されています。

確かに VR は、その潜在能力に到達するにはまだ道半ばです。今のところ、まだ人間の目は VR の描画における欠陥を見つけることができます。

両眼共同運動の不一致、Journal of Vision

専門家の中には、VR テクノロジは、パフォーマンスの伸びが 200 倍になれば人間の認知能力を超えるレベルで実行できるようになり、おおよそ 10 年以内に実現するだろうという人もいます。ところで、NVIDIA の研究者は、VR 体験を向上させる方法に取り組んでいます。

フォービエイテッド レンダリングとして知られるアプローチは、繊細さに欠ける網膜の縁に提供される画像の質を落とし、網膜の中心に提供される画像の質を高めます。このテクノロジは、どの表示領域が明瞭でなければならないかをプロセッサに伝達できるアイ トラッキングと結び付いて、力を発揮します。

VR の技術的なハードル

• 1 秒当たりのフレーム数: 仮想現実は、1 秒間に 90 フレームを処理する必要があります。フレーム レートが低いと、人間の目にわかる動きの遅れが出現するからです。この遅れで気分が悪くなる人もいます。NVIDIA の GPU により、VR は、人間の目が認知できないほど高速に描画ができます。
• レイテンシ: VR のレイテンシとは、動作が始まってからコンピューターが視覚応答を表示するまでの時差です。専門家は　VR の場合、レイテンシの割合を 20 ミリ秒以下にする必要があると言っています。VR ヘッドセットおよびゲームの開発者向けの SDK である NVIDIA VRWorks は、レイテンシへの対処に役立ちます。
• 視野: VR では、臨場感を作りだすことが重要です。視野とは、個々の VR ヘッドセットから見える視界の角度です。例えば、Oculus Rift ヘッドセットは、110 度の視野角を提供します。
• ポジション トラッキング: 臨場感を実現し、優れた VR 体験を提供するには、1 ミリ未満の精度で空間内のヘッドセットの位置を追跡する必要があります。この最低値は、画像を表示するため、あらゆる時点、またあらゆる地点で必要です。
• 両眼共同運動の不一致: これは、現在の VR ヘッドセットにおける表示の問題です。その問題とはこうです。焦点を合わせる際、両眼は、互いに寄ったり離れたりする「両眼共同運動」で動きます。しかし、それと同時に水晶体が物体に焦点を合わせます。すなわち遠近調節です。VR ゴーグル内の立体画像の表示により、両眼共同運動と遠近調節の間で不一致が起こりますが、これが目にとって不自然であるため、目の疲れや不快感の原因となる場合があります。
• アイトラッキング技術: VR ヘッドマウント ディスプレイはこれまで、ユーザーの目の追跡に十分に対応してこなかったため、コンピューター システムは、セッション内で人間の目が焦点を合わせている場所に対応して反応できていませんでした。目が動いた先の解像度を高めると、より優れた映像を提供できるようになります。

10 年間にわたり、VR はゆっくりと市場に浸透しましたが、先日封切られたレディ プレイヤー 1 などのハリウッド映画で大成功を収め、ゲーム、テレビのコンテンツ、不動産、建築、自動車の設計など、さまざまな業界で支持者を獲得しています。

これまで消費者が継続して VR の勢いを牽引してきましたが、アナリストの予測によると、今後数年間は、企業ユーザーの伸びのほうが勝るとされています。

AR とは?

AR の発展は数十年にわたっています。初期の研究の多くは、MIT のメディア ラボなどの大学機関と、現在は Alphabet 社で Google Glass の技術責任者を務めるタード スターナー (Thad Starner) 氏のような先駆者たちに遡ります。スターナー氏はかつて、初期の AR ゴーグルに取り付けられた電池が入った重いウエスト ポーチを身に付けていたものでした。

Google Glass (2.0)

Google Glass は、かつては運の悪い消費者のセンスのないファッションでしたが、その後、倉庫や製造で使用される比較的目立たない裏方のテクノロジとして生まれ変わりました。現在、Google Glass は、労働者がトレーニング ビデオや同僚からの実地のヘルプにアクセスするために利用されています。

また、AR テクノロジは、低コストのカメラや映像技術を搭載した自動で遮光される安価な溶接用ヘルメットに使用され、人々は自分の目の網膜を焼くことなく鉄を溶かせるようになっています。

現在、AR は企業向けに広まっています。産業アプリケーションで、有用な情報が AR によってオーバーレイで提供され、手を使わず操作できるという便利さを考えてみれば、その理由は一目瞭然です。

インテリジェンスを拡張するためのスマート グラスは、確かにその画像をサポートしています。マイクロディスプレイをサポートする AR グラスは、いざという時に助けてくれる、なくてはならない同僚と共にいるかのように機能できます。AR のアイウェアにより、仕事ができるかそうでないかの違いが生まれます。

経験の浅い重量装置機械工が建設現場の巨大なトラクターを、緊急に修理するよう命じられることを考えてください。上司は修理に対応する間、ハンズフリーのガイダンスとして、図解付きのサービス マニュアルを提供する AR グラスを新人に渡します。

このようなスマート グラスには、Amazon の Alexa サービスまで備えたものもあり、スマートフォンを探したり、メガネのつるに触れる必要なく、音声で問い合わせて情報にアクセスできます。

GTC で VR に登場するジェンスン フアン (Jensen Huang)

現在の消費者向けのビジネス事例として、IKEA の Place アプリが挙げられます。このアプリにより、スマートフォンを利用し、家具やその他の製品の画像を、スマートフォンを通じて見える実際の家に重ね合わせて見ることができます。

今では、Sony、Epson、Vuzix、ODG の他、Magic Leap などのスタートアップ企業からさまざまなスマート グラスが提供されています。

NVIDIA Research は、引き続き AR と VR の体験を改良しています。これらの多くは、GPU テクノロジ カンファレンスの VR デモで体験していただけました。

MR とは?

MR には企業にとって大きな将来性があります。MR は仮想体験において、無限ともいえるバリエーションを提供できるため、人々にその場で情報を提供したり、コラボレーションを可能にしたりすると共に、実際の問題も解決できます。

では、経験の浅い重量機械工が、巨大なトラクターにすっぽりはまり、機械の問題で完全に途方にくれているところを想像してください。作業員たちは仕事ができず、何もせず座っています。現場監督たちは心配になっています。

ありがたいことに、機械工のスマート グラスは、仮想のヘルプ セッションを始めることができます。このセッションのおかげで、機械工は実際のトラクターの近くに VR で先輩機械工を呼び寄せ、一緒にトラブルシューティングをしながら、実際のマシン上での作業ができます。作業には AR によって、トルクの設計書などの詳細なメンテナンスに関するオンライン マニュアルにアクセスが可能です。

これが MR (Mixed Reality) です。

消費者向けの MR では、自宅にて家具を配置して確認するための IKEA Place アプリを想像してみてください。買い物客は、鮮やかな赤のソファに目を奪われたとしても、リビングでどう見えるのか、購入前に友人や家族の意見を聞きたいものです。

ここで、スマート グラスを VR セッションに繋げます。そのセッションが VR 用 IKEA Place アプリ内にあり、近しい友人を招待できると考えてください。しかしまずは、親友たちはその場にあるソファに座らなければなりません。そして、みんなが腰かけたら、そこは仮想設定されたあなたの自宅の中です。ソファは赤く、まるで IKEA のソファのようです。

このように、MR では仮想のショールームにてグループで決めることができます。友人や家族が満場一致でそのソファを気に入れば、購入してください。

MR は企業にとって無限の可能性があります。

初期段階にある複合現実は、VR や AR の主要な開発者すべてにとって、究極の目標になるかもしれません。Apple、Microsoft、Facebook、Google、Sony、Netflix、Amazon のような企業にとって、無数の選択肢があります。これは、MR がこの場の現実と、仮想現実や拡張現実を融合し、多くのエンターテイメントやビジネスの場面で活用できるからです。

こちらはどうでしょう。自動車のデザイナーが、アームレスト、シフトレバー、ハンドル付きの実際のシートに腰掛けて、ダッシュボードとインテリアを提供する VR セッションに繋ぎます。この方法なら離れた場所にいても、多くの人がデザインを評価できます。NVIDIA Holodeck は、このようなコラボレーション作業を実際に可能にします。

では、出発です。シートベルトをしっかりとお締めください。