バーチャルリアリティの背後にある科学を進歩させるため、NVIDIAでは、今週開催されるSIGGRAPHグラフィックス会議において、バーチャルリアリティをもっと自然に、もっと快適にする新技術のデモをスタンフォード大学と共同で行うことにしました。

バーチャルリアリティは、ここ数年で大きく進歩しましたが、その基本原理は、チャールズ・ホイートストン卿が立体視のヘッドセットを発明した1838年以来変わっていません。

ホイートストン卿がしたのは、頭に固定した箱のなかに同じシーンの映像2枚を並べること。撮った角度が少しだけ異なる映像です。この映像を左右の目それぞれで見ると、脳が、三次元の映像だと解釈するのです。

VR has made huge strides into the
mainstream over the past few years.

NVIDIAの研究者、フーチュン・ホワンは、次のように述べています。「違いは、いまならコンピュータがあるという点だけです。」

ホワンは、スタンフォード大学コンピュテーショナル・イメージング・グループと共同で、ひとつのシーンについて、毎秒、2枚ではなく50枚もの異なる映像をGPUで生みだす研究を進めています。このほうが、鮮明で自然なバーチャルリアリティが得られるというのです。

我々の目の機能を再現したければ、こうすることが必要だからです。

脳からは、両目が協調して動くように――専門用語で両眼共同運動などと言います――また、同時に焦点が合うように指令が出ます。たとえば見たいものが遠くにあれば、それがクリアに見えるように目の焦点が調節されます。このとき同時に、両目の瞳孔が互いに少し離れるようにほんの少しだけ目を回転させるという運動が必要になります。

映像を2枚だけ使う、つまり、それぞれの目に対して1枚の映像しかないバーチャルリアリティでは、このような動きが起きません。研究者が「フォーカス・キュー」と呼ぶものがないのです。たとえば、バーチャルリアリティのシーンのうち、すぐ目の前で起きている部分を見ようと目が回転すると、焦点も同時に変化してしまいます。ところが、映像そのものと目の距離は変わりません。これが、映像がぼやけたり、見ている人が疲れたり、ひどい場合には吐き気を感じたりといったことの原因になるのです。

Sandwiching two displays together creates a more natural, immersive image.

では、どうすればいいのでしょうか。透明なスクリーン2枚を貼り合わせてホログラムのようなもの――光のフィールドと言ってもいいでしょう――を作り、それぞれから、シーンごとに少しだけ異なる映像25枚を目に送り込めばいいのです。

原理を説明しましょう。シーン生成では、ディスプレイごとに異なるパターンをNVIDIAのGPUで作成します。作成したパターンを透明なディスプレイ2枚で挟み、そこを見ると、2種類のパターンを組み合わせたものが見えることになります。ディスプレイのある部分から別の部分へ視線を動かすと、2枚のパターンの重なり具合が変わり、微妙に異なる映像が見えます。これで、目を動かしたとき一緒に変化する焦点に相当する変化が生まれるわけです。

アイディアはシンプルで、原理の説明だけなら厚紙の箱と透明な板2枚でも示すことができます。ですが、これを動画で実現しようとすると、1秒あたり何回も、シーンごとに片目25枚もの異なる画像を生成しなければなりません。そのためには、NVIDIAのCUDAプラットフォームと最新Maxwellアーキテクチャを採用したNVIDIA GeForce GTX 970 GPUが必要になります。

でも、その効果は感動的です。ヘッドセットを付けてみれば、3Dシーンのあちこちに視線を走らせるのが桁違いに楽であることを感じていただけるはずです。ぜひ、今週開催されているSIGGRAPHのET18ブースに来場し、ご自分で体験してみてください。