ソニーの技術とJetsonの融合から生まれたAI時代の新しい映像コンテンツ制作エクスペリエンス

投稿者: NVIDIA Japan

デジタル技術やIT技術の進化と共に、これまでもプレゼンテーションの手法が大きく変わってきました。特に教育の現場を例に振り返ってみると、昔は講師が説明しながら黒板やホワイトボードに書き込む内容を、受講者が必死にノートをとりながら説明を聴いていましたが、最近では電子ファイルで用意されたアニメーションや分かりやすい図などを含む資料をダウンロードして参照しながら、講師の説明に集中して耳を傾けることができます。またインターネットによるリモートでの講義や、聴き逃した説明や授業そのものを後日、アーカイブへアクセスして再度聴講し直す、といった方法も最近では当たり前になってきました。そのような新しい技術がもたらす教育やプレゼンテーション手法の進化において、AI時代の新しい映像コンテンツ制作 エクスペリエンスを実現する、ソニーのEdge Analytics Appliance(エッジ・アナリティクス・アプライアンス)、REA-C1000がNVIDIAのJetsonプラットフォームで開発されました。

従来は高額な制作機材を使って、専門知識・技術を持つ多くの制作スタッフが長時間かけてコンテンツを制作していました。しかし、ソニー独自のAIアルゴリズムを実装して開発されたEdge Analytics Applianceを用いることにより、多くの人々が簡単にインパクトのある映像コンテンツをリアルタイムで制作することができます。そのEdge Analytics Appliance がもつ様々なアプリケーションの実装を可能にしたのが、豊富な AI ツールとワークフローのセットが活用でき、開発者が短期間でAIアプリケーションの開発を行うことができるNVIDIAのJetson TX2です。

Edge Analytics Appliance のアプリケーションの1つである板書抽出オーバーレイは、ホワイトボードなどに講師が手書きで記載する文章や図式などをカメラで撮影しながら、リアルタイムで講師よりも手前に浮かび上がるように描画します。これによってリモートでビデオ映像を見ながら参加している人たちや、アーカイブで講義を再聴講する人は、本来であれば講師の体で隠れて見えない、ホワイトボードに記載された文字や図形をはっきりと認識することができます。小型で電力効率の高いJetson TX2の演算処理能力とソニーの動体・非動体検知技術で、講師の背後にある文字や図式の特徴量を抽出して講師の手前に描画し、さらに描画の際には透過具合を調整できると共に、うすくて見え難い文字などは、色味を強調することでホワイトボードに書かれた実際の文字よりも見えやすく表示することができます。

もう一つのアプリケーション例であるクロマキーレスCGオーバーレイは、ソニー独自の動体検出アルゴリズムにより、従来のような大掛かりなクロマキー合成に必要な設備がなくても適切なクオリティーの合成映像をつくり出すことができます。ここで必要とされているディープラーニングをベースとした動体検出のアルゴリズムは、これまでワークステーションなどでしか実行できませんでしたが、Jetson TX2にデプロイできたことにより、最終的にとてもコンパクトでシンプルなデザインの製品に仕上げることができました。

板書抽出オーバーレイとクロマキーレスCGオーバーレイ以外にもEdge Analytics Applianceでは動体検知、顔認証、カラーパターンマッチングや形状認証、さらにポーズ認識といったアルゴリズムにより、次のようなアプリケーションも用意されており、Jetson TX2がデプロイされています。

また、今後も、GPUがもつフレキシブルなアプリケーション開発環境を活用してEdge Analytics Applianceで提供可能な、魅力的な映像コンテンツを制作するためのアプリケーションが追加されていく予定です。

同商品の開発段階では、上述したようなJetson TX2そのもののパフォーマンスの高さに加え、Jetsonプラットフォーム、さらにはNVIDIAのGPUプラットフォームがもつ様々なアドバンテージが効率的に活用されました。その1つはJetsonのDeveloper Forumやインターネット上でディスカッションされている、世界中のJetsonユーザーがシェアする情報です。NVIDIAや販売代理店からの技術サポートに加え、Forumやインターネットで得られる世界中のJetsonユーザーの知見を活用することによって迅速に開発されました。世界中に多くのユーザーコミュニティーをもつJetsonプラットフォームならではの利点です。もう一つの利点はCUDAをベースとしたNVIDIAの統一されたGPUアーキテクチャです。Edge Analytics Applianceでも、実装する各種のアルゴリズムを、量産品で使用するJetson TX2に実装する前に、ワークステーションに実装されたNVIDIAのGPUをベースに開発が進められました。ワークステーションの豊富な演算能力を用いてストレスなく開発・検証されたアルゴリズムは、統一されたアーキテクチャをもつJetson TX2にスムースにデプロイされ、実際の量産向け製品として仕上げられました。

NVIDIAのGPUコンピューティングを活用したソニーのEdge Analytics Applianceは、今後も継続的なアプリケーションの追加やアップデートによって、さらなる進化を続け、ユーザーの斬新なアイディアと相まってAI時代の新しい映像コンテンツ制作の姿を提案していくことが期待されます。