NVIDIA Maxine の登場で、リアルタイムのビデオ体験が実現

by Jeremy Krinitt · April 19, 2021

バーチャルコラボレーションやコンテンツ制作アプリケーション構築のための GPU で高速化されるSDK が利用可能に

バーチャルミーティングに参加したり、ゲームやライブイベント、テレビ番組をストリーミングしたりするとき、次回からは NVIDIA Maxine が主役に躍り出るかもしれません。NVIDIA Maxine は、NVIDIA の CEO であるジェンスンフアン (Jensen Huang) が GTC の基調講演において GPU で高速化されるソフトウェア開発キット（SDK）が利用可能となるニュースを発表した際、大きな話題となりました。

ビデオ会議、コンテンツ制作、ストリーミング配信を手掛ける開発者は、Maxine SDK を使用することでビデオベースのリアルタイムの体験を作り出しています。Maxine SDK は PC、データセンター、クラウドへの導入も簡単です。

リモートワークへの移行

バーチャルコラボレーションの成長は留まるところを知らず、毎日 7,000 万時間の Web ミーティングが行われています。そして、より多くのグローバル組織が、リモートで働く従業員をサポートするテクノロジを検討しています。

さまざまなビデオ会議システム間の相互運用を可能にするスケーラブルなビデオ会議プラットフォームである Pexip は、増大するこうした需要を満たすため、ビデオ通信サービスの限界を押し上げることを目指していました。

Pexip の CTO 兼共同創設者であるジャイルズチェンバリン (Giles Chamberlin) 氏は、次のように述べています。「私たちはすでに NVIDIA Maxine をオーディオノイズ除去に使用しており、バーチャル背景の統合に着手しています。これらの取り組みによって、あらゆる規模の企業がプレミアムなビデオ会議を体験できるようサポートしています。」

Pexip は NVIDIA と連携し、対面での会議よりも優れたバーチャル会議をサポートできる、AI を利用したビデオ通信を提供することを目指しています。

他にもビデオコラボレーションの分野では Avaya などの企業が Maxine を活用しています。Avaya は昨年 10 月に Maxine オーディオノイズ除去機能を Avaya Spaces というアプリに組み込み、さらにバーチャル背景を実装して、プレゼンターがプレゼンテーション上にビデオをオーバーレイできるようにしています。

Headroom は AI を使って、ビデオ会議から気を散らすものを取り除き、参加者が会議中のやり取りに集中できるようにしています。Headroom には、質問がある場合にフラグを立てる機能、メモを取る機能、文字起こし機能、およびスマートなミーティングの要約機能が備わっています。

バーチャルイベントをそのまま楽しむ

調査によると、毎年 100 万を超えるバーチャルイベントが開催されており、将来的にはさらに多くのイベントマーケターがバーチャルイベントに投資する計画を立てています。したがって、イベントオーガナイザーから視覚効果アーティストまで、あらゆる人がデジタル体験をより速く、より効果的に構築する方法を模索しています。

AI と複合現実を組み合わせてバーチャルイベントを再構築する Touchcast も、こうした企業の 1 つです。Maxine の超解像機能を使用して、1080p のストリームを 4K に変換して配信しています。

Touchcast の創設者兼 CEO であるエドシーガル (Edo Segal) 氏は、次のように述べています。「NVIDIA Maxineは、ビデオ通信の未来を切り開いています。AI とニューラルネットワークがコンテンツをまったく新しい方法で強化し、豊かにする未来です。」

こうした企業の例をもう1つ紹介します。ライブイベントでのリアルタイムの視覚効果とモーショングラフィックスを可能にするツールを作成している Notch です。Maxine は背景の除去だけでなく、AI によるリアルタイムの顔と体のトラッキング機能を提供しています。

アーティストは、ライブパフォーマンスの環境で出演者をトラッキングしたりマスクしたりすることができ、これによりクリエイティブな利用例が数多く生まれます。すべて標準のカメラフィードを使用するため、特別なハードウェアのトラッキングソリューションは不要です。

「Maxine SDKの統合は非常に簡単で、完了するまでに数日しかかかりませんでした」と、Notch の創設者兼ディレクターであるマットスヴォボダ (Matt Swoboda) 氏は述べています。

ストリーミングの世界

Twitch では月に 1,000 万人近くのユーザーがコンテンツを作成しており、ライブ配信者になることもかつてないほど簡単になりました。ライブストリーマーは視聴者に興奮を届けるために、強力でありながら使いやすい機能を探しています。

ユーザーが作成したトークショーのライブストリーミング向けプラットフォームを提供する BeLive は、Maxine を使用してクラウドでビデオストリームを処理しているため、ユーザーは高価な機器に投資する必要がありません。Maxine をクラウドで実行することで、ユーザーはクライアント側で実行しているハードウェアに関係なく、高品質の背景置換の恩恵を受けることができます。

BeLive を使用すると、ライブのインタラクティブなコールイントークショーを簡単に作成して YouTube や Facebook Live にストリーミングでき、参加者は世界中どこからでも会話に参加できます。

ストリーミングとレコーディングの主要なプラットフォームである OBS は、ゲームのストリーミングとライブ制作に広く使用されている無料のオープンソースソフトウェアソリューションです。NVIDIA RTX GPU を使用しているユーザーはノイズ除去を利用できるため、制作中のオーディオの明瞭さを向上させることができます。

開発者は Maxine SDK を使用して、バーチャルコラボレーションおよびコンテンツ制作アプリケーションを構築しています。

NVIDIA Maxine の概要

NVIDIA Maxine には 3 種類の AI SDK が含まれており、ビデオエフェクト、オーディオエフェクト、拡張現実をカバーしています。それぞれに事前トレーニング済みのディープラーニングモデルが備わっているため、開発者はリアルタイムアプリケーションをすばやく構築、拡張できます。

初めに紹介するのが NVIDIA Video Effects SDK です。企業は AI エフェクトを適用して、特別なカメラやハードウェアなしでビデオの品質を向上させることができます。機能には、超解像度、360p の入力ビデオから 720p の出力ライブビデオの生成、および画像の欠陥を除去して鮮明な画像を作成するためのアーチファクトの削減などが含まれます。

ビデオノイズ除去機能は、ビデオキャプチャプロセスで発生する低照度カメラノイズを除去しつつ、ディテールはすべて保持します。散らかった部屋など視覚的に気をそらすものを隠すために、Video Effects SDK は Web カメラフィードの背景をリアルタイムで削除し、ユーザーの顔と体だけをライブストリームに映し出します。

NVIDIA Augmented Reality SDK は、標準の Web カメラを使用したリアルタイムの 3D 顔トラッキングを可能にし、自動的に顔を拡大してその顔をカメラの視野内に維持することで、より魅力的なバーチャルコミュニケーション体験を提供します。

Augmented Reality SDK は、ビデオフィードの画像における人の顔の検出や、顔の表情の動きのトラッキング、人の顔の 3D メッシュ表現の作成、ビデオを使用した 3D 空間での人体の動きのトラッキング、視線推定によるアイコンタクトのシミュレーションなどを行うことが可能になりました。

NVIDIA Audio Effects SDK は AI を使用して、着信および発信のオーディオフィードから気が散るバックグラウンドノイズを除去し、会話の明瞭さと質を向上させます。

たとえば、犬の鳴き声や赤ちゃんの泣き声などの不要なバックグラウンドノイズを除去し、会話が理解しやすくします。広いスペースでの会議の場合、バックグラウンドから部屋のエコーを削除して、声がはっきり聞こえるようにすることもできます。

開発者は、インテリジェントビデオ分析を構築するための SDK である NVIDIA DeepStream と、Windows および Linux で高速なビデオエンコードおよびデコードを可能にする SDK の NVIDIA Video Codec を使用して、既存のアプリケーションに Maxine AI エフェクトを追加したり、新しいパイプラインを一から開発したりできます。

また、Maxine は対話型 AI アプリケーションを構築するためのフレームワークである NVIDIA Jarvis と併用することで、文字起こしや翻訳など、世界クラスの言語ベースの機能を提供することもできます。