NVIDIA

お使いのブラウザーは対応していません。

お使いのウェブブラウザーはこのウェブサイトでは対応していません。いくつかの機能が正常に動作しない可能性がございます。アップグレートいただくか下記のブラウザーのどれかをインストールください。よろしくおねがいします。

NVIDIA Maxine の登場で、リアルタイムのビデオ体験が実現

hdr-ai-real-time-video-maxine

バーチャル コラボレーションやコンテンツ制作アプリケーション構築のための GPU で高速化されるSDK が利用可能に

バーチャル ミーティングに参加したり、ゲームやライブ イベント、テレビ番組をストリーミングしたりするとき、次回からは NVIDIA Maxine が主役に躍り出るかもしれません。NVIDIA Maxine は、NVIDIA の CEO であるジェンスン フアン (Jensen Huang) が GTC の基調講演において GPU で高速化されるソフトウェア開発キット(SDK)が利用可能となるニュースを発表した際、大きな話題となりました。

ビデオ会議、コンテンツ制作、ストリーミング配信を手掛ける開発者は、Maxine SDK を使用することでビデオ ベースのリアルタイムの体験を作り出しています。Maxine SDK は PC、データセンター、クラウドへの導入も簡単です。

リモート ワークへの移行

バーチャル コラボレーションの成長は留まるところを知らず、毎日 7,000 万時間の Web ミーティングが行われています。そして、より多くのグローバル組織が、リモートで働く従業員をサポートするテクノロジを検討しています。

さまざまなビデオ会議システム間の相互運用を可能にするスケーラブルなビデオ会議プラットフォームである Pexip は、増大するこうした需要を満たすため、ビデオ通信サービスの限界を押し上げることを目指していました。

Pexip の CTO 兼共同創設者であるジャイルズ チェンバリン (Giles Chamberlin) 氏は、次のように述べています。「私たちはすでに NVIDIA Maxine をオーディオ ノイズ除去に使用しており、バーチャル背景の統合に着手しています。これらの取り組みによって、あらゆる規模の企業がプレミアムなビデオ会議を体験できるようサポートしています。」

Pexip は NVIDIA と連携し、対面での会議よりも優れたバーチャル会議をサポートできる、AI を利用したビデオ通信を提供することを目指しています。

他にもビデオ コラボレーションの分野では Avaya などの企業が Maxine を活用しています。Avaya は昨年 10 月に Maxine オーディオ ノイズ除去機能を Avaya Spaces というアプリに組み込み、さらにバーチャル背景を実装して、プレゼンターがプレゼンテーション上にビデオをオーバーレイできるようにしています。

Headroom は AI を使って、ビデオ会議から気を散らすものを取り除き、参加者が会議中のやり取りに集中できるようにしています。Headroom には、質問がある場合にフラグを立てる機能、メモを取る機能、文字起こし機能、およびスマートなミーティングの要約機能が備わっています。

バーチャル イベントをそのまま楽しむ

調査によると、毎年 100 万を超えるバーチャル イベントが開催されており、将来的にはさらに多くのイベント マーケターがバーチャル イベントに投資する計画を立てています。したがって、イベント オーガナイザーから視覚効果アーティストまで、あらゆる人がデジタル体験をより速く、より効果的に構築する方法を模索しています。

AI と複合現実を組み合わせてバーチャル イベントを再構築する Touchcast も、こうした企業の 1 つです。Maxine の超解像機能を使用して、1080p のストリームを 4K に変換して配信しています。

Touchcast の創設者兼 CEO であるエド シーガル (Edo Segal) 氏は、次のように述べています。「NVIDIA Maxineは、ビデオ通信の未来を切り開いています。AI とニューラルネットワークがコンテンツをまったく新しい方法で強化し、豊かにする未来です。」

こうした企業の例をもう1つ紹介します。ライブ イベントでのリアルタイムの視覚効果とモーション グラフィックスを可能にするツールを作成している Notch です。Maxine は背景の除去だけでなく、AI によるリアルタイムの顔と体のトラッキング機能を提供しています。

アーティストは、ライブ パフォーマンスの環境で出演者をトラッキングしたりマスクしたりすることができ、これによりクリエイティブな利用例が数多く生まれます。すべて標準のカメラ フィードを使用するため、特別なハードウェアのトラッキング ソリューションは不要です。

「Maxine SDKの統合は非常に簡単で、完了するまでに数日しかかかりませんでした」と、Notch の創設者兼ディレクターであるマット スヴォボダ (Matt Swoboda) 氏は述べています。

ストリーミングの世界

Twitch では月に 1,000 万人近くのユーザーがコンテンツを作成しており、ライブ配信者になることもかつてないほど簡単になりました。ライブ ストリーマーは視聴者に興奮を届けるために、強力でありながら使いやすい機能を探しています。

ユーザーが作成したトークショーのライブ ストリーミング向けプラットフォームを提供する BeLive は、Maxine を使用してクラウドでビデオ ストリームを処理しているため、ユーザーは高価な機器に投資する必要がありません。Maxine をクラウドで実行することで、ユーザーはクライアント側で実行しているハードウェアに関係なく、高品質の背景置換の恩恵を受けることができます。

BeLive を使用すると、ライブのインタラクティブなコールイン トークショーを簡単に作成して YouTube や Facebook Live にストリーミングでき、参加者は世界中どこからでも会話に参加できます。

ストリーミングとレコーディングの主要なプラットフォームである OBS は、ゲームのストリーミングとライブ制作に広く使用されている無料のオープンソース ソフトウェア ソリューションです。NVIDIA RTX GPU を使用しているユーザーはノイズ除去を利用できるため、制作中のオーディオの明瞭さを向上させることができます。

開発者は Maxine SDK を使用して、バーチャル コラボレーションおよびコンテンツ制作アプリケーションを構築しています。

NVIDIA Maxine の概要

NVIDIA Maxine には 3 種類の AI SDK が含まれており、ビデオ エフェクト、オーディオ エフェクト、拡張現実をカバーしています。それぞれに事前トレーニング済みのディープラーニング モデルが備わっているため、開発者はリアルタイム アプリケーションをすばやく構築、拡張できます。

初めに紹介するのが NVIDIA Video Effects SDK です。企業は AI エフェクトを適用して、特別なカメラやハードウェアなしでビデオの品質を向上させることができます。機能には、超解像度、360p の入力ビデオから 720p の出力ライブ ビデオの生成、および画像の欠陥を除去して鮮明な画像を作成するためのアーチファクトの削減などが含まれます。

ビデオ ノイズ除去機能は、ビデオ キャプチャ プロセスで発生する低照度カメラ ノイズを除去しつつ、ディテールはすべて保持します。散らかった部屋など視覚的に気をそらすものを隠すために、Video Effects SDK は Web カメラ フィードの背景をリアルタイムで削除し、ユーザーの顔と体だけをライブ ストリームに映し出します。

NVIDIA Augmented Reality SDK は、標準の Web カメラを使用したリアルタイムの 3D 顔トラッキングを可能にし、自動的に顔を拡大してその顔をカメラの視野内に維持することで、より魅力的なバーチャル コミュニケーション体験を提供します。

Augmented Reality SDK は、ビデオ フィードの画像における人の顔の検出や、顔の表情の動きのトラッキング、人の顔の 3D メッシュ表現の作成、ビデオを使用した 3D 空間での人体の動きのトラッキング、視線推定によるアイ コンタクトのシミュレーションなどを行うことが可能になりました。

NVIDIA Audio Effects SDK は AI を使用して、着信および発信のオーディオ フィードから気が散るバックグラウンド ノイズを除去し、会話の明瞭さと質を向上させます。

たとえば、犬の鳴き声や赤ちゃんの泣き声などの不要なバックグラウンド ノイズを除去し、会話が理解しやすくします。広いスペースでの会議の場合、バックグラウンドから部屋のエコーを削除して、声がはっきり聞こえるようにすることもできます。

開発者は、インテリジェント ビデオ分析を構築するための SDK である NVIDIA DeepStream と、Windows および Linux で高速なビデオ エンコードおよびデコードを可能にする SDK の NVIDIA Video Codec を使用して、既存のアプリケーションに Maxine AI エフェクトを追加したり、新しいパイプラインを一から開発したりできます。

また、Maxine は対話型 AI アプリケーションを構築するためのフレームワークである NVIDIA Jarvis と併用することで、文字起こしや翻訳など、世界クラスの言語ベースの機能を提供することもできます。

提供時期

NVIDIA Maxine は今すぐ利用できます。

また、4 月 12 日から 16 日まで開催されている GTC で、NVIDIA Maxine についてさらに学ぶ機会があります。登録は無料で、開催後でもオンデマンドでご覧いただけます。

Maxine に焦点をあてたセッションのフル リストはこちらからご確認ください。フアンの基調講演はオンデマンドでご覧いただけます。そして、Maxine のデモ (以下の動画) も合わせてご覧ください。

※NVIDIA Jarvis の名称は 2021 年 7 月に NVIDIA Riva に変更されました。


You may also like...