新しい SDK がもたらす AI 活用のグリーンバック、拡張現実およびスタイル フィルタ。今週末の TwitchCon で OBS でのグリーンバックを体験しよう。
ライブストリーマーが集う世界屈指のイベントである TwitchCon を目前に控え、NVIDIA は GeForce RTX GPU の AI 機能によってライブストリームに革命をもたらす、新しい RTX アクセラレーション ソフトウェア開発キット (SDK) である、RTX ブロードキャスト エンジンを発表しました。
Tensor コアと呼ばれる専用の AI プロセッサを活用する、この新しい SDK がもたらす仮想のグリーンバック、スタイル フィルタ、ならびに拡張現実の機能は、大手の放送ネットワークで使用されている手法であり、すべてAI を実装しているため特殊な機器を導入する必要もありません。
ビデオ ゲームのライブストリーミングは文化的な現象となっています。全世界で 7 億 5,000 万人以上がビデオ ゲームのプレイを見ようと動画サイトに集い、TwitchCon はこの世界的なムーブメントの中心地となっています。今週末、5 万人以上のストリーマーとファンがサンディエゴに集結し、お気に入りのゲーマーと会い、今後のライブストリーミングについて学びます。
RTX により、AI をライブストリーミングに導入
NVIDIA GPU はすでに、ストリーマーが PC ゲームをプレイする際の最も人気の選択肢となっています。ストリーマーにとっては、動画をエンコードし、Twitch や YouTube、Mixer、Huya、Douyu といったプラットフォームにストリーム配信するのも日常茶飯事です。
RTX ブロードキャスト エンジンに AI 機能を実装した NVIDIA は、RTX GPU を活用して没入度の高いライブストリームを実現するという、新たな方法を発表します。しかも、これには特殊なカメラや物理的な機器は一切必要ありません。
この新しい SDK には、以下のような機能が含まれています。
- RTX Greenscreen によりウェブカメラの背景をリアルタイムで取り除けるので、ライブストリームで自分の顔と体だけを表示できるようになります。RTX Greenscreen の AI モデルが、画像のどの部分が人間のもので、どの部分が背景かを判断するので、ゲーマーはグリーンバックを購入する必要がなく、その機能が得られます。
- RTX AR は、顔の検知や目や口といった顔の特徴の追跡だけでなく、顔の表面のモデリングまででき、標準的なウェブカメラでリアルタイムに拡張現実の効果が得られます。開発者はこれを使って、3Dコンテンツを顔にオーバーレイしたり、自分の顔で3Dキャラクターを制御したりするなど、楽しく魅力的なARエフェクトを作成できます。
- RTX Style Filters により、スタイル トランスファーと呼ばれる AI 手法を使って、他の画像のスタイルに基づいてウェブカメラのフィードのルック アンド フィールを変換します。ホットキーを叩けば、自身の配信ビデオに、お気に入りの絵画やゲーム アートのスタイルを適用できます。
NVIDIA と OBS が、ゲーマーに RTX Greenscreen を提供
さらに、NVIDIA は人気のライブストリーミング アプリケーションである OBS と連携し、このアプリケーションに RTX Greenscreen を組み込みます。これにより、ライブストリーマーは背景を取り除いたり、あるいは現実世界であるか仮想世界であるかを問わず、自身をあらゆる場所に瞬時にテレポートさせたりできます。この機能は TwitchCon で初公開され、今後数か月のうちに利用可能となります。
OBS の作者であるヒュー ベイリー (Hugh Bailey) 氏は、次のように話しています。「NVIDIA は、ストリーミングとレコーディング機器についての私のリストのトップにある企業です。私は同社の活動に絶えず驚いています。また、RTX Greenscreen のように、RTX を活用した NVIDIA のテクノロジにも関心を抱いています」
ライブストリーミングのエコシステムが NVIDIA Broadcast SDK に賛同
RTX ブロードキャスト エンジンにより、エコシステム全体のストリーミング アプリケーションに没入感をもたらすツールや効果が加わり、配信者は視聴者を惹きつけ、視聴者数を増やせるようになります。
Streamlabs 社 CEO、アリ モイズ (Ali Moiz) 氏のコメント:
「新しいRTX ブロードキャスト エンジンは大きな発展であり、これにより、当社のアプリストアの開発者は、NVIDIA RTX GPU を活用して、ストリーマー向けのパワフルで、新しいツールを作り出せるようになります。
当社は、Streamlabs の開発者コミュニティに新たな機能を提供している NVIDIA と今後も提携したいと考えており、この新しいテクノロジを導入するのを楽しみにしています」
XSplit 社開発者リレーション担当ディレクター、ミゲル モリーナ (Miguel Molina) 氏のコメント:
「当社は、数年間にわたる数多くのプロジェクトで NVIDIA と提携しており、RTX ブロードキャスト エンジンの登場は、これまでで最もエキサイティングな出来事です。XSplit チームは、これらの新しいツールを当社のアプリケーション スイートと組み合わせることで、ユーザーが NVIDIA GeForce RTX のポテンシャルを最大限に発揮させ、よりよいコンテンツを作成できるようになることを楽しみにしています」
RTX ブロードキャスト エンジンに加え、OBS や XSplit、Huya、Douya、Streamlabs といった主要なアプリケーションでは、高速で高品質なストリーミングを実現する、NVIDIA Video Codec SDK も実装しています。今月には、このような新たな組み合わせが 3 つ登場しています。
- Twitch Studio は、現在ベータ版が公開されている、新しいライブストリーマー向けの使いやすい新アプリケーションで、Video Codec SDK との組み合わせにより、高品質なライブストリーミングが可能になります。
- Discord は、全世界で人気のゲーミング チャット アプリケーションで、「Go Live」と呼ばれる、新しいグループ ブロードキャスティング機能がリリースされたばかりです。Go Live には、NVIDIA GPU と Video Codec SDK 採用されており、Discord のゲーム ブロードキャストを加速させています。
- Elgato は、ゲーミング用ビデオ キャプチャ カードの世界的な大手メーカーです。先頃、同社は、Video Codec SDK を新しい 4K60 Pro MK.2 キャプチャ カードのソフトウェアに統合し、4K 60fps の動画をハイダイナミック レンジで録画することを可能にしました。
開発者の皆さまは、developer.nvidia.com/broadcastengine で RTX ブロードキャスト エンジンの詳しい情報を得て、アーリー アクセスに申し込むことができます。あるいは、TwitchCon において、ブース 1823 の OBS ブースにお立ち寄りいただければ OBS でのRTX Greenscreen、新しいRTX Studio ノート PC および新登場の RTX ゲームをご覧いただけます。