本ブログは、AI をもっと身近なものにすることでこのテクノロジの謎を解明し、GeForce RTX PC および RTX ワークステーションのユーザー向けの新しいハードウェア、ソフトウェア、ツール、アクセラレーションを紹介する『AI Decoded シリーズ』の最新号です。
ビデオは今やどこでも見ることができます。現在、インターネット帯域幅の約 80% がコンテンツ プロバイダーや SNS からのビデオ ストリーミングに使用されています。画面は大型化し対応できる解像度も高くなりましたが、ビデオの画質はほぼすべてが 1080p 以下です。
アップスケーラーによってストリーミングのビデオを鮮やかにすることが可能であり、さらに、NVIDIA RTX プラットフォームの AI を活用すれば、画質やディテールが大幅に向上します。
アップスケーラーとは
ビデオのファイル サイズが大きいと、画像やテキストに比べて圧縮や転送が難しくなります。Netflix、Vimeo、YouTube などのプラットフォームでは、ビデオをエンコード (未加工のビデオをより小さなコンテナ形式に圧縮するプロセス) することでこの制限を回避しています。
エンコーダーはまずビデオを分析し、ターゲットの解像度とフレーム レートに合わせるために削除できる情報を決定します。ターゲットのビットレートが不十分な場合、画質が低下し、ディテールと鮮明さが失われ、エンコード アーティファクトが発生します。ファイルが小さいほど、インターネットで共有しやすくなりますが、画質は劣ります。
通常、視聴者のデバイスにあるソフトウェアはビデオファイルをディスプレイのネイティブ解像度に合わせてアップスケールします。しかし、この種のアップスケーラーは非常にシンプルで、必要な解像度を満たすためにピクセルを乗算するだけです。オブジェクトやシーンの輪郭をシャープにすることは可能ですが、最終的なビデオには一般的にエンコード アーティファクトが含まれるため、シャープになりすぎて不自然に見えることがあります。
AI は改善策を知っている
NVIDIA RTX プラットフォームは AI を使用し、ビデオのアーティファクトを簡単に除去してアップスケールします。
RTX で簡単にアーティファクトを除去してビデオをアップスケールできます。AI アップスケールのプロセスでは、画像とモーション ベクトルを分析して、元のビデオには存在しない新たなディテールを生成します。単にピクセルを増やすのではなく、画像のパターンを認識し、強化することで、ディテールがより詳細になりビデオの画質が向上します。
画像はアーティファクト (ビデオや画像ファイルに現れる不必要な歪みや異常) を除去してから処理を開始する必要があります。アーティファクトは転送中や保存中の過圧縮やデータ損失によって発生します。
NVIDIA AI ネットワークは画像のアーティファクトを除去して、配信ビデオで時々見られるブロック状の部分を取り除くことができます。この最初のステップを省くと、AI アップスケールはアーティファクトのある画像自体を強化してしまい、望ましいコンテンツに仕上がらなくなることがあります。
超大型のビデオ
度付き眼鏡をかけると瞬時に世界が鮮明に見えるのと同じように、RTX Video Super Resolution (AI 強化型のビデオ テクノロジにおける NVIDIA の最新イノベーション) により、配信ビデオの全景をより鮮明に映し出すことができます。
画像をクリックすると、バイキュービックによるアップスケーリング (左) と RTX Video Super Resolution (右) の違いを確認できます。GeForce RTX 40 および 30 シリーズの GPU および RTX プロフェッショナル GPU で利用可能で、専用の Tensor コアで実行される AI を使用することで、圧縮ブロック アーティファクトの除去や、低解像度コンテンツの最大 4K へのアップスケールが可能になり、ユーザーが使っているディスプレイのネイティブ解像度に合ったビデオが作成できます。
RTX Video Super Resolution を使用すると、ブラウザで視聴するすべてのビデオを強化できます。アーティファクト除去と AI アップスケール テクノロジを組み合わせることで、低ビットレートの Twitch ストリームでも驚くほど鮮明に表示できます。RTX Video Super Resolution は、VLC などの人気のビデオ アプリにも対応しているため、ユーザーはオフライン ビデオにも同じアップスケール プロセスを適用できます。
クリエイターはまもなく、Black Magic の Davinci Resolve などの編集アプリで RTX Video Super Resolution を使用できるようになります。これにより、低品質のビデオ ファイルを 4K 解像度にアップスケールしたり、標準ダイナミック レンジのソース ファイルをハイ ダイナミック レンジ (HDR) に変換したりすることがこれまでになく容易になります。
ハイ ダイナミック レンジにも対応
RTX Video は AI HDR のサポートも開始しました。HDR ビデオは色の範囲が広く、特に画像の暗い部分と明るい部分のディテールが優れています。問題は、オンライン上の HDR コンテンツがまだそれほど多くないことです。
RTX Video HDR がリリースされました。この機能をオンにするだけで、AI ネットワークが標準または低ダイナミック レンジのコンテンツを HDR に変換し、正しいトーン マッピングを実行するため、画像は自然な外観を保ち、元の色を維持します。
AI は至る所に
RTX Video は、NVIDIA RTX を搭載した AI アップスケーリングの最新の機能です。
GeForce NOW クラウド ストリーミング サービスのメンバーは、ほぼすべてのデバイスで好きな PC ゲームをプレイできます。世界中にある GeForce RTX サーバーが、まずゲームのビデオ コンテンツをレンダリングそしてエンコードし、プレーヤーのローカル デバイスにストリーミングします。これは、他のコンテンツ プロバイダーのビデオ配信と同じです。
旧 NVIDIA GPU 搭載デバイスのユーザーは、引き続き AI 強化アップスケーリングを使用してゲームプレイの品質を向上させることが可能です。つまり、クラウド内の RTX 4080 クラスの GPU を搭載したサーバーでレンダリングされたゲームプレイと AI 強化ストリーミング品質の両方のメリットを享受できるということです。GeForce NOW で AI 強化型アップスケーリングを有効にする方法について、詳しくはこちらをご覧ください。
NVIDIA SHIELD TV はこれをさらに一歩進め、NVIDIA Tegra のシステムオンチップで AI ニューラル ネットワークを直接処理し、ほぼすべてのストリーミング プラットフォームの 1080p 品質以下のコンテンツをディスプレイのネイティブ解像度にアップスケールします。つまり、ユーザーはリモコンのボタンを押すだけで、Netflix、Prime Video、Max、Disney+ などからストリーミングされるコンテンツのビデオ品質を向上させることが可能です。
AI はビデオの画質をこれまでになく向上させ、ストリーミング体験の新たな基準を確立するのに役立っています。
生成 AI はゲームやビデオ会議など、あらゆるインタラクティブ体験に変革をもたらしています。AI Decoded ニュースレターに登録して、最新情報や今後の注目テクノロジをチェックしましょう。