未来に火をつける: TensorRT-LLM が AI 推論のパフォーマンスを加速し、RTX を搭載した Windows 11 PC 上で動作する新しいモデルのサポートを追加
Microsoft Ignite で発表された新しいツールとリソースには、OpenAI Chat API 用 のTensorRT-LLM ラッパー、Llama 2 向けの DirectML に対する RTX を利用したパフォーマンス向上、その他の一般的な LLM が含まれます
Microsoft Ignite で発表された新しいツールとリソースには、OpenAI Chat API 用 のTensorRT-LLM ラッパー、Llama 2 向けの DirectML に対する RTX を利用したパフォーマンス向上、その他の一般的な LLM が含まれます
開発者は、新しい NVIDIA AI Foundation モデルをブラウザから直接試すことができ、NVIDIA AI Foundation Endpoints を使ってアプリケーションでテストした後、独自のビジネス データを使ってカスタマイズできます。
Retrieval-Augmented Generation は、外部ソースから取得した情報を用いて、生成 AI モデルの精度と信頼性を向上させるテクノロジです。
また、TensorRT は Stable Diffusion を高速化し、RTX Video Super Resolution のアップデートがリリース
NVIDIA GH200、H100、L4 GPU と Jetson Orin モジュールが、クラウドからネットワークのエッジまで、本稼働向けの AI で卓越したパフォーマンスを示す
最新の MLPerf ベンチマークで、NVIDIA H100 および L4 がジェネレーティブ AI とその他すべてのワークロードを新しいレベルに引き上げ、Jetson AGX Orin のテスト結果も性能と効率が向上