Amazon が NVIDIA TensorRT-LLM と GPU を使用した新しい AI 機能で推論速度を 2 倍に向上させ、出品者の商品リストの最適化を高速化
オンライン小売業ほど競争が激しく、ペースの速い業界はないでしょう。
売り手は、魅力的で有益な商品リストを作成し、注目を集め、信頼を得る必要があります。
Amazon は、NVIDIA Tensor コア GPU を搭載した Amazon Elastic Compute Cloud (Amazon EC2) 上で最適化されたコンテナーを使用して、現代の小売業のスピードで、このバランスを見極める生成 AI ツールをパワーアップしています。
Amazon の新しい生成 AI 機能は、出品者が魅力的なタイトル、箇条書き、説明文、商品属性をシームレスに作成するのに役立ちます。
まず、Amazon はコンテンツが改善される可能性のある出品を特定し、生成 AI を活用して高品質なコンテンツを自動生成します。出品者は生成されたコンテンツを確認し、必要であればフィードバックを提供するか、Amazon カタログへのコンテンツ変更を受け入れることができます。
以前は、詳細な商品リストを作成するのに多大な時間と労力が必要でしたが、この簡素化されたプロセスにより、出品者は他の作業に集中する時間を増やすことができます。
NVIDIA TensorRT-LLM ソフトウェアは、GitHub で公開されており、エンタープライズグレードのセキュリティ、サポート、およびプロダクション AI 向けの信頼性を提供する NVIDIA AI Enterprise を通じてアクセスできます。
TensorRT-LLM オープンソース ソフトウェアは、AI の推論をより速く、よりスマートにします。TensorRT-LLM は、Amazon の上記の機能のモデルのような、膨大な量のテキストで学習された大規模言語モデルで動作します。
NVIDIA H100 Tensor コア GPU 上で、TensorRT-LLM は、Llama 1 および 2、Falcon、Mistral、MPT、ChatGLM、Starcoder などの基盤 LLM 上で最大 8 倍のスピードアップを可能にします。
また、マルチ GPU とマルチノードの推論、インフライト バッチング、ページド アテンション、FP8 精度の Hopper Transformer Engine をサポートしています。これら全ては、レイテンシを改善し、効率性を向上させ、出品者の体験を向上させます。
Amazon は、TensorRT-LLM と NVIDIA GPU を使用することで、TensorRT-LLM を使用する前の実装と比較して、コストや必要な GPU の面で 生成 AI ツールの推論効率を 2 倍向上させ、推論のレイテンシを 3 倍削減しました。
また、効率の向上により、より環境に優しくなり、3 倍のレイテンシ改善により、Amazon カタログの生成機能の応答性が向上しています。
生成 AI の機能は、出品者の時間を節約し、より少ない労力でより豊かな情報提供を可能にします。例えば、人間工学に基づいたデザイン、長い電池寿命、調節可能なカーソル設定、様々なデバイスとの互換性など、ワイヤレス マウスのリストを充実させます。また、色、サイズ、重量、素材などの製品属性の生成も可能です。これらの詳細は、顧客が十分な情報を得た上で意思決定を行い、返品を減らすのに役立ちます。
生成 AI により、Amazon の出品者は、より魅力的なリストを素早く簡単に作成でき、エネルギー効率も向上します。そのため、より多くの顧客にリーチし、ビジネスのより迅速な成長を可能にします。
開発者は、すぐに TensorRT-LLM を使い始めることができ、NVIDIA AI Enterprise を通じてエンタープライズ サポートを利用することができます。