エッジを研ぎ澄ます: 米国郵政公社、エッジネットワーク上で AI アプリを提供

by Rick Merritt · May 19, 2021

Edge Computing Infrastructure Program は、単一の重要な機能からスタートしましたが、現在では、NVIDIA EGX ベースのシステム向けに数十もの AI 用途のパイプラインを持ち、Triton Inference Server によって管理されます。

2019 年、米国郵政公社 (USPS) は、1 日に 1 億通を超える郵便物を扱いながら、これらをそれぞれ識別し、追跡する必要がありました。

USPS の AI アーキテクトであるライアンシンプソン (Ryan Simpson) 氏には、あるアイデアがありました。郵便のチームが開発していた画像分析システムを拡張し、今までよりも幅広く、この干し草の山の中から針を見つけるような問題に取り組みたいと考えたのです。

エッジ AI サーバーを処理センターに戦略的に配置すれば、USPS の各センターで生成される何十億枚もの画像を分析することができると同氏は考えました。そしてその結果、いくつかの重要なデータポイントで表現された洞察は、ネットワークを介して迅速に共有できます。

このデータサイエンティストは、NVIDIA の 6 人のアーキテクトを含むスタッフとともに、1 つの長いハッカソンのようにも感じられた 3 週間の集中作業により、必要なディープラーニングモデルを設計しました。この作業から、今日 USPS の NVIDIA EGX プラットフォーム上で稼働している分散エッジ AI システムである Edge Computing Infrastructure Program (ECIP、「イーシップ」と発音) が誕生しました。

エッジにおける AI プラットフォーム

エッジ AI は、多くの素晴らしいパフォーマンスを実現するためのある種の「舞台」であるとも言えます。ECIP では、自動化された目のように機能する 2 つ目のアプリをすでに運用しています。このアプリはさまざまなビジネスニーズに合わせて郵便物を追跡します。

Hewlett-Packard Enterprise 製の NVIDIA-Certifiedエッジサーバーを使用する ECIP を含め、USPS のさまざまなシステムを統括するマネージャーのトッドシンメル (Todd Schimmel) 氏は、次のように述べました。「以前は 8 ～ 10 人で数日かけて郵便物を追跡していましたが、今では 1 ～ 2 人が数時間かけるだけで済んでいます。」

さらにもう 1 つ、効果的な分析があります。この分析によると、以前は 800 基の CPU を搭載したサーバーのネットワークで 2 週間かかっていたコンピュータービジョンのタスクが、1 台の HPE Apollo 6500 サーバーに搭載された 4 基の NVIDIA V100 Tensor コア GPU を使用すれば 20 分で完了したとのことです。

現在、各エッジサーバーは、毎日、1,000 台以上の郵便物処理機から送られてくる 20 テラバイトもの画像を処理しています。NVIDIA のオープンソースソフトウェア Triton Inference Server は、「デジタル郵便担当者」のような役割を果たし、195 台のシステムがそれぞれ必要とする AI モデルを、必要なときに必要な方法で提供します。

区分機に取り付けられたカメラで、住所やバーコード、危険物マークなどのデータを撮影します。写真提供: 米国郵政公社

エッジ用の次のアプリ

USPS は、ECIP の次に導入するアプリとして、光学式文字認識 (OCR) を使って画像処理のワークフローを効率化するアプリのリクエストをしました。

シンメル氏は次のように述べました。「過去には、OCR のために新しいハードウェアやソフトウェアなどのインフラ全体を購入していました。また、パブリッククラウドサービスを利用する場合は、画像をクラウドに送る必要がありますが、約 10 億枚もの画像を扱うので、大量の帯域幅が必要となり、膨大なコストがかかります。」

今日の新しい OCR の使い方では、ECIP 上のコンテナでディープラーニングモデルを利用し、Kubernetes で管理され、Tritonで提供してます。

コロナ禍の発生当初、ECIP の初期導入は同じシステムソフトウェアによってスムーズに行われました。オペレーターはコンテナを展開して最初のシステムを稼働させると同時に、他のシステムが納入され、ほぼすべてのノードのネットワークがインストールされるのに合わせて更新しました。

AI のアルゴリズムは、米国郵政公社のエンジニアリング施設にある NVIDIA DGX サーバーで開発されました。写真提供: NVIDIA

シンメル氏は次のように述べています。「導入はとても効率的に行われました。2019 年 9 月に契約を結び、2020 年 2 月にシステムの導入を開始し、8 月までにはほとんどのハードウェアを完成させました。USPS は非常に満足していました。」

Triton がモデルの提供を迅速化

ECIP が有する「魔法のソフトウェア」の 1 つである Triton は、さまざまなディープラーニングのフレームワークをサポートしているさまざまなバージョンの GPU や CPU を搭載した各種システムへの各種 AI モデルの提供を自動化します。これにより、200 台近くの分散サーバーで構成される ECIP ネットワークのようなエッジ AI システムにかかる時間が大幅に短縮されます。

郵便物をチェックするアプリだけでも、6 つ以上のディープラーニングモデルによる作業を互いに調整しつつ、それぞれの機能をチェックする必要があります。オペレーターは、より多くの機能を実現するモデルを追加することで、アプリをさらに強化していきたいと考えています。

シンメル氏は次のように語ります。「今までに導入したモデルは、郵便物と郵政公社を管理し、私たちの使命を維持するために有用です。」