本日、東京発のスタートアップ企業であるTelexistence が、日本のファミリーマートの数百の店舗における棚の補充業務に、NVIDIA AI を実装したロボットを導入することを発表しました。

日本には 約5 万 6,000 店のコンビニエンス ストアがあります。これは、人口 1 人当たりの店舗数では世界第 3 位の密度であり、これら店舗のうちのおよそ 1 万 6,000 店を運営しているのがファミリーマートです。Telexistence は、飲料陳列棚の補充といった反復作業をロボットに任せることで、店舗スタッフが顧客への対応など、より付加価値の高い業務に多くの時間を割けるようにしようとしています。

これは、NVIDIA Jetsonエッジ AI プラットフォームが搭載されている Telexistence のロボットができることのほんの一例に過ぎません。Telexistence では物流施設で荷物の分類とピッキングを行う AI 実装システムの開発にも取り組んでいます。

Telexistence の代表取締役CEOである富岡仁氏は、次のように話しています。「当社は、人々の日々の暮らしをサポートしている業界にロボットを展開させたいと思っています。それを行うために最初に着目したのがコンビニエンス ストアです。日々の暮らしを支えている巨大なネットワークであるにも関わらず、日本では労働力不足に悩まされています」

2017 年に設立された同社の次の計画は、米国のコンビニエンス ストアへの進出です。米国では、全消費者の半分以上が少なくとも月に 1 度、全国に 15 万店舗あるコンビニエンス ストアの 1 つを訪れていると言われています。

Telexistence のロボットをファミリーマートに導入

Telexistence は今月より、 300 のファミリーマートの店舗で自社開発の人工知能ロボット「TX SCARA」の展開を予定しており、さらに今後数年以内に、その他のファミリーマートの店舗や別の 2 つの大手コンビニエンス ストア チェーンにこのロボットをを導入することを目指しています。

「スタッフは店のバックヤードで多くの時間を費やし、店舗での顧客対応よりも棚の補充作業に追われています」と富岡氏は言います。「ロボティクス アズ サービス (Robotics-as-a-Service) により、スタッフはより多くの時間を顧客対応に使えるようになるでしょう」

TX SCARAのAIシステム は、ロボットに搭載されている複数のカメラでスキャンされた飲料陳列棚データから、品薄になっている各飲料の検知と陳列のための最適なパスプランを生成することで、ロボットに陳列を指示します。この AI システムは 98% を越える精度で飲料を自動的に補充することができます。

環境の変化などにより、まれにロボットによる陳列エラーが起きてしまった場合（例：陳列位置を間違える、飲料が倒れる等）も、店舗スタッフがそれまでの作業を中断して、ロボットを再起動させる必要はありません。そのような場合、ロボットはTelexistence（遠隔操作）モードに切り替わり、リモート オペレーターによる、VR システムを通じた遠隔制御で迅速な復旧が可能です。このVRシステムでは、NVIDIA GPU を活用した動画のストリーミングが行われます。

Telexistence の調査によると、１日の販売量が多いコンビニエンス ストアでは 1 日に 1,000 本以上の飲み物を補充する必要がありますが、手動のオペレーターによる介入が必要とされるのは、そのうち 20 回未満という計算になります。

TX SCARA のクラウド システムでは、商品名、日付、時間、ならびにロボットが作動中に陳列された商品の数をもとにした、販売のデータベースを保持しています。これにより、ロボットは過去の時間帯別の売れ行きデータを加味した陳列の優先順を判断することができます。

NVIDIA Jetson でエッジ AI を実現

TX SCARA には複数の AI モデルが搭載されています。物体検出モデルは店舗内の飲料のタイプを識別し、どの商品がどの棚にあるのかを判断します。これと、ロボットのアームの動きを検知するためのモデルの組み合わせにより、ロボットは飲料を把持し、棚の上の別の商品のあいだに正確に陳列することができます。3 つめのモデルは異常検出で、これにより、棚で倒れている飲料、あるいは落下した飲料を認識しています。最後の 1 つは、それぞれの陳列エリアで品薄の飲料を検知するモデルです。

Telexistence の製品開発チームは、カスタムメイドのトレーニング済みニューラルネットワークをベースモデルとして使用しました。それに合成データとアノテーションされた現実世界データの組み合わせを追加することで、TX SCARAに最適なニューラル ネットワークとなるよう微調整しました。シミュレーション環境で 8 万以上の合成画像を作ることでデータセットを補強することができ、それによって、ロボットはあらゆる照明環境で、異なる質感と色の飲料商品を検知できるようになりました。

AI モデルのトレーニングでは、チームは NVIDIA DGX Station を活用しました。ロボット自体には、エッジでの AI処理を行う NVIDIA Jetson AGX Xavier と、動画ストリーミングデータを伝送するための NVIDIA Jetson TX2 モジュールという、2 つの NVIDIA Jetson 組み込みモジュールが使われています。

ソフトウェア面では、チームは、エッジ AI 向けの NVIDIA JetPack SDK と高性能な推論用の NVIDIA TensorRT SDK を使用しています。

「TensorRT がなければ、当社のモデルは飲料商品を効率的に検知するのに十分なスピードで動かなかったでしょう」と Telexistence のチーフ ロボティクス オートメーション オフィサーのパベル サフキン (Pavel Savkin) 氏は、話しています。

Telexistence は、単精度の代わりに、半精度 (FP16) の浮動小数点フォーマット (FP32) を使って、AI モデルをさらに最適化しました。

9 月 19 日から 22 日まで開催されるNVIDIA GTC では、最新の AI とロボティクスについてさらに詳しく学ぶことができます。登録は無料です。