NVIDIA、ROS 開発者にAIの認識機能を提供する、NVIDIA Isaac ROS を発表

by NVIDIA Japan · October 28, 2021

hdr-nvidia-isaac-ros-delivers-ai-perception-to-ros-developers

周囲の世界を認識および把握することは、自律ロボットの大きな課題です。

ROS World 2021 の開催に伴い、NVIDIA は、ROS 開発者コミュニティに高性能な認識テクノロジを提供するための最新の取り組みを発表しました。この取り組みにより、製品開発の加速および性能の改善が可能になり、最終的には ROS をベースとしたロボティクスアプリケーションに最先端のコンピュータービジョンと AI/ML 機能を組み込むという課題を簡素化できるようになります。

発表のハイライト:

最高性能の Real-Time Stereo Odometry ソリューションを ROS パッケージとして提供
現在NGCで提供されている、画像セグメンテーションおよび姿勢推定のサンプルを備えたNVIDIA の推論 DNNを ROSパッケージとして提供
Isaac Sim の新しい合成データ生成 (Synthetic Data Generation、以下SDG) ワークフローにより、ビジョン AI トレーニング用の大規模な、量産品質のデータセットを作成
NVIDIA Isaac Sim on Omniverse の ROS への即時対応が可能になり、開発者がこれまでで最も使いやすいバージョンが間もなく一般提供開始

NVIDIA Isaac ROS GEMs：最適化された性能

図 1. NVIDIA Isaac ROS GEM のソフトウェアブロック図

Isaac ROS GEMs は、画像処理とコンピュータービジョンを含むパッケージとなっており、そのなかには、NVIDIA GPU と Jetson 向けに高度に最適化された DNN ベースのアルゴリズムも含まれています。

主要な GEM: Stereo Visual Odometry — クラス最高の精度と最適化された性能

自律マシンが環境内を動き回るときには、自らがどこにいるのかを追跡していなければなりません。Visual Odometry (自己位置認識) は、カメラとスタート地点との相対的な位置関係を推定することで、この課題を解決します。Isaac ROS GEM for Stereo Visual Odometry により、ROS 開発者はこのパワフルな機能を利用することができます。

この GEM は、ステレオカメラによるリアルタイムの自己位置認識ソリューションとして、最高の精度を実現します。広く使用されている KITTI データベースを用いたときの公表結果は、こちらをご覧ください。精度が非常に高いだけでなく、この GPU アクセラレーテッドパッケージは、きわめて速く動作します。実際、Jetson AGX Xavierで HD 解像度 (1280×720) の SLAM が、リアルタイム (60fps以上) で実行できるようになっています。

主要な GEM: DNN Inference –すべての NGC DNN 推論モデルを ROS 開発者が利用可能に

開発者は、NGC で入手可能な NVIDIA の数多くの推論モデルをすべて利用できるだけでなく、一連の ROS2 パッケージである DNN Inference GEM を使って独自の DNN を利用することもできます。事前にトレーニングされたモデルのさらなる調整、あるいはカスタムモデルの最適化は、NVIDIA TAO Toolkit で行うことができます。

調整後、これらのパッケージは TensorRT、または NVIDIA の推論サーバーである Triton を通じて展開します。NVIDIA の高性能推論 SDK である TensorRT を活用したノードを利用することで、最適な推論性能が得られます。TensorRT が希望する DNN モデルに対応していない場合には、NVIDIA Triton を使ってモデルを展開することができます。

また、この GEM は、U-Net と DOPE にネイティブ対応しています。TensorRT をベースとする、U-Net パッケージを使えば、画像からセマンティックセグメンテーションマスクを生成することができます。また、DOPE パッケージを使えば、検知されたすべての物体の 3D 姿勢推定が可能となります。

このツールにより、ROS アプリケーションに高性能な AI 推論を最速で組み込むことが可能になります。

図 2. 3 つの Isaac ROS GEM の合成イメージ — DNN (PeopleSemSegnet)/AprilTags/Disparity(Depth)

NVIDIA Isaac SIM の一般提供版リリース

2021 年 11 月より入手可能となる、Isaac Sim の一般提供版 (GA) のリリースは、開発者がこれまでで最も利用しやすいリリースとなるでしょう。UI、性能および有益なビルディングブロックに数々の改良を施した当リリースでは、より良いシミュレーションをこれまでよりもずっと速く構築できるようになります。また、ROSブリッジの改良と、より多くの ROS サンプルで、開発者は ROS 開発をより容易に行えるようになります。

本リリースの新たな特徴 (2021 年 11 月に予定されている 2021.2 リリース)

性能の向上、メモリ使用量の削減、および立ち上げ時間の短縮
Occupancy Map Generation と URDF Importer の改良
新しい環境の追加: 大型の倉庫、オフィス、病院
新しい Python ビルディングブロックによる、ロボット、オブジェクト、環境との連携
ROS/ROS2 Bridge、Depth ポイントクラウド、LiDAR ポイントクラウドの性能向上
サンプルのアップデート
- ROS2 でのマルチロボットナビゲーション
- Jupyter での Domain Randomization を使った SDG

Joint Control of Franka using ROS MoveIT（ROS MoveIT を使った Franka の関節制御）

新しい合成データ生成ワークフロー — Isaac Sim からのプロダクションデータセット

自律動作ロボットには、その認識スタックを実行する多数の AI モデルのトレーニングを行うための、大規模で多様なデータセットが欠かせません。現実世界のシナリオからこのようなトレーニングデータをすべて入手しようとすれば、桁外れな費用が必要になりますし、危険がはらんでいるケースもあります。Isaac Sim が提供する新しい合成データワークフローは、自律動作ロボットの安全性と品質の問題に対処可能な、量産クオリティのデータセットを構築することを目的としています。

データセットを構築する開発者は、シーン内の物体、シーン自体、光、および合成センサーの確率分布を管理することができます。また、きめ細かい管理によって、まれにしか起こらないものの、きわめて重要な事例もデータセットに含めることができます。そして、このワークフローはバージョン管理とデバッグ情報に対応しているので、監査や安全の目的でデータセットを正確に再現することができます。