ICRA 2024 にて NVIDIA Isaac Sim と NVIDIA Omniverse を使用して開発された ORBIT-Surgical を発表
NVIDIA は学術研究者と共同で、手術用ロボットの研究を進めています。
ORBIT-Surgical は、トロント大学、カリフォルニア大学バークレー校、チューリッヒ工科大学、ジョージア工科大学、NVIDIA の研究者らによって開発された、外科医の認知的負担を軽減しながら外科チームのスキルを向上させることのできるロボットをトレーニングするためのシミュレーション フレームワークです。
針のような小さな物体を掴み、ロボットアームからアームに受け渡し、高い精度で配置するなど、低侵襲手術と呼ばれる腹腔鏡手術のトレーニング カリキュラムにヒントを得た十数種類の操作をサポートしています。
この物理ベースのフレームワークは、AI ベースのロボットを設計、トレーニング、テストするためのロボティクス シミュレーション プラットフォームである NVIDIA Isaac Sim を使用して構築されました。研究者たちは、NVIDIA GPU 上で強化学習と模倣学習のアルゴリズムをトレーニングし、Universal Scene Description (OpenUSD) に基づく高度な 3D アプリケーションとパイプラインを開発、展開するためのプラットフォームである NVIDIA Omniverse を使用して、フォトリアルなレンダリングを可能にしました。
ロボット手術をリードしている Intuitive Surgical が支援する非営利団体 Intuitive Foundation が提供し、コミュニティが支援する da Vinci Research Kitを使用して、ORBIT-Surgical 研究チームは、どのようにシミュレーションでのデジタルツインのトレーニングを、ラボ環境の物理的なロボットに移行するかを以下のビデオで実演しました。
ORBIT-Surgical は、今週横浜で開催される ICRA (IEEE International Conference on Robotics and Automation) で木曜日に発表されます。オープンソースのコード パッケージは、現在 GitHub で公開されています。
AI のひと針が 9 人を救う
ORBIT-Surgical は、Isaac Sim 上に構築されたロボット学習のためのモジュラー フレームワークである Isaac Orbit に基づいています。Orbit には、強化学習や模倣学習のための様々なライブラリがサポートされており、AI エージェントは実際の専門家の例を模倣するようにトレーニングされます。
この手術フレームワークにより、開発者は、NVIDIA RTX GPU 上で動作する強化学習および模倣学習フレームワークを使用して、da Vinci Research Kit ロボット (dVRK) のようなロボットをトレーニングし、硬い物体と柔らかい物体の両方を操作させることができます。
ORBIT-Surgical は、ガーゼを拾い上げたり、シャントを血管に挿入する、縫合針を特定の位置まで持ち上げるといった片手での作業を含む、手術トレーニングのための十数種類のベンチマーク作業を紹介しています。また、片方のアームからもう片方のアームに針を渡す、糸の付いた針をリングポールに通す、障害物を避けながら両アームを特定の位置まで伸ばすといった両手作業も含まれています。
研究チームは、GPU アクセラレーションと並列化を活用した手術シミュレータを開発することで、既存の手術フレームワークと比較して、ロボットの学習速度を 1 桁向上させました。研究チームは、1 基の NVIDIA RTX GPU で、シャントの挿入や縫合針の持ち上げなどのタスクを 2 時間以内に完了できるよう、ロボット デジタルツインをトレーニングできることがわかりました。
Omniverse 上のレンダリングによって視覚的なリアリズムが可能になるため、ORBIT-Surgical を活用すると、研究者は忠実度の高い合成データを生成することもできます。これは、手術室で撮影された現実世界のビデオで、手術器具のセグメンテーションなどの知覚タスクのための AI モデルのトレーニングに役立つ可能性があります。
研究チームによる概念実証 (PoC) では、シミュレーションと実データを組み合わせることで、画像から手術針をセグメンテーションする AI モデルの精度が大幅に向上し、そのようなモデルのトレーニングのための大規模で高価な実世界のデータセットの必要性を減らすことができることが示されました。
ORBIT-Surgical の背景にある論文を読み、ICRA で NVIDIA が発表した論文で詳細をご覧ください。