ロボット航法を別の機体や環境に移すため、既存の方策に行動の補正を学習させるCOMPASSの開発手順が示された。AIエージェントがシーン準備から評価までを支援し、採用判断には人の承認を挟む。
既存の航法方策に機体別の補正を加える
NVIDIAが示したCOMPASSの手順は、ロボット航法の開発工程をAIエージェントが利用するリポジトリスキルにまとめたものだ。航法の土台には事前学習済みのX-Mobility方策を使い、機体や環境が変わるたびに航法全体を最初から学習し直す構成を取らない。
COMPASSは、基本方策が出す行動に加える補正を、残差方策として強化学習する。この補正を選んだロボットと環境に合わせて訓練することで、基本方策の航法行動を適応させる。
四足歩行ロボットを三つのシーン経路へ接続
手順の参照機体は、四足歩行ロボットのSpotだ。シーンは再現しやすい組み込みの倉庫を起点とし、SAGE-10Kから生成した屋内シーンにも対応する。
もう一つの経路には、Omniverse NuRecで撮影環境を再構成したシーンを使う。機体とシーンを指定して開発工程を始める構成により、同じ航法方策の適応手順を異なる環境に適用する。
簡易試験と承認を挟んで学習を進める
AIエージェントは依存関係を確かめ、シーンを準備し、簡易試験を実行してから学習を開始する。障害の診断やチェックポイントの比較も支援する一方、シーンの採用、単一環境での簡易試験、チェックポイントの採用には人の承認点がある。
学習が始まると、残差方策のチェックポイントを定期的に保存し、報酬の構成要素と安全指標を監視する。保存した候補は、その後の比較評価に渡される。
同じ走行条件で比較し、速度指令へつなぐ
評価では基本方策と残差方策の候補に同じ乱数シード、目標、走行条件を使い、目標到達率、転倒率、移動時間を比較する。この手順は、補正の有無による差を対応する条件で調べるためのものだ。
実行用に出力した方策は、RGBカメラ画像、オドメトリ、目標点を受け取り、「/cmd_vel」へ速度指令を出す。航法の実行は方策とロボット制御器が担い、開発工程を支援したAIエージェントは実行時には動かない。