多指ハンドを持つ人型ロボットが、物流作業に使ったAIモデルの構造を変えずにタオルを自律的に畳んだ。Figure AIによると、学習データの追加によって、形が変わる布を扱う作業へ適用したという。
タオルの置かれ方に合わせて折り方を調整
Figure AIによると、人型ロボットは視覚・言語・行動モデル「Helix」で多指ハンドを動かし、タオルを自律的に畳んだ。タオルは作業中に形が変わるため、決まった形状や一つの把持点を前提にできない。
ロボットは混在した山からタオルを取り出し、取り出したときの配置に応じて折り方を調整した。最初の状態が変わっても、その状態に合わせて作業を進める実演となった。
視覚と言語の入力を手の動きへつなぐ
Helixは視覚と言語の入力から運動制御までをエンドツーエンドで処理する。Figure AIによると、タオルの形を明示的な物体表現として組み立てずに、手の動きを生成する。
この処理は、形が変わる布をその都度扱う折り畳み動作に使われた。折り方の調整も、入力から運動制御へ至る同じモデルの処理に含まれる。
縁や角を扱い、取り違えから復帰
折り畳みの途中では、親指でタオルの縁をたどり、角をつまむ動作を行った。絡まったタオルはほどいてから折り畳んだ。
複数の物を一度に取った場合には、余分な物を戻して作業を立て直した。取り出しから折り畳みまでに生じる状態の変化へ、手の操作を合わせた実演である。
物流作業のモデル構造を布の操作にも使用
Figure AIによると、Helixは物流環境で荷物の向きを1時間にわたり完全自律で変える作業を実演していた。タオルの折り畳みにも、物流作業と同じモデル構造とロボット本体を使った。
作業を切り替える際、モデル構造と学習ハイパーパラメータは変更せず、データセットだけを追加したという。今回の実演では、その構成で荷物とは形や扱い方が異なるタオルを折り畳んだ。