40kgのパレットを持ち上げられるロボットでも、引き出しを開けるのにはまだ苦労する

倉庫ロボティクスのチームに最も難しいタスクは何かと尋ねると、重いものを持ち上げることだと答える人はめったにいません。本当に難しいのは、日常のちょっとした作業です。引き出しを開ける。緩んだケーブルを拾い上げる。少し引っかかっているドアのノブを回す。

これらのタスクは、私たちが何も考えずに行っているため簡単そうに見えます。しかしロボットにとっては、この分野で最も困難な課題の一部なのです。

一般的な説明としては、AIモデルがまだ十分に優れていないからだ、というものがあります。より多くのデータ、より多くの計算能力、より大きなモデルを与えれば、いつかは達成できるだろうと。

私たちN.dot.lightは、その説明は半分しか正しくないと考えています。モデルは重要です。しかし、ほとんどのロボットは、そもそもそこから学習できるほど物理世界を明確に捉えられていません。ボトルネックはもっと上流、つまりロボットが本物の引き出しに触れる前にトレーニングを行う「環境」にあります。

「きれいな3D」と「シミュレーション対応の3D」は別物である

画面上で正しく見える3Dモデルと、ロボットが実際にそこから学習できる3Dモデルは、まったく異なる2つのオブジェクトです。

ゲームや製品のレンダリング用に作られたモデルは、外見さえ正しく見えれば十分です。きれいな表面と優れたライティングがあれば事足ります。ヒンジが本物のヒンジのように動くかどうかをチェックする人はいません。

ロボットのトレーニング用に作られたモデルは、見た目が正しいだけでなく、正しく動作しなければなりません。物理エンジンに、固体のオブジェクトがどこで終わり、どこからが何もない空間なのかを伝える見えないジオメトリである「衝突メッシュ（コリジョンメッシュ）」が必要です。また、ロボットのシミュレーターが、ハンドルが宙に浮いているのではなく、軸を中心に回転することを理解できるようにするための「関節構造」が必要です。さらに、仮想的な押し出しが現実の押し出しと同じような抵抗を生み出すように、質量、摩擦、材料の剛性などの「物理的特性」も必要です。

これらを1つでも見落とすと、ロボットは学習はするものの、間違ったことを学習してしまいます。これこそが、シミュレーションと現実のギャップ（Sim-to-Realギャップ）が実際に発生する原因です。レンダラーのせいではなく、そもそもモデル化されていなかった物理法則のせいなのです。

トレーニング対応の3Dアセットに必要な、単に「きれいな」アセットにはない3つの要素：

• 大まかな近似ではなく、実際のジオメトリに一致する衝突メッシュ

• 可動部が本来の動きをするための、関節およびアーティキュレーションデータ

• 現実世界の材料の挙動に合わせて調整された、質量や摩擦などの物理的特性

なぜこれがモデリングの問題ではなく、データインフラの問題なのか

物理AIがスケールするにつれて、制約は変化します。「より大きなモデルをトレーニングできるか」ではなく、「それをトレーニングするための、物理的に正確な環境が十分に存在するか」が問題になります。

現在、その環境データのほとんどは手作業で作成されています。アーティストやエンジニアが、アセットごとに衝突メッシュや関節を手動でリギングしています。これでは、汎用ロボットが体験する必要のある、何万ものオブジェクトのバリエーションに対応してスケールさせることはできません。

私たちN.dot.lightは、シンプルな賭けに基づいてTRINIXを構築しました。物理的なオブジェクトがすでにデジタル形式で存在している場所がCADであるならば、シミュレーションデータの出発点として適切なのは、ゲームエンジンでもジェネレーティブ画像モデルでもなく、CADであるはずです。当社のエンジンは、既存のCADやジェネレーティブ3Dを取り込み、自動的にシミュレーション対応のアセットに変換します。衝突ジオメトリ、関節、物理的特性は、後から手作業で追加されるのではなく、パイプラインの一部として生成されます。

これが将来的に意味すること

次世代の物理AIは、モデルの賢さによって制限されることはありません。学習できる形式で、物理世界を実際にどれだけ見ているかによって制限されることになります。

私たちは、環境の問題を最初に解決したチームのロボットこそが、1回目、10回目、そして1000回目の試行でも、引き出しを開けられるようになると信じています。