Sim-to-Realは、シミュレーションで学んだモデルや動作の決め方を、実物へ移す取り組みです。Sim2Realとも書かれます。

仮想空間で学べば、同じ場面を繰り返したり、条件を変えて試したりできます。ただし、実物は仮想空間と完全には一致しません。そのずれをどう扱うかが、Sim-to-Realの重要な課題です。

Sim-to-Realのgapは、見た目だけの違いではない

gapは「隔たり」や「ずれ」という意味です。シミュレーションと実物の間には、カメラからの見え方だけでなく、動き方や処理のタイミングにも違いが生じます。

説明用に、小さな台車が決めた位置へ移動する場面を考えてみましょう。画面では止まれた位置を実物で行き過ぎたとしても、原因が一つとは限りません。

ずれの例台車の例で考えると見た目を似せるだけで分かるか
観察のずれ照明が変わり、目印が見えにくくなる見え方の検討が関係する
動きのずれ床との摩擦が違い、止まる距離が変わる動きの条件も必要になる
時間のずれ指示から動作までの遅れが違う時間の扱いも確かめる

これは特定の製品で測定した結果ではなく、違いを整理するための例です。写実的な映像になっていても、物理的な動きや遅れまで同じとは限りません。

ずれを小さくする方法と、変化に対応する方法

仮想環境を実物に近づけることは、一つの方向です。実物の動きを測り、その情報を使って仮想環境の条件を調整します。

もう一つの方向は、条件が少し変わっても対応できるように学ぶことです。一つの床や照明だけに合わせず、想定する範囲で条件を変えます。

NVIDIAのSim-to-Real教材も、ずれを減らす方法と、残るずれに対応する方法を分けています。どの方法が役立つかは、対象の仕事や、実際に疑われるずれによって変わります。

「学習回数を増やせばよい」と決める前に、何が違っているのかを探す必要があります。たとえば、指示の単位や順序がそもそも合っていない問題は、さまざまな床で練習することだけでは直りません。

ドメインランダム化は、条件を変えて学ぶ工夫

照明や床の条件を変えた複数の仮想場面と、実物の走路を分けた模式図
仮想環境で条件を変える考え方を表した図です。右の実物で動くかどうかは別に確認します。台車は架空の説明例で、成功した実験の図ではありません。

ドメインランダム化は、学習中の環境条件などを変化させる方法です。一つの仮想世界の特徴だけに頼らず、条件の違いに対応できることを目指します。

Tobinらの2017年の研究は、仮想画像の描画条件を変えて学習し、実物の物体の位置を見つける課題を扱いました。仮想画像の見た目を多様にすることが、現実の画像へ移すための手がかりになるという研究です。

台車の例なら、学ぶ際の照明や表面の見え方を変える場面を想像できます。動作を学ぶ場合には、摩擦などの条件を変える考え方もあります。ただし、どんな値でも無制限に変えればよいわけではありません。何の違いに対応したいのか、その範囲をどう考えたのかが重要です。

「ずれが小さい」と「実物でよく動く」は別

仮想環境と実物の結果が似ていても、両方でうまくできていなければ、目的を達成したことにはなりません。差の小ささと、実物で必要な性能に届いたかは分けて読みます。

技術解説で結果を見るときは、次の二つを探してみましょう。

  • 変えた条件は何か。 照明、物の位置、動きの条件など、学習時に扱った変化。
  • 実物では何を測ったか。 どの仕事を、どの条件で試し、どんな結果になったか。

条件の説明と実物での結果を対にすると、方法の狙いと確認できた範囲がつながります。「仮想で練習した」という説明だけから、移し替えの成功を補う必要はありません。

現実を仮想側で表す仕組みはデジタルツインの基礎、具体的な技術実演の読み方はGemini 4 Argonのロボット実験で扱っています。知覚と行動がつながる意味から知りたい場合は、身体性AIも参考になります。