Sim-to-Realは、シミュレーションで学んだモデルや動作の決め方を、実物へ移す取り組みです。Sim2Realとも書かれます。
仮想空間で学べば、同じ場面を繰り返したり、条件を変えて試したりできます。ただし、実物は仮想空間と完全には一致しません。そのずれをどう扱うかが、Sim-to-Realの重要な課題です。
Sim-to-Realのgapは、見た目だけの違いではない
gapは「隔たり」や「ずれ」という意味です。シミュレーションと実物の間には、カメラからの見え方だけでなく、動き方や処理のタイミングにも違いが生じます。
説明用に、小さな台車が決めた位置へ移動する場面を考えてみましょう。画面では止まれた位置を実物で行き過ぎたとしても、原因が一つとは限りません。
| ずれの例 | 台車の例で考えると | 見た目を似せるだけで分かるか |
|---|---|---|
| 観察のずれ | 照明が変わり、目印が見えにくくなる | 見え方の検討が関係する |
| 動きのずれ | 床との摩擦が違い、止まる距離が変わる | 動きの条件も必要になる |
| 時間のずれ | 指示から動作までの遅れが違う | 時間の扱いも確かめる |
これは特定の製品で測定した結果ではなく、違いを整理するための例です。写実的な映像になっていても、物理的な動きや遅れまで同じとは限りません。
ずれを小さくする方法と、変化に対応する方法
仮想環境を実物に近づけることは、一つの方向です。実物の動きを測り、その情報を使って仮想環境の条件を調整します。
もう一つの方向は、条件が少し変わっても対応できるように学ぶことです。一つの床や照明だけに合わせず、想定する範囲で条件を変えます。
NVIDIAのSim-to-Real教材も、ずれを減らす方法と、残るずれに対応する方法を分けています。どの方法が役立つかは、対象の仕事や、実際に疑われるずれによって変わります。
「学習回数を増やせばよい」と決める前に、何が違っているのかを探す必要があります。たとえば、指示の単位や順序がそもそも合っていない問題は、さまざまな床で練習することだけでは直りません。
ドメインランダム化は、条件を変えて学ぶ工夫

ドメインランダム化は、学習中の環境条件などを変化させる方法です。一つの仮想世界の特徴だけに頼らず、条件の違いに対応できることを目指します。
Tobinらの2017年の研究は、仮想画像の描画条件を変えて学習し、実物の物体の位置を見つける課題を扱いました。仮想画像の見た目を多様にすることが、現実の画像へ移すための手がかりになるという研究です。
台車の例なら、学ぶ際の照明や表面の見え方を変える場面を想像できます。動作を学ぶ場合には、摩擦などの条件を変える考え方もあります。ただし、どんな値でも無制限に変えればよいわけではありません。何の違いに対応したいのか、その範囲をどう考えたのかが重要です。
「ずれが小さい」と「実物でよく動く」は別
仮想環境と実物の結果が似ていても、両方でうまくできていなければ、目的を達成したことにはなりません。差の小ささと、実物で必要な性能に届いたかは分けて読みます。
技術解説で結果を見るときは、次の二つを探してみましょう。
- 変えた条件は何か。 照明、物の位置、動きの条件など、学習時に扱った変化。
- 実物では何を測ったか。 どの仕事を、どの条件で試し、どんな結果になったか。
条件の説明と実物での結果を対にすると、方法の狙いと確認できた範囲がつながります。「仮想で練習した」という説明だけから、移し替えの成功を補う必要はありません。
現実を仮想側で表す仕組みはデジタルツインの基礎、具体的な技術実演の読み方はGemini 4 Argonのロボット実験で扱っています。知覚と行動がつながる意味から知りたい場合は、身体性AIも参考になります。
