AIの蒸留は、教師となるモデルの出力などを手がかりに、別のモデルを学習させる方法です。大きなモデルが行う仕事を、小さなモデルでも扱いやすくする目的などで使われます。
「大きいAIを小さくした」と聞いても、能力を丸ごと同じまま移せたとは限りません。何を学び、どの仕事で確かめたのかを見ることが大切です。
AIの蒸留では、教師と生徒は何を意味する?
教師モデルは、学習の手がかりを出す側です。生徒モデルは、その手がかりを使って学習する側を指します。人間の先生と生徒がいるわけではなく、二つのモデルの役割を表す呼び方です。
たとえば画像を分類するモデルなら、「何に見えるか」という出力を、別のモデルの学習に使う考え方があります。正解の名前だけでなく、教師が候補をどう評価したかを手がかりにする方法もあります。
Hinton、Vinyals、Deanによる2015年の論文は、複数モデルなどで得た知識を、扱いやすい一つのモデルへ学習させる方法を論じています。ここでいう蒸留は、液体を熱して取り出す操作でも、ファイルを圧縮して元通りに戻す操作でもありません。
小さなモデルにすると、何が変わる?
小さなモデルで必要な仕事をこなせれば、動かすための計算や記憶領域を抑えられる可能性があります。ただし、「小さい」という言葉だけでは、実際の速さや使える範囲は決まりません。
| 確かめたいこと | 比べる条件 | 見落としたくない点 |
|---|---|---|
| 答えの質 | 同じ種類の問題と採点方法 | 得意な問題だけの成績ではないか |
| 速さ | 同じ機器や運用条件での待ち時間 | モデル以外の通信や処理も含むか |
| 使える範囲 | 対応する言語、入力、仕事 | 学習していない領域も同じように扱えるか |
たとえば、短い文章の分類に使うモデルが軽く動いても、長い文書の相談まで同じ精度でこなせるとは言えません。小型化の価値は、自分が頼みたい仕事に合っているかで変わります。
端末の近くでAIを動かす話とは、関係はあっても同じではありません。処理する場所の違いは、エッジAIとクラウドAIで分けて読めます。
教師と同じ答えになるかは、別に確かめる

教師の出力を使って学習することと、教師の振る舞いをすべて再現できることは別です。Google Researchに掲載された2021年の研究も、教師と生徒の予測に差が残ることや、学習データなどの条件が影響することを報告しています。
利用する側としては、モデル名の「蒸留版」という表示だけで判断せず、確認に使われた仕事を見ます。
- 自分が使う言語や文章の長さに近いか。
- 例外や、答えを決められない問題も含んでいるか。
- 教師との比較だけでなく、実際に必要な正解や品質基準を満たしているか。
教師に近い答えが出ても、教師自身が誤っていれば、その一致だけでは正しさの証明になりません。最終的な確認先は、必要な仕事の基準や元の資料です。
「蒸留モデル」のニュースは、用途と評価条件から読む
新しいモデルのニュースを見たら、最初に「何をするモデルか」を一文で書いてみます。文章を分類するのか、コードを書くのか、会話するのか。そのあとで、どの条件で結果を比較したのかを見ます。
比較条件が分からない場合は、「同じ能力を安く使える」と結論づけず、分かっていない点として残せます。学習元のモデルやデータを使える条件も、技術名だけでは判断できません。実際に開発や配布をする場合は、対象の提供条件を確認します。
蒸留と、目的に合わせてモデルを追加学習することは、別々の見方です。教師の出力を追加学習に使うなど、組み合わさる場合もあります。追加学習そのものの選択は、ファインチューニングの考え方で整理できます。
いま気になる蒸留モデルを一つ選び、「何の仕事で」「何と比べて」「どの条件で」を確認してみてください。大きさの数字だけでは見えなかった、自分に関係する違いを探せます。
