AIの蒸留は、教師となるモデルの出力などを手がかりに、別のモデルを学習させる方法です。大きなモデルが行う仕事を、小さなモデルでも扱いやすくする目的などで使われます。

「大きいAIを小さくした」と聞いても、能力を丸ごと同じまま移せたとは限りません。何を学び、どの仕事で確かめたのかを見ることが大切です。

AIの蒸留では、教師と生徒は何を意味する?

教師モデルは、学習の手がかりを出す側です。生徒モデルは、その手がかりを使って学習する側を指します。人間の先生と生徒がいるわけではなく、二つのモデルの役割を表す呼び方です。

たとえば画像を分類するモデルなら、「何に見えるか」という出力を、別のモデルの学習に使う考え方があります。正解の名前だけでなく、教師が候補をどう評価したかを手がかりにする方法もあります。

Hinton、Vinyals、Deanによる2015年の論文は、複数モデルなどで得た知識を、扱いやすい一つのモデルへ学習させる方法を論じています。ここでいう蒸留は、液体を熱して取り出す操作でも、ファイルを圧縮して元通りに戻す操作でもありません。

小さなモデルにすると、何が変わる?

小さなモデルで必要な仕事をこなせれば、動かすための計算や記憶領域を抑えられる可能性があります。ただし、「小さい」という言葉だけでは、実際の速さや使える範囲は決まりません。

確かめたいこと比べる条件見落としたくない点
答えの質同じ種類の問題と採点方法得意な問題だけの成績ではないか
速さ同じ機器や運用条件での待ち時間モデル以外の通信や処理も含むか
使える範囲対応する言語、入力、仕事学習していない領域も同じように扱えるか

たとえば、短い文章の分類に使うモデルが軽く動いても、長い文書の相談まで同じ精度でこなせるとは言えません。小型化の価値は、自分が頼みたい仕事に合っているかで変わります。

端末の近くでAIを動かす話とは、関係はあっても同じではありません。処理する場所の違いは、エッジAIとクラウドAIで分けて読めます。

教師と同じ答えになるかは、別に確かめる

同じ入力に対する教師モデルと小さなモデルの出力を並べ、違いを確かめる模式図
同じ入力でも、出力が一致するとは限りません。色の点は出力の違いを表すたとえで、測定結果ではありません。

教師の出力を使って学習することと、教師の振る舞いをすべて再現できることは別です。Google Researchに掲載された2021年の研究も、教師と生徒の予測に差が残ることや、学習データなどの条件が影響することを報告しています。

利用する側としては、モデル名の「蒸留版」という表示だけで判断せず、確認に使われた仕事を見ます。

  • 自分が使う言語や文章の長さに近いか。
  • 例外や、答えを決められない問題も含んでいるか。
  • 教師との比較だけでなく、実際に必要な正解や品質基準を満たしているか。

教師に近い答えが出ても、教師自身が誤っていれば、その一致だけでは正しさの証明になりません。最終的な確認先は、必要な仕事の基準や元の資料です。

「蒸留モデル」のニュースは、用途と評価条件から読む

新しいモデルのニュースを見たら、最初に「何をするモデルか」を一文で書いてみます。文章を分類するのか、コードを書くのか、会話するのか。そのあとで、どの条件で結果を比較したのかを見ます。

比較条件が分からない場合は、「同じ能力を安く使える」と結論づけず、分かっていない点として残せます。学習元のモデルやデータを使える条件も、技術名だけでは判断できません。実際に開発や配布をする場合は、対象の提供条件を確認します。

蒸留と、目的に合わせてモデルを追加学習することは、別々の見方です。教師の出力を追加学習に使うなど、組み合わさる場合もあります。追加学習そのものの選択は、ファインチューニングの考え方で整理できます。

いま気になる蒸留モデルを一つ選び、「何の仕事で」「何と比べて」「どの条件で」を確認してみてください。大きさの数字だけでは見えなかった、自分に関係する違いを探せます。