AIモデルの重みは、単独で会話するアプリではありません。 文章生成モデルを動かすには、学習済みの数値である重みに加え、対応するモデルの構造と設定、入力を処理する仕組み、実行ソフトや機器が関わります。

公開ページで重みを取得した後に、設定ファイルやトークナイザーの名前が出てくるのはそのためです。ここでは「何をダウンロードできるか」ではなく、取得したモデルが文章を返すまでの役割を見ていきます。

重み・設定・入力の処理には、それぞれ役割がある

文章生成モデルの構成は、たとえば次のように分けられます。必ず四つのファイルに分かれるという意味ではありません。配布形式によっては複数の情報を一つにまとめたり、利用ソフトが自動で取得したりします。

要素主な役割重みだけでは足りない理由
重み学習で調整した数値を持つ数値を使って計算するモデルの構造が必要
モデルの構造と設定どのような層や大きさのモデルとして扱うかを定める異なる構造へ同じ数値を入れればよいわけではない
入力の前処理文章をモデルに渡せる数値へ変える入力文を、そのモデルが想定する形にする必要がある
実行環境処理を行うソフトと計算資源を用意する対応するソフトや、計算に使えるメモリなどが要る

具体例として、Hugging Face Transformersの公式Quickstartは、設定、モデル、前処理の役割を分け、学習済みモデルとトークナイザーを読み込む例を示しています。この表は、その流れを初心者向けに整理したものです。すべての実行ソフトが同じ名前や操作を使うわけではありません。

トークナイザーは、文章とモデルの間をつなぐ

入力を小片で表した数値へ変え、重みと設定を備えた実行環境へ渡し、出力を得る模式図
小片は数値化した入力、紺の箱は重み、図面は設定を表すたとえです。実際のファイル数や画面構成を描いた図ではありません。

文章を扱うモデルでは、入力した文をトークンという単位に分け、対応する番号などへ変換してから計算に渡します。その役目を担うのがトークナイザーです。モデルが生成した番号の列を、読める文章へ戻す処理もあります。

たとえば「明日の予定を教えて」という文が、そのまま紙の一文として重みへ入るわけではありません。決められた方法で数値へ変わり、モデルの計算を経て、出力も文章へ戻ります。どこで区切るかは方式や言語によって異なり、日本語の一文字が必ず一単位になるとは限りません。

この対応があるため、別モデル向けのトークナイザーを名前だけで置き換えることはできません。公式の利用例で、どのモデルとどの前処理を組み合わせているかを見る必要があります。

ダウンロードできたことと、読み込めたことは別

重みの保存が終わっても、モデルの読み込みや文章生成が成功したとは限りません。困ったときは、止まった段階を分けると確認する箇所が見えてきます。

  • 取得の段階で止まったなら、指定したファイルやモデルの版が正しいか、取得が完了したかを見る。
  • 読み込みの段階で止まったなら、形式やモデルの種類が実行ソフトで対応しているか、必要な設定がそろっているかを見る。
  • 計算中にメモリ不足になったなら、モデルを保存するディスク容量とは別に、実行に使うメモリの条件を確認する。
  • 文章の扱いがおかしいなら、指定されたトークナイザーや入力形式を使っているかも確認する。

これは原因を断定する一覧ではありません。同じ症状に複数の原因があり、エラー表示を読まなければ分からない場合もあります。必要なメモリ量も、モデル名だけでなく、数値の扱い方、入力の長さ、実行方法などによって変わります。

公式の利用例で、モデルと前処理を探してみる

まだ実行しなくても、公開ページの利用例を読むだけで役割を確かめられます。最初に、学習済みモデルを読み込む箇所と、トークナイザーなどの前処理を用意する箇所を探してみてください。

次に、両者に指定するモデル名や版が対応しているか、必要なライブラリや実行機器の案内があるかを見ます。ソフトがまとめて用意してくれる場合も、内部で役割がなくなったわけではありません。

ここまでの話は、学習済みモデルを読み込んで推論するためのものです。新しい例で重みを調整するファインチューニングとは、行う処理が違います。読み込みに失敗したからといって、まず追加学習が必要だと考える必要はありません。

重みのファイルを一つの完成アプリとして見るより、「数値を、対応する仕組みへ載せて動かす」と捉えると、設定や前処理を求められる理由が分かります。