2023年の「Lost in the Middle」研究では、必要な情報を長い入力の中央へ置くと、対象モデルの成績が下がる場面が報告されました。 ただし、現在のすべてのAIが真ん中を読めない、と示す結果ではありません。
この研究の問いは、どれほど長い文章を入力できるかだけではなく、入力にある必要情報をどれほどうまく使えるか、というものです。何を変えて、何を測った研究なのかを分けて見てみましょう。
Lost in the Middleは、必要情報の位置を変えて調べた研究
Liuらの原論文は、2023年7月に初版が公開され、その後改訂されています。題名の「Lost in the Middle」は、この研究で見られた入力中央の情報の扱いに関係します。
対象となった課題は、大きく二つです。
| 課題 | モデルに求めること | 位置に注目する理由 |
|---|---|---|
| 複数文書を使う質問応答 | 渡された文書から必要情報を見つけて答える | 根拠となる文書が入力のどこにあるかを変えられる |
| キーと値の組を使う検索 | 指定されたキーに対応する値を取り出す | 必要な組が列のどこにあるかを変えられる |
後者は、たとえば番号札と、その札に対応する箱の色を並べ、指定された札の色を探すような課題として想像できます。これは意味をつかむためのたとえで、論文の実際の入力を再現したものではありません。
長さが同じでも、置く位置によって結果が変わる

論文では、関連情報が入力の先頭や末尾にある場合に成績が高く、中央の情報を使う場合に下がる傾向が報告されています。長い入力に対応するモデルも、対象に含まれていました。
ここで分けたいのは、「情報が入力に含まれている」と「答えを作るときにうまく利用できた」の二つです。前者を満たしていても、後者の成功が自動的に決まるわけではありません。
ただし、入力中の文章を人間のように順番に読み、中央で注意力が切れた、と観察した研究ではありません。出力の成績から見えた位置依存の結果を、人の疲れ方と同じ仕組みだと読み替えないことも大切です。
「真ん中を読めない」と言い切れない理由
研究結果を紹介する際には、対象モデル、課題、入力の作り方という範囲が残ります。「長文の中央」という短い言葉だけを切り出すと、異なる場面へ結果を広げすぎてしまいます。
- 2023年に対象となったモデルと、今使うモデルは同一とは限らない。
- 資料から答えを探す課題と、全体を要約する課題は同じではない。
- 情報の位置だけでなく、入力の長さや資料の構成も条件になる。
このため、「重要な文を先頭に移せば必ず直る」という保証にもなりません。まず、どの課題で得られた知見かを保って読む必要があります。
モデルを比べる点差や不確かさの読み方は、AIベンチマークの点差で別に扱っています。ここでは、点差の大きさよりも、位置という条件を変えたときに結果がどう変わったかに注目します。
自分の資料で確認するなら、変える条件を一つにする
研究の話を自分の利用へつなげたいなら、機密情報を含まない小さな架空資料を用意し、必要情報を置く場所だけを変える、といった確認が考えられます。
たとえば、架空の展示案内をいくつか作り、特定の会場の開館時刻を質問します。同じ案内を先頭・中央・末尾へ移す際に、質問文や案内の内容まで変えると、何が結果に関係したか分かりにくくなります。
この確認は、モデルの一般的な性能を証明する正式な実験ではありません。一度うまくいっても、失敗しても、すべての長文で同じ結果になるとは言えません。何を固定し、何を変えたのかを記録すれば、自分が観察した範囲は残せます。
論文紹介を一つ読むときも、「対象モデル」「課題」「情報を置く位置」の三つを探してみてください。『長い文章を渡せる』という仕様と、『その中の情報を使える』という評価を、別の問いとして読めるようになります。
