AIベンチマークの点差だけでは、差がどの程度確かかは分かりません。 同じ問題群で得た点数と、似た別の問題でも期待できる成績を分け、問題数・繰り返し・推定の幅の説明を確かめます。

「82点と80点なら、2点高い方が確実に上なのか」。こうした小さな差を読むときは、まずその数字が何回、どの問題で得られたものかに戻ります。

同じ問題での点数と、別の問題でも期待できる成績

説明のため、二つのモデルに同じ100問を一度ずつ出したとします。すべて同じ配点で、正解・不正解の二つで採点する架空例です。

モデル今回の正解数今回の正解率
A82問82%
B80問80%

この実行でAの正解率が2ポイント高かったことは、表から分かります。しかし、この表だけでは「似た別の100問でも、同じ程度の差が出る」とは言えません。どんな問題を選んだかも結果に関わるためです。

ここには、別々の問いがあります。

  • 今回使った問題群では、どんな成績だったか。
  • 同じ種類の、まだ試していない問題でも、どんな成績を期待できるか。

NISTが2026年2月19日に公開した評価方法の解説は、前者に関わるbenchmark accuracyと、後者に関わるgeneralized accuracyを区別しています。測りたいものが違うため、不確かさの計算も一つの方法では済まないという説明です。

この区別は、82%という数字を疑って消すためのものではありません。その数字から、どの範囲まで言えるかを分けるために使います。

問題が変わる場合と、同じ問題で答えが揺れる場合

同じ問題カードでの比較と、別の問題カードでの比較を上下に分けた模式図
上と下で問題カードを変えた説明図です。特定のモデルの成績や、点差の大きさを表すものではありません。

ばらつきを読むときは、何が変わったのかも分けます。

一つは、評価する問題が変わる場合です。先ほどの架空例で、Aが得意な問題が多く選ばれていれば、別の問題群では差が変わる可能性があります。問題数を増やしても、同じ狭い範囲の問題だけが増えたのか、対象とする範囲を広く含むのかでは意味が違います。

もう一つは、同じ問題を同じモデルへ繰り返したときです。生成の設定などによって、答えが毎回同じにならない場合があります。NISTの解説も、問題どうしの違いと、同じ問題での応答の一貫性を分けて扱っています。

注記にある情報何を知る手がかりかそれだけでは補えないこと
問題数何問で測ったか問題の選び方や対象範囲
同じ問題への試行回数応答の揺れをどう扱ったか別の問題へ広げたときの成績
推定値に添えた幅どの程度の不確かさを示すか幅の計算方法と前提

「たくさん試した」という説明があっても、問題の種類を増やしたのか、同じ問題を繰り返したのかを区別すると、分かることが具体的になります。

エラーバーがあれば、何の幅かを読む

比較グラフには、点や棒の上下に線が付いていることがあります。こうしたエラーバーは、結果のばらつきや推定の不確かさを示すために使われますが、何を表す線かは凡例を読まないと決まりません。

たとえば、実行を繰り返した際の標準偏差なのか、平均などの推定に対する信頼区間なのかでは意味が異なります。「線が短いからあらゆる問題に強い」と読むことはできません。

Lanzanteによるエラーバーの研究論文も、幅の重なりだけで差を判定する方法に注意を促しています。二つの幅が重なるかだけを見て、差がある・ないを機械的に決めることも避けます。比較の方法や、同じ問題で測った結果をどう扱ったかなどが関わるためです。

分からない幅を自分で計算し直す必要はありません。まずは「この線は何を示すか」が説明されているかを確認できます。

小さな点差を見たら、注記へ戻る

先ほどの82%と80%の表だけを受け取ったなら、「今回の正解率には2ポイント差がある。差の確かさは、この表だけでは判断できない」と整理できます。架空の数字から、有意差の有無を決めた例ではありません。

比較表の注記で探したいのは、次の三点です。

  1. 問題をいくつ、どの範囲から選んだか。
  2. 同じ問題を何回試し、どう集計したか。
  3. 不確かさの幅や、モデル間の差を確かめる方法が説明されているか。

StanfordのHELM解説も、評価していない課題や指標を明らかにすることを重視しています。点差を読む際にも、測った範囲の外側を、空白のまま残すことが大切です。

AIの蒸留やファインチューニングで改善を示す数字を見たときも、同じ読み方が役立ちます。まずは一つの比較表で、問題数・繰り返し・幅の説明を探してみてください。