AIベンチマークの点差だけでは、差がどの程度確かかは分かりません。 同じ問題群で得た点数と、似た別の問題でも期待できる成績を分け、問題数・繰り返し・推定の幅の説明を確かめます。
「82点と80点なら、2点高い方が確実に上なのか」。こうした小さな差を読むときは、まずその数字が何回、どの問題で得られたものかに戻ります。
同じ問題での点数と、別の問題でも期待できる成績
説明のため、二つのモデルに同じ100問を一度ずつ出したとします。すべて同じ配点で、正解・不正解の二つで採点する架空例です。
| モデル | 今回の正解数 | 今回の正解率 |
|---|---|---|
| A | 82問 | 82% |
| B | 80問 | 80% |
この実行でAの正解率が2ポイント高かったことは、表から分かります。しかし、この表だけでは「似た別の100問でも、同じ程度の差が出る」とは言えません。どんな問題を選んだかも結果に関わるためです。
ここには、別々の問いがあります。
- 今回使った問題群では、どんな成績だったか。
- 同じ種類の、まだ試していない問題でも、どんな成績を期待できるか。
NISTが2026年2月19日に公開した評価方法の解説は、前者に関わるbenchmark accuracyと、後者に関わるgeneralized accuracyを区別しています。測りたいものが違うため、不確かさの計算も一つの方法では済まないという説明です。
この区別は、82%という数字を疑って消すためのものではありません。その数字から、どの範囲まで言えるかを分けるために使います。
問題が変わる場合と、同じ問題で答えが揺れる場合

ばらつきを読むときは、何が変わったのかも分けます。
一つは、評価する問題が変わる場合です。先ほどの架空例で、Aが得意な問題が多く選ばれていれば、別の問題群では差が変わる可能性があります。問題数を増やしても、同じ狭い範囲の問題だけが増えたのか、対象とする範囲を広く含むのかでは意味が違います。
もう一つは、同じ問題を同じモデルへ繰り返したときです。生成の設定などによって、答えが毎回同じにならない場合があります。NISTの解説も、問題どうしの違いと、同じ問題での応答の一貫性を分けて扱っています。
| 注記にある情報 | 何を知る手がかりか | それだけでは補えないこと |
|---|---|---|
| 問題数 | 何問で測ったか | 問題の選び方や対象範囲 |
| 同じ問題への試行回数 | 応答の揺れをどう扱ったか | 別の問題へ広げたときの成績 |
| 推定値に添えた幅 | どの程度の不確かさを示すか | 幅の計算方法と前提 |
「たくさん試した」という説明があっても、問題の種類を増やしたのか、同じ問題を繰り返したのかを区別すると、分かることが具体的になります。
エラーバーがあれば、何の幅かを読む
比較グラフには、点や棒の上下に線が付いていることがあります。こうしたエラーバーは、結果のばらつきや推定の不確かさを示すために使われますが、何を表す線かは凡例を読まないと決まりません。
たとえば、実行を繰り返した際の標準偏差なのか、平均などの推定に対する信頼区間なのかでは意味が異なります。「線が短いからあらゆる問題に強い」と読むことはできません。
Lanzanteによるエラーバーの研究論文も、幅の重なりだけで差を判定する方法に注意を促しています。二つの幅が重なるかだけを見て、差がある・ないを機械的に決めることも避けます。比較の方法や、同じ問題で測った結果をどう扱ったかなどが関わるためです。
分からない幅を自分で計算し直す必要はありません。まずは「この線は何を示すか」が説明されているかを確認できます。
小さな点差を見たら、注記へ戻る
先ほどの82%と80%の表だけを受け取ったなら、「今回の正解率には2ポイント差がある。差の確かさは、この表だけでは判断できない」と整理できます。架空の数字から、有意差の有無を決めた例ではありません。
比較表の注記で探したいのは、次の三点です。
- 問題をいくつ、どの範囲から選んだか。
- 同じ問題を何回試し、どう集計したか。
- 不確かさの幅や、モデル間の差を確かめる方法が説明されているか。
StanfordのHELM解説も、評価していない課題や指標を明らかにすることを重視しています。点差を読む際にも、測った範囲の外側を、空白のまま残すことが大切です。
AIの蒸留やファインチューニングで改善を示す数字を見たときも、同じ読み方が役立ちます。まずは一つの比較表で、問題数・繰り返し・幅の説明を探してみてください。
