AI判断の理由を説明できる？説明可能AIと確認ポイント

結論から言うと、AIが出力した根拠らしき情報だけでは、人に対する最終決定の理由を説明したことになりません。少なくとも、モデルの出力、組織がその出力をどう使ったか、人が何を根拠に決定したか、本人が訂正や再確認を求める方法を分ける必要があります。

説明可能AI（XAI）は、モデルの挙動を調べる有力な手段です。しかし、特徴量の重要度やヒートマップは、正しさ、因果関係、公平性、法令適合性まで自動で証明するものではありません。

2026年8月11日時点の公的資料を確認しています。適用法や救済手続きは、地域、分野、契約、具体的な運用に応じて専門家や所管機関に確認してください。記事内の画像は概念イラストであり、実在するAI製品、審査画面、法定様式を示す図ではありません。

結論：AIの出力と人の決定を同じ「理由」にしない

「AIが低リスクと判定したから」「スコアが基準を下回ったから」だけでは、説明として足りない場合があります。AIを使う判断には、異なる四つの層があるからです。

たとえば、モデルが「返済リスクが高い」と出した理由を説明できても、融資を断った組織の基準と最終判断まで説明したことにはなりません。医療支援AIが画像の注目領域を示しても、診断や治療の理由は診察、検査、経過、患者の希望などを含めて医療者が説明します。採用でも、AIの順位と採否の理由は分けます。

最初に確認したいのは次の四点です。

1. AIの出力は、推薦、警告、順位、確率、分類のどれか
2. その出力は、最終決定か、判断材料の一つか
3. AI以外に、誰が何を確認したか
4. 入力の誤りや例外があるとき、どこに再確認を求められるか

この区別は、AIの仕組みを詳しく知らない人にも必要です。「モデルがそう出した」と「組織としてそう決めた」を一文にまとめないことが、説明の出発点になります。

説明可能AIでは四つの性質を別々に確かめる

NISTの説明可能AIに関する文書は、説明できるAIを考える原則として、次の四つを区別しています。

実務で使われる説明手法にも、答えられる問いと限界があります。

• 局所説明：ある一件の出力に影響した入力や、入力を変えた場合の出力変化を調べる
• 大域説明：モデル全体がどんな傾向で反応するかを調べる
• 特徴量の重要度：どの項目がモデルの予測に強く関係したかを示す
• ヒートマップ：画像や文章のどの部分に反応したかを視覚化する
• 反実仮想・感度分析：どの条件をどれだけ変えると出力が変わるかを試す
• 確率・不確実性の表示：出力の確からしさに関する指標を示す

ただし、特徴量の重要度が高いことは、その項目が現実世界で結果を引き起こしたという意味ではありません。代理変数を通じて別の属性を反映している可能性もあります。後から作る説明が、元のモデルの内部処理を十分に再現できない場合もあります。

また、「信頼度90％」のような表示は、正解率90％と同じとは限りません。何を確率として定義したか、どの集団で校正したか、しきい値をどう決めたか、条件外の入力を検知できるかまで確認します。

説明の評価では、読みやすさだけでなく、元の処理への忠実さ、別の入力でも安定するか、受け手が誤解せず次の行動を選べるかを試す必要があります。

誰に何を説明するかは工程で変わる

同じ一件でも、必要な説明は受け手によって変わります。一枚の「説明レポート」を全員に渡すだけでは、確認に必要な情報が抜けやすくなります。

説明をつなぐには、提供者から受け取った情報を、導入組織の利用記録と結び付けます。モデル名だけでなく版、利用日時、入力の出所、しきい値、設定変更も残します。更新後に挙動が変われば、以前の一般説明をそのまま使えないことがあります。

人への通知も、「AIを使用しています」という表示だけで終わらせません。少なくとも、AIが決定のどこに関与したか、決定をした主体は誰か、主要な基準は何か、入力が違う場合の訂正先、人による再確認の有無を、その人が理解できる形で示します。

一方で、営業秘密やセキュリティ、第三者の権利に関わる情報を無制限に公開できるとは限りません。だからこそ、アルゴリズム全体の開示と、本人が決定を理解して再確認を求めるための説明を同一視しないことが重要です。

法的な説明・人の関与・異議申立ては別ルート

AIの透明性や説明可能性は、公的な原則やガイドラインで重視されています。しかし、それだけから「どのAI判断にも、本人が詳しい理由説明を受ける権利がある」とは言えません。法的義務は、地域、分野、決定の効果、AIの分類、完全自動かどうかなどで変わります。

日本では、政府の「AI事業者ガイドライン」第1.2版が2026年3月に公表されています。人間中心、安全性、公平性、プライバシー保護、透明性、アカウンタビリティなどを、AIの開発・提供・利用に関わる主体がリスクに応じて実践するための指針です。政府のAI法に基づく指針も別に公表されています。これらの指針と、個人情報保護、業法、労働、医療、消費者保護、契約などの具体的な義務は分けて確認します。

EUについても、どの規定が何を対象にしているかを個別に確認する必要があります。

EU司法裁判所は2025年2月のC-203/22判決で、GDPR第15条1項(h)の「意味ある情報」について、データ主体が理解し、決定に異議を述べられるよう、実際に適用された手続きと原則を簡潔・透明・理解可能に説明する必要があると示しました。複雑な数式やアルゴリズムの詳細を渡すだけでは、それ自体で十分とは限らないという判断です。ただし、これはGDPR上の自動化された決定に関する具体的な事件であり、世界中のあらゆるAI判断への一般ルールではありません。

実際の案件では、次を順に確認します。

1. どの国・地域の、どの主体による決定か
2. 本人に法的または同様に重大な影響があるか
3. AIは補助か、実質的に完全自動の決定か
4. そのAIは規制上どの分類と用途に当たるか
5. 通知、理由説明、人の関与、訂正、異議申立てのどれが必要か
6. いつから適用され、例外や経過措置があるか

制度の全体像は日本のAI規制とAI透明性・説明責任でも整理しています。

説明を正しさの証明にしない

もっともらしい説明を読めても、その出力が正しいとは限りません。説明可能性、性能、安全性、公平性、プライバシー、セキュリティは関連しますが、別々に検証します。

少なくとも、次の検証を説明とは別に行います。

• 正解データや実際の結果と比較し、誤りの種類と影響を調べる
• 年齢、地域、障害、言語など関連する集団ごとに性能差と不利益を調べる
• 入力の欠損、誤記、分布の変化、極端な例、意図しない用途を試す
• モデル更新や設定変更の前後で、出力と説明がどう変わるか確認する
• 人がAIを採用・変更・却下した割合と、その後の結果を監視する
• 事故、苦情、異議申立てから、停止基準と再発防止を見直す

「人が最終確認する」という手順も、それだけでは安全策になりません。確認者がAIの限界を知らない、時間がない、元資料を見られない、AIを覆す権限がない、変更すると不利益を受ける、といった運用では形式的な確認になります。AIの提案を過度に信じる自動化バイアスも想定します。

次に当てはまるときは、少なくとも自動処理を止めて人が再確認します。

• 想定していない対象や入力形式が含まれる
• 必須項目が欠けている、出所を確認できない、本人が誤りを指摘している
• 不確実性が高い、複数の方法で結果が大きく変わる
• 保護される属性や、その強い代理になり得る項目の影響が疑われる
• 本人への重大な不利益があるのに、理由、責任者、再確認手段を示せない
• 現行の版、性能、適用法、運用責任を確認できない

医療のような高影響分野では、説明以前に製品の用途や性能を分けて確認します。詳しくはAI診断の信頼性を参照してください。

実務では十項目を同じ記録でつなぐ

説明は、説明文を一度作って終わりではありません。設計、導入、一件の判断、本人への通知、再審査まで、次の十項目を同じ記録で追えるようにします。

1. 決定と影響：何を決め、誰にどの程度の影響があるか
2. AIの識別：製品・モデル名、提供者、版、設定、利用日時
3. 目的と対象：想定用途、対象者、使わない条件、代替手段
4. 入力：項目、出所、取得時点、品質、訂正履歴、利用してはいけない属性
5. 出力：分類・順位・確率等の意味、しきい値、不確実性
6. 説明：局所・大域などの手法、受け手、忠実性、限界
7. 検証と監視：評価データ、指標、集団別結果、変化、事故、停止条件
8. 人の確認：担当者、権限、参照資料、採用・変更・却下とその理由
9. 最終決定：AI以外の根拠、適用した基準、決定者、責任主体
10. 本人の手続き：通知、入力訂正、問い合わせ、人による再審査、異議申立て、回答期限

影響を受ける本人が確認する場合は、難しいモデル名より先に、次のように質問すると確認しやすくなります。

AIは、この決定のどの部分に使われましたか。
私について、どの情報と基準が使われましたか。
決定の主な理由は何ですか。AI以外の資料も含まれますか。
入力が間違っている場合、どこで訂正できますか。
AIの結果を使わず、人が再確認する手続きはありますか。
問い合わせや異議申立ての期限と窓口はどこですか。

組織側は、質問への回答を広報文だけで作らず、その一件のログと最終決定記録に結び付けます。説明できない項目があれば、情報が足りないのか、技術的に確認できないのか、公開に制約があるのかを区別し、代わりにどの確認・救済手段を用意するかを示します。

AI判断の説明で目指すのは、もっともらしい物語ではありません。出力を検証でき、誰が決めたかを追え、誤りを直し、必要ならAIを使わない決定に戻れる状態です。倫理と制度を広く見直す場合はAI倫理・法律の全体像も参照してください。

理由の表示されない推薦を、生活の場面から先に考える場合は、第8話「地図がおすすめしない道」から読めます。物語では、目的、使った情報と判断者、見直し先という三つの問いが、次の説明へ引き継がれます。