会社でAIを使い始めるための資料に、「XAI(説明可能AI)」と書いてある。会議の前に、意味だけ知っておきたい。そんな時は、「何を見せてくれるのか」と「その説明だけでは分からないこと」から見ていきましょう。

説明可能AIとは、何を見せてくれる物?

一枚の結果を虫眼鏡で見る個別の説明と、複数の結果を見渡す冊子で示した全体の傾向の説明
「この結果はなぜ?」と「ふだん何を重く見ている?」では、説明する範囲が違います。実際のAIの画面ではなく、二つの視点を表す模式図です。

AIの答えや動きを、人が確かめやすく示します。方法の一つは、どの情報が結果に強く効いたかを見せることです。

融資の審査なら、収入、返済の記録、入力もれなどが、結果にどれだけ影響したかを示す例があります。

何を説明するかで分けると、個別の結果を見る説明と、全体の傾向を見る説明があります。

種類答えてくれる問い
個別の結果の説明私の申しこみは、なぜこの結果になったのか
全体の説明このAIは、ふだん何を重く見ているのか

資料に「説明できる」と書いてあったら、どちらの説明のことかを見ます。

AIの説明責任と説明可能AIとは、何がちがう?

説明可能AIは技術で、説明責任は人と組織の責任です。

説明可能AIは、AIの答えの理由を見やすくします。説明責任は、もっと広い言葉です。だれが使い始めると決め、だれが結果を確かめ、まちがいにだれが対応するか。そこまでをふくみます。

画面に「返済の記録が影響しました」と出ても、だれがその記録を確かめ、まちがいを直すかまでは決まりません。表示する技術と、対応する人の役割は分けて考えます。

説明が表示されれば、その答えは正しい?

正しいとは限りません。説明は、まちがいやかたよりを見つけるための材料です。

結果に強く効いたと表示された情報が、現実の出来事の原因とは限りません。

仮の話です。「アイスがよく売れる日は、水の事故も多い」というデータがあったとします。それだけでは、アイスが事故の原因だとは言えません。暑さが、両方に関わっているかもしれません。AIの説明でも、結果との結びつきと、現実の原因は分けて考えます。

もっともらしい説明が出ても、別に確かめることがあります。元のデータと、決める時の物差しに、無理がないかです。

説明を見せられたら、何を確かめればいい?

確かめるのは三つです。

  1. その説明は、個別の結果の話か、AI全体で何を重く見るかの話か
  2. 元のデータにまちがいがあったら、直してもらえるか
  3. 最後に決めたことを、人が見直せるか

自分の審査の結果に理由が表示されたら、まず元になった自分の情報を見ます。まちがいや入力もれがないかを確かめます。

次に「説明可能AI」という言葉を聞いたら、一つ目だけ聞いてみてください。「それは、個別の結果の説明ですか。AI全体で何を重く見るかの説明ですか」。この一言で、話が具体的になります。