AI（人工知能）はその市場が急速に成長し、日本でも2023年に6,858億円（前年比34.5％増）だった支出額が、2028年に2兆5,433億6,200万円まで拡大すると予測され、既にビジネスの中核技術となっています。多くの企業が、明確な目的を持ってAIを活用し、ビジネスの成長と変革を推進しています。
現在、AIは「人間の能力を補完するもの」と認識されています。そして、「人間にとって代わる存在ではない」という考え方が一般的であるものの、AIによる意思決定の過程がブラックボックス化したAIソリューションは、その成果を明確に測定・追跡しにくく、ビジネスの現場では受け入れられにくい状況です。
特に規制の厳しい業界では、すべての意思決定について十分な説明が求められます。コンプライアンス違反は深刻な処罰や評判の失墜、ビジネス機会の損失につながるため、企業は説明責任を果たせるAIソリューションを必要としています。
本稿では、「説明可能なAI」について解説し、企業がAIソリューションの結果を信頼して活用するための方法を、Post-hoc手法（事後説明）の解説を通じて探っていきます。
目次
目次inpage
AIの意思決定の過程とその違い
AIの意思決定は大きく2つのアプローチに分類できます。
- 決定論的アプローチ：明確に定義された特定のビジネスルールに基づく判断
- 確率論的アプローチ：類似事例との相関関係や事例に立脚した推論に基づく判断
AIは人間と同じように「学習」を必要としますが、その判断の過程には大きな違いがあります。決定論的アプローチは客観的で説明しやすいのが特徴です。一方、確率論的アプローチは主観的な要素を含むため、説明が難しくなりがちです。特に、深層学習を用いたAIは、その判断の過程がブラックボックス化しやすい特徴があります。
説明可能なAIを実現する3つの技法
企業がAIの説明可能性を確保する*ためには、以下の３つの方法があります。
*AIの説明可能性を確保する：AIがどのようにその判断をしたのかを説明できるようにしておくこと、および人間が理解できるようにしておくこと。
- 従来型の機械学習手法
最も基本的なアプローチで、深層学習を使わずに説明可能性を確保します。
特徴としては、シンプルで理解しやすいアルゴリズムを使用し、プロセスの透明性が高く、追跡が容易です。具体的にはクラスタリング（データ間の類似度に基づいてデータをグループ分けしていく手法）や次元削減モデル（高次元データを低次元のデータに変換することで、データの解析や処理を簡素化する技術）などの確立された手法を活用します。評価方法としては「適合率と再現率」、「モデルの正確性」、「決定係数による予測精度の評価」などの明確な指標を用います。
- Ante-hoc（事前説明）手法
AIモデルの設計段階から説明可能性を組み込むアプローチです。主な技術として、時系列データの分析に特化したRETAIN (逆時間注意機構) や 確率的なアプローチで不確実性を考慮するBDL (ベイズ深層学習) が挙げられます。RETAINは予測に影響を与えた要因を時間軸で追跡でき、BDLは予測結果に対する信頼度を提供するなど、AIモデルに説明可能性を組み込んでいます。
- Post-hoc（事後説明）手法
既存のAIモデルに対して、後付けで説明可能性を付け加えるアプローチです。監査可能なプロキシモデル（元のAIモデルを単純化したモデル）を構築し、元のAIモデルの判断の過程を判別できる形で再現します。主な技術としては、モデルに依存しない局所的な解釈を提供するLIME （Local Interpretable Model-agnostic Explanation）という手法やニューラルネットワークの各層での判断過程を追跡するLRP（Layer-wise Relevance Propagation）といった手法があります。LIMEは個々の予測結果について説明でき、LRPは最終的な出力に対する各入力の貢献度を可視化することができます。
この3つのアプローチは、それぞれに長所と短所があります。企業は自社のビジネス要件、規制環境、既存システムとの整合性などを考慮し、最適なアプローチを選択する必要があります。
データ品質の重要性：AIの性能を左右する要因
AIの説明可能性を確保するためのアプローチを解説する前に、AIを活用するための重要な要素の1つであるデータについて補足します。AI とデータは密接な関係にあり、互いに補完し合っています。AIが企業のデータから有用な洞察を導き出すためには、適切な学習をサポートする高品質な訓練データが必要です。
企業が価値のあるデータを活用し、説明可能なAIモデルを構築するには、データの信号対雑音比 (SN比)を重要な指標として考慮する必要があります。SN比とは、データ内の有益な情報（信号）と無関係な情報（雑音）の比率を示す指標です。この比率(信号÷雑音)が低い場合は、2つの大きな課題に直面します。1つ目は、信号を適切に検証するために、より多くのデータが必要になることです。2つ目は、データの解釈と検証に人間の深い関与（ヒューマン・イン・ザ・ループ）が必要になることです。低いSN比で構築されたAIモデルでは、説明可能性の面で多くの課題が生じます。
人間の関与は企業で管理できる課題ですが、データセットの制約に関する課題はさらに複雑です。このような状況で企業は通常、自社のビジネスに関連する有用な代替データを探し、SN比の改善を図ります。
Post-hoc手法による説明可能性の実現
Post-hoc手法では、AIの説明可能性について、AIの判断の理由や根拠をツールやモデルを用いて説明できる形にします。
図1: ブラックボックス型AIソリューションから監査可能なプロキシモデルへ
既存の深層学習を基盤とするAIソリューションやブラックボックス型AIソリューションに対して（図1）、その出力を説明するために、監査できるプロキシモデルを構築します。このプロキシモデルは、特徴量エンジニアリング（特定の分野の専門知識を活用し、データの特徴を生成・変換するプロセス）に基づいており、データの特徴の重要度を分析し、ブラックボックス型AIソリューションの判断メカニズムを解明できるものでなければなりません。
実際の適用例として、100件のビジネスケースを処理するシナリオを想定してみましょう。各ケースに対して「はい」または「いいえ」のどちらかで判断をします（図2）。
図2: AIの外部説明可能性
ブラックボックス型AIソリューションの評価
まず、人間の専門家が100件のケースを評価して以下の判断を下しました。
- 「はい」：80件
- 「いいえ」：20件
次に、深層学習を基盤とするブラックボックス型AIソリューションで同じケースを処理したところ、偶然にも同じ比率の結果が得られました。
- 「はい」：80件
- 「いいえ」：20件
しかし、人間の判断との一致度を詳しく分析すると
- AIが「はい」と判断した80件のうち、人間の判断と一致したのは75件
- AIが「いいえ」と判断した20件のうち、人間の判断と一致したのは15件
つまり、人間とAIの判断が一致した数は90件（＝75+15）であり、AIソリューションの精度は90%となります。この90%という高い精度にもかかわらず、このAIソリューションは各ユースケースの個々の「はい」と「いいえ」の判断がどのように導かれたのか説明できないため、企業での実用には大きな制約があります。
Post-hoc手法を適用したAIソリューションの評価
Post-hoc手法を適用した説明可能なAIソリューションでも、同様の比率の結果が得られました。
- 「はい」：80件
- 「いいえ」：20件
Post-hoc手法を適用した説明可能なAIの結果をブラックボックス型AIの結果と比較すると
- 説明可能なAIが「はい」と判断した80件のうち、ブラックボックス型AIの結果と一致したのは75件
- 説明可能なAIが「いいえ」と判断した20件のうち、ブラックボックス型AIの結果と一致したのは15件
Post-hoc手法を適用した説明可能なAIの結果と人間の判断を比較すると
- 説明可能なAIが「はい」と判断した80件のうち、人間の判断と一致したのは70件
- 説明可能なAIが「いいえ」と判断した20件のうち、人間の判断と一致したのは10件
つまり、人間とAIの判断が一致した数は80件（＝70+10）であり、AIソリューションの精度は80%となります。
結果として、Post-hoc手法を適用したAIソリューションは、ブラックボックス型に比べて精度が低くなりましたが（90%→80%）、各判断の根拠を説明できるという大きな利点があります。
このケーススタディは、AIソリューションを評価する際に、単純な精度だけを見て選択するのではなく、説明可能性も選択の基準に加えることが重要であることを示しています。Post-hoc手法による説明可能性の確保は、精度との間にトレードオフの関係を持ちますが、判断の根拠を説明できることは、多くのビジネスの現場で不可欠な要素となります。
ただし、Post-hoc手法による説明の妥当性を評価し、特定のビジネス要件への適用性を判断するためには、依然として人間の専門家による検証が必要です。
Post-hoc手法の妥当性の評価
Post-hoc手法を使うことで、ブラックボックス型AIモデルの解釈性を高めることができます。この手法では、AIモデルの動作の一つひとつを見せることで、特定の決定に至った過程と理由を説明します。
Post-hoc手法による説明は、通常、以下の3つのパターンに分類されます。
- 類似条件での同一判断
同じような入力データに対して同じ決定が下されたケースを示し、今回の決定が妥当であることを説明します。
- 類似条件での異なる判断
同じような入力データでありながら、異なる決定が下されたケースを示します。これは似たような状況でも、他の要因により異なる判断が適切である可能性を示唆します。
- 異なる条件での同一判断
異なる入力データでありながら、同じ決定が下されたケースを示します。これにより、今回の判断がさまざまな状況で適用可能であることを示します。
有効性の評価ポイント
Post-hoc手法が実際に役立つかを判断するには、2つの視点から評価を行う必要があります。視点の1つ目は、AIのそれぞれの判断の正確性と判断根拠の妥当性です。2つ目は、システム全体の信頼性です。具体的には、経営者から現場の担当者まで関係者全員が理解し納得できるか、また、AIの判断結果を自分たちの顧客が活用する場合を仮定して、顧客が規制当局に対してシステムの判断を適切に説明できるかを確認します。
Post-hoc手法の限界
Post-hoc手法には重要な制約があることを理解しておく必要があります。
- AIの判断理由を後から推測するため、完全な説明は難しいことがあります
- 上述1.の理由から、AIの内部で起きていることとは異なる説明になっている可能性があります
- 多数のケースをまとめて説明する際に、十分な説明ができないことがあります
- この手法の良しあしを判断する標準的な方法がまだ確立されていません
ビジネスニーズに適したAIソリューションの選択を
説明可能なAIの実現は、単にAIアルゴリズムを改善すれば達成できるものではありません。また、AIアルゴリズムの選択は重要な要素の1つですが、それだけでは十分ではありません。企業でAIシステムを効果的に活用するためには、3つの要素が必要です。目的に合ったAIの仕組み（意思決定の過程）を選び、データの品質（特にSN比）を確保し、人間が適切にチェックして必要に応じて修正できる体制を整えることです。
そのため、企業は自社のビジネスニーズに合わせて慎重にAIソリューションを選択する必要があります。その際、AIに期待する成果を明確に定義し、その実現状況を確実に追跡できる仕組みを整えて初めて、企業が信頼してAIソリューションの結果を活用できる状態になるのです。
関連情報
お問合せ
お問合せ