次は
AutoML（自動機械学習）
ディープラーニング や サポートベクターマシン は、複雑なデータでも、推論の精度が非常に高いことで、活用が進みました。 一方で、推論の根拠についてはわからず、ブラックボックスな方法でもありました。
そのため、「変な判定をしていないか？」といったことのチェックができず、安易に活用できない方法になる一面がありました。
説明可能性や解釈可能性とは、そのような不安を解消したり、起こっている現象について考察するための方法として、研究が進んでいます。 このようなことができるAIは、「XAI（Explainable AI：説明可能なAI）」と呼ばれています。
重回帰分析 などでは、用意した全部の変数を使って、モデルを構築するのではなく、 変数の選択 をして、有効な変数だけでモデルを構築する考え方が昔からあります。
また、 決定木 は、データの領域を分けながら、変数を順番に選ぶというアルゴリズムになっています。
これらの方法に共通しているのは、 変数の重要度の分析 ができる点です。 説明可能性の高いAIとして、これらの方法を採用するのは、ひとつのアプローチになります。
重回帰分析では、標準偏回帰係数が変数の重要度を評価するための指標になります。 決定木では、木を成長させる時に使っている指標が、変数の重要度を評価するための指標になります。
ディープラーニング や サポートベクターマシン では、重回帰分析や決定木のような指標が整備されていません。
もともと説明可能性が低い方法で、説明可能性の指標としては、PFI、PD、ICE、SHAP等が考案されています。
XAIは、 因果推論 が可能なAIのようにも見えます。 ある意味でこの考え方は、合っているものの、多くの場合は、合っていないです。
AIの判定で「異常」となった場合に、どこがどのように異常なのかが示されると、その後の展開が楽になります。
これは、XAIが因果推論で役に立つ場合です。
変数や 特徴量 といったものが表しているものは、あくまでデータです。
現実と統計モデルとのギャップ にありますが、モデルの上では何か説明できても、現実がどうなのかは、別の場合があります。
とはいえ、 定量的な仮説の探索 の方法として、現実がどうなのかを考えるためのヒントとしては、XAIは有望なアプローチです。 個々のサンプルの因果推論 に使えます。
「機械学習を解釈する技術 予測力と説明力を両立する実践テクニック」 森下光之助 著 技術評論社 2021
４つの手法を中心にして、Pythonの実装例と一緒に解説しています。
なお、この本で「特徴量、インスタンス」という機械学習の用語なのですが、以下では「変数、サンプル」という統計用語で書いています。
PFI(Permutation Feature Importance)：注目する変数について、その変数の値をランダムに入れ替える。入れ替える前のデータでモデルを作り、入れ替えた後のデータを入力して、精度の変化を見る。
予測精度の変化が大きいほど、重要な変数として計算される。
GPFI(Grouped PFI)：PFIは、変数をひとつずつ操作するが、GPFIでは、変数のグループにランダム化をする。
PD(Partial Dependence)：変数の重要度を評価する方法。使い方は、標準偏回帰係数と似ていて、ある変数が変化した時に、予測値がプラスマイナスのどちらの方向に変化するのかがわかる。PFIとの違いは、個々のサンプルについて、値を増減させるプロセスが入る点。その平均がアウトプットになる。
ICE(Individual Conditional Expectation)：個々のサンプルの予測値について、変化の仕方を調べる方法
SHAP(SHapley Additive exPlanations)：個々のサンプルの予測値について、すべての変数の組合せから、それぞれの変数の重要度を評価する方法。
この計算をすべてのサンプルに対して実行してから、平均値を取ったり、散布図で集計すると、モデル全体に対して各変数の重要度を評価する方法として使うこともできる。
この本の方法は、因果推論に単純に使えるものではないことについて、少し触れています。
「XAI<説明可能なAI> そのとき人工知能はどう考えたのか? 」 大坪直樹 他 著 リッツテレコム 2021
XAIを平易に図解で解説しています。
LIMEとSHAPの説明が多めです。
局所説明は、AIが出した結論の妥当性の検証や、AIの学習が適切だったのかの検証に使える。
大局説明は、精度の変化の評価や、敵対性攻撃の評価に使える。
「データ分析の進め方及びAI・機械学習導入の指南 データ収集・前処理・分析・評価結果の実務レベル対応」 荻原大陸 他 著 情報機構 2020
様々なことが書かれている事典のような本です。
説明可能なAIについては、３か所で説明がありました。
第４章 第２節 ：AIの内部モデルを説明するために（説明可能なAI）： DAPPA（米国国防高等研究計画局）によるXAIの研究プロジェクトの紹介
第４章 第４節 ３ ：機械学習モデルの解釈性について ： 入力値と出力値の関係性が理解できないことがブラックボックス性。その逆がホワイトボックス性。
ブラックボックス性が高いのが、ディープラーニングやサポートベクターマシン。ホワイトボックス性が高いのが、ロジスティック回帰分析や回帰分析。
ブラックボックス性が高いと予測精度が高く、ホワイトボックス性が高いと予測精度が低くなる。
例外がCART（決定木の一種）で、ホワイトボックス性が高く、予測精度も高い。
第５章 第４節 第３項：機械学習の解釈性を活用したマテリアルズ・インフォマティクス ： この章での説明では、
決定木は、ホワイトボックス性が高いが、予測精度が低い手法として説明されている。
ホワイトボックス性と、予測精度の高さを両立している手法の例は、FAB/HMEs。
この項では、FAB/HMEsを使った材料開発を解説
「マテリアルズ・インフォマティクス 材料開発のための機械学習超入門」 岩崎悠真 著 日刊工業新聞社 2019
物性値をYとして、物質の構造を表す多変量をXとした時の、分析方法の本になっています。
Interpretable ML（FAB/HMEs）という、
モデル木
の一種が紹介されています。
「AIの心理学 アルゴリズミックバイアスとの闘い方を通して学ぶビジネスパーソンとエンジニアのための機械学習入門」 Tobias Baer 著 オライリー・ジャパン 2021
バイアスの種類を最初に示してから、AIの中にあるバイアスについて、開発プロセスのそれぞれの段階別に、アルゴリズムやデータと言った物の視点と、
開発者側の視点で説明しています。
アクション志向バイアス：素早い判断をする時に起こるバイアス
安定性バイアス：現状維持や、損失回避
パターン認識にまつわるバイアス：自分の仮説に合う証拠を探したり、自分のルールを当てはめたがる
インタレストバイアス：特定の個人の利益が、全体の利益のように思ってしまう
ソーシャルバイアス：社会における自分の安全を保とうとする
順路
次は
AutoML（自動機械学習）
