次は
システム理論
「 因果推論 」や「 実証分析 」をタイトルにしている一般的な解説では、 「 第3変数の除去 をすれば、因果関係の検証ができたことになる。」、という風に説明されていることが普通です。
一方、いわゆる科学的な研究では、このような検証では、不十分と考える分野の方が多いのではないかと思います。 例えば、 工場の品質問題の調査 なら、因果関係が起きているメカニズムの説明ができなければ、関係者が納得しないことが多いですし、有効な対策を考えることに進みません。
データには偏りがどこかにあり、それはわからない事が普通なので、どんなに素晴らしい分析方法だとしても、データを元にする限り、検証として不十分です。 工場の品質問題の調査 の場合は、データの再現性の確保が難しいので、こういうことがよく起きます。
もしも、メタアナリシスまで進んで、複数のランダム化実験で検証できていたとすれば、例えば、薬の効果があるかどうかは確認できますが、応用ができません。
仮説の検証の検証としては、２つあります。
学術論文には、再現性の問題があるものが、とても多いそうです。 論文に書いてある通りのことが、起きないという問題です。
この問題の原因として、 統計的な仮説検定 の使い方が間違っていることが言われていますが、 それだけではなく、データ自体にそもそも問題がある場合があります。
学術的な論文の場合は、論文に書かれた方法を、他人が実施したとしても同じになれば、再現性の検証まで完了したことになります。 ここで再現することとしては、同じデータを同じ方法で分析するのではなく、 データを測定するところからになります。
データを測定するところは、統計学の範囲ではないので、統計学の本には出て来ませんが、統計学を使った研究では重要な部分です。
因果推論や実証分析と言われる方法でわかるのは、「病気Bが治ったのは、薬Aの効果か？」といったことです。
因果推論や実証分析と言われる方法では、手元にあるデータに対して、こうしたことが検証できます。
「薬Aを飲むと病気Bが治る」ということがデータからは言えるのなら、「薬Aがどのようにして病気Bを治すのか」 というところまで進んだ方が良いです。 因果の基本原理の種類 にあるような話に持ち込みます。 場合によっては、その原理であることを確認するための実験もして、考察の妥当性を確保します。
薬Aが病気Bを治すメカニズムとして、例えば、化学的にあり得ないことが想定されるのなら、 メカニズムが間違っている、データの取り方が特殊だった、等、検証しなければいけないことが、いろいろ出て来ます。
こうした考察をする時には、すでに妥当性が確認できている様々な知識を使います。 これによって、データの不完全性を補完できます。
このページは、「仮説の検証の検証」ですが、「それをさらに検証」という進み方も可能性としては考えられます。
研究としては、こうした進め方が時には必要で、その先に大きな発見があるかもしれません。
一方、ビジネスなどの実務では、扱っていることの重要さに応じて、「仮説ができたら行動」、「仮説の検証ができたら行動」、「仮説の検証の検証ができたら行動」、 という感じで、使い分けるのが現実的と思います。 行動は、検証の方法として一番手っ取り早いです。 ただし、検証が不十分で行動した場合は、失敗の可能性があります。 失敗しても被害が小さければ、早い時期に行動して、被害が大きければ、行動を小出しにしたりする進め方が考えられます。
「瀕死の統計学を救え! 有意性検定から「仮説が正しい確率」へ」 豊田秀樹 著 朝倉書店 2020
論文に書かれている実験を再現できない論文の割合が非常に高いことを、有意性検定の問題点として解説しています。
「「原因と結果」の経済学 データから真実を見抜く思考法」 中室牧子・津川友介 著 ダイヤモンド社 2017
医学ではエビデンスには４つの階層があるとしている。
一番高いのが、メタアナリシスで、複数のランダム化比較実験を統合したもの。次が、ランダム化比較実験。その次が、自然実験と類似実験で、一番低いのが回帰分析。
順路
次は
システム理論
Tweet
