効果確認のデータ分析

効果確認の段階は、対策立案と実施の結果がわかるので、期待と不安が入り混じります。

ただ、分析の仕方によっては、不適切な効果確認になることがあります。そのような例と、適切な分析方法をまとめてみました。

「１点データ同士の比較は良くないことが多い。」という下記の説明は、「当たり前」という風に見えるかもしれません。

しかし、企業の決算のデータ分析は、「前年度との比較」、「前年同期比」というようにして、１点データ同士の比較がされることが一般的です。企業が定期的に出す決算報告は、このような分析結果が示されます。

そして、この分析結果に対して、「良い・悪い」という評価がされたり、対策が実施されます。

効果確認の悪い例（１点データ同士の比較）

Effect check
上の２つのグラフは、データが同じです、違いはグラフの種類だけです。いずれも対策の前（Before）と後(After）の２つのデータを並べているグラフです。

こういったグラフを示して、「効果がありました」という報告がされる場合が、よくあります。しかし、特別な事情がない限り、「これらのグラフでは、判断できない。」というのが、適切な解釈です。

その理由ですが、上図は、例えば、下図のようなケースの一部を見ている可能性があるためです。詳しくは、下記になりますが、このようなデータだとすれば、「効果がない」となります。そのため、１点データ同士の比較をしている上図では、判断ができません。
Effect check

Effect check
このグラフは、冒頭のグラフとデータは同じですが、グラフの縦軸の範囲が違います。グラフの範囲が違うと、すごく上昇したように見えます。「対策の効果があった」と誤解しやすいグラフになっています。

「効果があって欲しい」や「『効果があった！』と報告したい」という気持ちが先になって、こういったグラフを作ってしまうこともあります。また、そのような気持ちがなかったとしても、グラフの範囲は、ソフトが自動調整する場合もあるので注意が必要です。

Effect check
１点同士の比較だとしても、値が桁違いな場合など、対策の前後で極端に違う場合は、「効果あり」と言って問題ないこともあります。

対策の前後について、複数のデータを用意すると、効果の判断が明確になります。

Effect check
複数のデータが、上図のようになった場合、「効果なし」と言えます。

Effect check
統計の知識があると、平均値の差の検定をして、「P値が十分に小さいので、効果あり」という結論を出したくなりますが、データの数が多い場合、このような判断はできません。

平均値の差の検定では、このグラフのようなデータに対して効果確認ができない理由は、平均値の差の検定のページにあります。

Effect check
複数のデータを集めて、上図のような違いがあれば、「効果あり」と言えるようになります。

上記では、対策の前後でそれぞれに対して、複数のデータを用意しています。しかし、対策後すぐに効果を確認したい場合、データがひとつしかないこともあります。

時系列の情報があると、対策後は、データがひとつしかなくても判断ができるようになります。

Effect check
上図のような場合、対策後の2023年は、対策前の2022年よりも上昇していますが、 2022年よりも以前から、上昇が続いていて、その延長で2023年の値が決まっているように見えます。

このような場合、「対策の効果で値が上昇した」とは言えないです。

Effect check
上図のような場合、対策後は、対策前の変化からは考えられないくらいの高さになっています。

このような場合は、「対策の効果あり」となります。