データ探索からのデータの利活用

「データは大量にある。これは宝の山かもしれない。」ということで、データの利活用が始まることがあります。

長所

すでにデータがあるということなら、とりあえずの材料はあるということなので、スタートはしやすいです。

「たくさんのデータ」という認識が、誤解や過度な期待につながることが多いようです。どんなにたくさんのデータがあっても、何の役にも立たない事はあります。

データ分析の手法を当てはめて見えて来ることは、その業務でよく起きていることです。

たいていの場合、普段その業務をしている人にとっては、当たり前のことを、グラフや数式が示しているだけのことは、よくあります。

「たくさんのデータ」と言われるものは、何かの理由があって集められているのが普通です。そのため、すでにどこかで利活用がされているのですが、「利活用しよう！」と提案をした方や、自分が知らないことは、よくあります。

こんな時は、「そもそも、そのデータは何のためのもの？」というところからスタートして、データの意味の理解が深まると、新しい使い道のアイディアにつながることがあります。また、そのデータが集められている理由と、実際のデータの関係を見直すことで、もともとの利活用が改善できることもあります。

例えば、９か月分のデータがあったとします。３か月に１回起こる現象なので、その中には、注目したい現象が３回分含まれていたとします。

そのデータが１時間間隔で記録されていたすると、１日に24個あるので、９か月分となれば、24×9×30 = 6480で、それなりの量のデータになります。

扱う現象によっては、「現象発生の時と、発生していない時」という分け方をして分析できることもあります。こういう時は、発生した時が３個で、発生していない時は6000個以上あるデータの分析になります。

しかし、発生までの変化の仕方に意味がある時は、変化の仕方は３回分なので、「データは３個しかない」という状況と言えます。

irisのような、データ分析のサンプルデータでは、データが10行あれば、「n = 10」として扱って問題はないです。ところが、例えば、センサーデータでは、行数とｎ数は一致しないことがあります。データの数と、データが表す現象の数が違っています。

この場合は、３回分について、統計学ではなく、その現象自体を科学的に分析するデータとしてアプローチしたり、もっとたくさん集めて、５回、10回分と増やしていくアプローチがあります。