サンプリング

サンプリングは、できるだけ少ないデータで、全体を知るための方法です。身近な例では、選挙の結果速報があります。開票が始まってすぐに当選確実の発表があり、いつも驚かされます。

サンプリングは、選挙速報のためのアンケートや、視聴率の調査のように、社会を調査する時の方法として、使われているのが有名かもしれません。こうした方法は、少ない測定の結果から、全体を推測することによって、測定のための時間や費用を節約するために使われます。

今の世の中では、測定から始めなくても、解析したいデータがデータベースの中に入っているものだけで済むこともあります。しかし、測定のためのサンプリングとは異なる理由で、サンプリングの知識は必要です。データベースからのサンプリングがあるためです。

サンプリングには、「どのようにサンプリングするか？」と「どのくらいサンプリングするか？」という２つの観点で決まってきます。

データベースからのサンプリング

筆者の経験の範囲になりますが、データベースのデータを無計画にごそっと持って来て、それを多変量解析やデータマイニングのソフトに放り込んでも、何かの役に立つような結果は、出て来ません。その前に、処理しきれなくて、パソコンが固まることもありますが。。。

データベースからデータを持って来て、データを解析することが一般的になっていますが、サンプリングの目的は下記の４点です。

「データを軽くする」　：　自分のパソコンやソフトが扱える量になっていないと、解析できません。
「解析時間を速くする」　：　「軽くする」とも関係しますが、データ量が増えれば、コンピュータの計算時間も増えます。一刻を争う会議の中でデータ解析が必要になった時に、解析結果が出るのが翌日になってしまうのと、その会議中に解析して結果を出すのとでは、大違いです。
「結果を見やすくする」　：　プロットが多いと、プロットが重なり合ってしまい、グラフの中で重要な部分が見えなくなります。散布図でも折れ線グラフでも、グラフのプロットの数は、１万個程度までを目安にするのが良いようです。たった５点の折れ線グラフでも、衝撃的な結果を示していることもあります。
「手法の当てはまりを良くする」　：　いろいろな要因が混ざっているデータに、統計手法を適用すると、注目しなくて良いようなことに手法がはまりこんでしまうことがあります。

センサーデータ（時系列データの１種）をデータベースからサンプリングする方法については、１次データの作成と解析にまとめました。