データベースからのサンプリング（１次データの作成）

このページは、センサーデータをデータベースからサンプリングするための話です。このページでは、データベースからサンプリングしてきたデータを「１次データ」と呼びます。

センサーデータとして、例えば、1秒おきの電圧のデータが、10年分あったとします。 10年分ということは、
60秒 × 60分 × 24時間 × 365日 × 10年　＝　315360000
なので、だいたい3億個のデータがあります。

サンプリングのページに書きましたが、グラフでデータを眺める時のデータ数は、1万個（1万行）が目安です。サンプリングは、「この3億個から、どうやって1万個を選び出すか？」という話になります。筆者の経験の範囲になりますが、たいていのデータ解析では、1万個の1次データで用が足ります。

サンプリングの方法

サンプリングの方法として、いくつか例を挙げてみます。その解析の目的によって、適切な方法は違っています。有意選出法のバリエーションが多いです。

おおまかな変化を調べるためのサンプリングは、そのデータの素性をあまり知らなくても、できる事が多いです。短期間や瞬間的な変化の解析では、その現象の知識や、細かな配慮が必要です。例えば、装置の電圧のデータでしたら、その装置の使い方等を、頭に入れておくと、良いサンプリングができます。

3万秒毎のデータを抽出 ： 10年間のおおまかな変化を調べるのに適しています。 3万秒というのは、「3億 ÷ 1万」から求まります。
60秒 × 60分 × 8時間＝　28800秒
なので、だいたい8時間毎に1データを抽出することになります。一番簡単な方法だと思いますが、交代勤務の周期等、8時間の周期に関係するようなことが起きている場合、抽出したデータにその周期が影響して、変な解析をしてしまう可能性があります。
ランダムに１万個抽出 ：これも、10年間のおおまかな変化を調べるのに適しています。周期性の影響を受けないで済みます。しかし、実際にどうやって抽出するのかという問題と、データのムラの問題があります。
１秒毎で、過去１日だけのデータを抽出 ：「昨日起きた装置の異常の、正確な時刻を知りたい。」、というピンポイントの現象を調べる時の方法です。
１分毎のデータを毎年１月１日の時だけ抽出 ：
60分 × 24時間 × 10年　＝　14400
なので、データ数は14400個になります。１分程度の細かな変動の仕方について、10年前からの変化を知りたい時の方法です。