トップページ | ひとつ上のページ | 目次ページ | このサイトについて | ENGLISH

データサイエンス教室

センサーデータの解析

温度センサー、明るさセンサー、等で収集したデータを、センサーデータと言います。

特に、このページで扱う「センサーデータ」は、 定点観測にして、1秒毎や1分毎のような周期で測定を続けたデータです。 環境学 の分野では、人がなかなか入れないような場所を常時監視したり、 品質学 の分野では、工場の管理に使われています。 ビルの省エネで使われている電力モニターのデータも、センサーデータです。

センサーデータの解析は、 時系列解析 の代表的なものです。

ビッグデータ

30日は、43220分(30日×24時間×60分)なので、1分毎のデータの30日分は、43220行になります。 例えば、65536行が扱える行数の最大になっているソフトの場合でしたら、2ヶ月分は扱えないことになります。 1分毎のデータでこんな状況なので、「瞬間的な変化を見るために、秒単位のデータを見たい。」、となってくると、さらに厳しくなります。

また、センサーデータの解析では、たくさんのセンサーの関連性に注目したい時があるので、 上記の行数のデータがセンサーの数の分だけ増えていきます。

「ビッグデータ」が世の中で脚光を浴びていますが、 センサーデータもビッグなデータです。

だんごタイプと流れタイプ

因果推論 に使うセンサーデータの種類には、だんごタイプと流れタイプがあります。
センサーデータ

だんごタイプは、パン作りでいえば、オーブンからパンを出し入れして焼く場合の、オーブンの温度のデータです。 工場では、バッチ式と言われる生産方法です。 工場に限らず、イベントが繰り返している現象のデータが当てはまります。

流れタイプは、トンネル式のオーブンで、オーブンを通過しながら焼く場合のオーブンの温度です。 工場では、連続式と言われる生産方法です。

気象データとイベントの関係を分析するような場合も、流れタイプになります。

センサーデータの解析

センサーデータは、複雑な関係を持ちながら変化する動的なデータです。 そのため、 データベース から無計画にごそっと持ってきて 多変量解析データマイニング の手法を適用した程度では、知りたい情報が得られることはまれです。

折れ線グラフ

筆者の経験の範囲ですが、センサーデータの解析では、 データリテラシー や、 測定 の知識を駆使してデータを加工し、それから普通の 折れ線グラフ で、データを見ることが多いです。 ローテクですが、何が起きているのかがわからないデータを解析する時には、一番頼りになる方法です。

センサーデータは、下記のように1次データ、2次データ、3次データの形にしながら解析していきますが、 どの形のデータでも、まずは、折れ線グラフでデータの様子を見ます。

センサーデータの解析の手順

センサーデータを解析する時は、 データベースから持って来る段階で工夫したり、 持って来たものをさらに加工してから解析します。

下記は、3次データの話までありますが、 だんごタイプから説明しています。 だんごタイプの扱い方を知ってからの方が、流れタイプの扱い方がわかりやすいです。 流れタイプの方がちょっと難しいですが、1次から3次までのデータの考え方の、基本的なところは同じです。




データサイエンスの広大な未開拓地

微分データと積分データ

データフィジクス(データ物理学)

参考文献

センサーデータの扱い方

Pythonによる機械学習入門」 システム計画研究所 編 オーム社 2016
機械学習 をPythonでするための本ですが、手形状の判別とセンサーデータの回帰分析の、2つの実施例が、詳しく書かれています。
時刻は、一対多で紐付けた方が良い事が書かれています。


産業応用部門大会 講演論文集 2011年度 産業システムシンポジウム」 計測自動制御学会 2011
ソフトセンサー 関係の資料もあるのですが、 (株)山武の杉浦輝伸氏の「品質向上に向けたデータ活用」は、 品質管理にセンサーを活用する事の意義や、そのためのデータ解析を紹介しています。
「トレース管理」と呼んで、センサーデータを、ロットやバッチ毎でまとめておくことを提案しています。 これをしておくと、バッチ毎の重ね書きのグラフを解析できるようになります。 また、バッチ毎の代表値を計算できるようになります。 代表値がわかると、検査データと紐付けできるようになります。
KPIの発掘手法として、 相関分析クラスター分析主成分分析重回帰分析 、PLSを紹介しています。 KPIになる代表値が見つかると、 SPC(統計的工程管理) につなげられます。
このページの 1.5次データの解析2次データの解析3次データの解析 と、内容の一部が近いです。


製造データ収集 :解析による製品品質向上のアプローチ」 黒澤敬、山縣謙一、村上栄治 著 電気学会研究会資料 電気学会 2011
データをバッチ単位で集計できるようにしておき、そのデータの見るべきポイントを、関数などを使って、切り出せるようにしておく。 そうして切り出した値を、KPIにして、SPC(統計的工程管理)管理図 による監視)に使う方法を紹介。




順路 次は データベースからのサンプリング(1次データの作成)

Tweet