トップページ | ひとつ上のページ | 目次ページ | このサイトについて | ENGLISH

変化点検知

外れ値検知 は、個々のデータについて、異常かどうかを判定します。 変化点検知は、個々のデータではなく、データのグループを見て、変化があれば「異常」として判定します。

異常検知 が単独の分野のようになり、そのひとつとして変化点検知が議論されるようになったのは、21世紀以降のようです。 品質管理の分野では、20世紀半ばから提案されています。

検定による変化点検知

変化点が明確な場合は、 検定 で変化点を検知できます。

下のグラフは、2019年から2025年までの変化を表していますが、2025年の1月から全体的に上がっているように見えます。

上のデータについて、 平均値の差の検定 のp値を計算します。 それぞれの時点について、前後10個ずつのサンプルの検定をします。 時点をずらしていくことで、p値の連続的な変化のグラフを作ります。

2025年1月のタイミングを底として、p値がV字に変化しています。 「2025年の1月から全体的に上がっている」という様子を、明確に示すことができました。

管理図による変化点検知

品質管理には、「管理図」と言う名前のグラフがあります。 管理図は、図の作り方や、データの見方が研究されて来ています。 この中には、変化点検知に活用できるものもあります。

連 は、異常判定ルールのひとつです。

Rs管理図 、 EWMA管理図（指数加重移動平均管理図） 、 CUSUM管理図（累積和管理図） は、管理図の一種です。

管理図による変化点検知の弱点

連とCUSUM管理図は、「普段は正常状態で、異常が起きた時に検知する」という方法として使うことが想定されています。 正常状態が決まっていて、正常状態になるように管理ができている時に適しています。

そのため、安定している時が正常で、変化している時が異常、といった場合には使えません。 「変化後は、変化後の状態を正常状態とする」といった仕組みを、追加で作ると良いです。

Rs管理図とEWMA管理図は、変化を追跡する方法なので、このような弱点がないです。

Rs管理図の威力

Rs管理図は、手順としては、差分を計算するだけなので、極めてシンプルな方法です。 ところが、非定常な時系列データの中にある変化点でも、検知できてしまいます。 非常に有能です。

なお、「差分を計算するだけ」と言うのは、確かにそうなのですが、「 自己相関モデル（ランダムウォークモデル） の残差eを異常度にしている」と言うこともできます。

あいまいな変化点の検知

上の例では、変化点の前後で変化が明確でした。 下のX管理図は、変化点の後で、全体的に高くなっているように見えますが、境界があいまいです。 このような場合に、上の方法を適用してみます。

母平均きの差の検定では、上の例ほど明確ではありませんが、変化点があるらしいことが検出できています。

連は検出されますが、2024年1月以降も、平均値よりも低い場合があるので、検出されにくくなっています。

Rs管理図は、何も検出できていません。

CUSUM管理図とEWMA管理図では、2024年1月頃から変化が起きているらしいことがわかります。

ChangeFinder

ChangeFinderは、変化点検知の方法として、専門書で解説されています。

複数のアイディアを組み合わせていますが、概ね以下のようなものです。 学習が２段階あります。

• まず、単独のサンプルについて、異常度を計算する。 異常は、予測値と実測値の差から求める。これは、外れ値検知と同じ手順。
• しかし、このままでは、単独で異常なのか、変化点によって近傍も含めてグループで異常なのかが区別できない。
• そこで、異常度を平滑化する。 平滑化したデータについて、再度、予測値と実測値の差から異常度を測る。
• 逐次学習 と計算量の低減を目的として、SDARモデルを使うのが改良案。 ARモデルの係数の推定に、平均と共分散の 逐次学習 を使う。この逐次学習は、 指数平滑法 にして、古い情報を使わないようにする。

変化点検知は、母数の変化の検知

筆者は、変化点検知ついて、「個々のデータの背後にある、母数の変化を判定する方法」と考えています。

そのため、母数の違いを見ようとする方法で、うまく検知できます。 また、「母数」と感がると、平均値だけではなく、分散（標準偏差）の変化点検知にも応用できます。

参考文献によると、ChangeFinderは、変化点を境にして明確に分かれていないと、変化点を検出できないようです。 ChangeFinderは、外れ値検知からの流れで、変化点検知をしようとするのが理由ではないかと考えています。

参考文献

「異常検知と変化検知」 井手剛、杉山将　著　講談社　2015
変化検知の古典技術として、累積和法を紹介しています。
部分空間法といって、区間を区切って、その区間の特徴を表す量の変化を見る方法を紹介しています。

「データマイニングによる異常検知」 山西健司　著　共立出版　2009
変化点検知は、統計的検定によるアプローチを最初に説明していますが、計算量をネックとしています。 この本は、著者が開発したChangeFinderを紹介しています。

「時系列解析　自己回帰型モデル・状態空間モデル・異常検知」 島田直希　著　共立出版　2019
変化点検知は、「系列データにおける生成パラメタの急激な変化の識別」としています。 ChangeFinderと、Bayesian Online Change Point Detectionを紹介しています。

「異常検知からリスク管理へ」 　山西健司　他　著　サイエンス社　2022
変化点検知は、検定によるアプローチ、ChangeFinderと、Bayesian Online Change Point Detection、情報量の変化を見る方法を紹介しています。

「製造現場の突発的な変動の影響を受けたデータにおける異常検知の改善」 杉原哲朗　著　OMRON TECHNICS 2023
https://www.omron.com/jp/ja/technology/omrontechnics/2023/OMT_Vol56_002JP.pdf
タイトルにある「製造現場の突発的な変動」というのは、変化点のことです。 この論文は、変化点がある時系列データの、 外れ値検知 の方法を提案しています。
変化点の検出に連を使っています。
また、変化点が検出されると、連を判定するための基準を新しいものに更新するアルゴリズムを提案しています。

順路 次は 異常の判定（現在の異常検知）

杉原データサイエンス事務所によるコンサルティングとセミナー