金融異常検知プロジェクト関連

hiroshinagaya / SurveyPapers

自分の研究に関連ありそう，または面白そうだと感じた論文を読んでいく．

2 stars 0 forks source link

金融異常検知プロジェクト関連 #6

Open hiroshinagaya opened 5 years ago

hiroshinagaya commented 5 years ago

説明性・解釈性が高く，その後のアクションに役立つ金融市場の異常検知アルゴリズムの構築を目指す．データの連携・それに合わせたアルゴリズムの設計といったことにも着目する．

個人的keywords

Multivariate Time Series
density ratio estimation
~ Gaussian Process ~
Causal Discovery
Bayesian Network
Granger Causality
Transfer Entropy
Sparse Modeling

hiroshinagaya commented 5 years ago

Nan Ding, 'RADM:Real-time Anomaly Detection in Multivariate Time Series Based on Bayesian Network', IEEE International Conference on Smart Internet of Things, 2018

1. どんなもの？

多変量時系列（MTS）における異常検出を目的として、 Hierarchical Temporal Memory（HTM）とベイジアンネットワーク（BN）に基づくMTSにおけるリアルタイム異常検出アルゴリズムを提案

2. 先行研究と比べてどこがすごいの？

MTSの特定の関連性を利用して、システムの異常についてより効果的な判断を下すことが可能
HTMアルゴリズムとBNを組み合わせることで、次元を縮小することなく異常検出を効果的に実行

3. 技術や手法の"キモ"はどこにある？

HTMモデル（NNmodelの一種）を使用してMTSの各単変量時系列（UTS）のリアルタイム異常を評価
Naive Bayesianに基づく異常状態検出のモデルを，MTSにおける妥当性を分析するように設計

4. どうやって有効だと検証した？

Cloud Platformにおける端末ノードのシステム状態のリアルタイム監視事例を考慮して、データサンプルとしてCPU利用率、ネットワーク速度とメモリ占有率の三時系列を利用し、実験シミュレーションを通して検証

5. 議論はあるか？

6. 次に読むべき論文はあるか？

An Anomaly Detection Technique for Business Processes based on Extended Dynamic Bayesian Networks

hiroshinagaya commented 5 years ago

Stephen Pauwels, "An Anomaly Detection Technique for Business Processes based on Extended Dynamic Bayesian Networks", ACM, 2019

1. どんなもの？

動的ベイジアンネット（状態変数を導入したBN）による，BPログの大きなデータベース内で異常なシーケンスを検知するモデルの提案

2. 先行研究と比べてどこがすごいの？

データと属性に関する事前の知識が不要なこと
動的ベイジアンネットワークを拡張したモデルを開発したところ

3. 技術や手法の"キモ"はどこにある？

異常の根本的な原因を示すことができるところがすごい（今回の研究テーマと同じ目的意識）！

4. どうやって有効だと検証した？

https://github.com/StephenPauwels/edbn

5. 議論はあるか？

Inductive Logic Programmingによるモデルの拡張
時間的要素の組み込み

6. 次に読むべき論文はあるか？

Roel Bertens. 2017. Insight Information: from Abstract to Anomaly. Universiteit Utrecht
Varun Chandola, Arindam Banerjee, and Vipin Kumar. 2012. Anomaly detection for discrete sequences: A survey. IEEE TKDE 24, 5 (2012), 823–839
Wil MP Van der Aalst and Ana Karla A de Medeiros. 2005. Process mining anNong Ye et al. 2000. A markov chain model of temporal behavior for anomaly detection. In Procs of the 2000 IEEE Systems, Man, and Cybernetics Information Assurance and Security Workshop, Vol. 166. West Point, NY, 169.

7.その他

DBN/MDL/DITTO とラッセル，，，古いモデルだと，ネットワークの構造自体は変わらず，パラメータも変わらなかった．（1997）各時点においてNNがあって，，各時点におけるx→xある確率で継承・マルコフモデルとの組みわせ

hiroshinagaya commented 5 years ago

Jongsun Lee, "Detecting System Anomalies in Multivariate Time Series with Information Transfer and Random Walk", IEEE/ACM 5th International Conference on Big Data Computing Applications and Technologies (BDCAT), 2018

1. どんなもの？

多変量時系列を使用した異常検知（金融で実験）
多変量時系列からtransfer networkとinfluence networkを生成することで、重大な異常を検出できる方法を提案
各時系列の特性だけでなく，時系列全体のダイナミクスの状態も考慮

2. 先行研究と比べてどこがすごいの？

3. 技術や手法の"キモ"はどこにある？

transfer network...各頂点が単一の時系列を表し，各エッジは（2つの時系列間の情報伝達を直感的に記述するために，）伝達エントロピーによって時系列の各ペア間の情報の流れの強さを示している．
伝達エントロピーの計算は単純明快で，さまざまな分野での因果関係の方向を推定するために広く使われている．
influence network...ランダムウォークアプローチを利用して2つの頂点間の類似性スコアを計算し，直接および間接の両方の影響を反映．

4. どうやって有効だと検証した？

実データと合成データを用いた実験

5. 議論はあるか？

統計的手法によるパラメータ設定
異常として正常な周期的変動を検出することを回避するために、周期的システム変化におけるドメイン知識が必要
最大エントロピー以外の正規化手法の提案

6. 次に読むべき論文はあるか？

S. Ranshous, S. Shen, D. Koutra, S. Harenberg, C. Faloutsos, N.F. Samatova, "Anomaly detection in dynamic networks: a survey", Wiley Interdisciplinary Reviews: Computational Statistics, vol. 7, no. 3, pp. 223-247, 2015.
H. Qiu, Y. Liu, N.A. Subrahmanya, W. Li, "Granger causality for time-series anomaly detection", Data Mining (ICDM) 2012 IEEE 12th International Conference on, pp. 1074-1079, 2012.
A. Arnold, Y. Liu, N. Abe, "Temporal causal modeling with graphical granger methods", Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 66-75, 2007.
P. Spirtes, C.N. Glymour, R. Scheines, Causation prediction and search, MIT press, 2000.
T. Schreiber, "Measuring information transfer", Physical review letters, vol. 85, no. 2, pp. 461, 2000.

7.その他

多変量時系列の分析アプローチの1つは，多変量時系列間の相互作用を発見すること．相関，因果関係，相互情報などのいくつかの尺度を利用し，2つの時系列間の関係の強さを示す．

hiroshinagaya commented 5 years ago

【feedback】

一つのアルゴリズム→全てが決まっている場合
そうじゃなくて，ハイブリット的に，各段階に応じて，問題定義をしっかりと手当たり次第に適応していくことも
数式の出てくる論文→実験に落とす
山西さんの論文

hiroshinagaya commented 5 years ago

YulaiZhang, "Causal direction inference for network alarm analysis", Control Engineering Practice, 2018

1. どんなもの？

ネットワークアラートのための因果方向推論法の開発

2. 先行研究と比べてどこがすごいの？

2組の相関アラーム間で正しい因果関係の方向を見つけているところ

3. 技術や手法の"キモ"はどこにある？

観測値の分布を近似するために一般化ガウス分布（GGD）を使用
因果方向を決定するためにGGDの単位エントロピーを抽出

4. どうやって有効だと検証した？

数学的証明
実データを用いたシミュレーション

5. 議論はあるか？

非ガウス性を使った因果推論のタスクは，n次元データ空間から1次元因果軸（causal axis）へのマッピングを構築するタスクと等価．この自然な拡張として，このマッピングによって複数の変数の因果関係の順序付けを取得することが挙げられる．
正しい因果的順序付けは、ベイジアンネットワークなどのグラフィックモデルにおける構造学習の計算量を大幅に減らすことができることである．

6. 次に読むべき論文はあるか？

Comparative analysis of Granger causality and transfer entropy to present a decision flow for the application of oscillation diagnosis
Introductionで紹介されている過去事例が，すごく参考になりそう

7.その他

In Granger causality, if one variable helps to increase the prediction accuracy of another variable, the first one can be taken as the cause of the second one. (But generally speaking, the ability to reduce the prediction errors can be effected on both directions. )
UECI/LiNGAM(2006),ＡＮＭガウス(2016), IGCI(2012)

hiroshinagaya commented 5 years ago

BrianLindner, "Comparative analysis of Granger causality and transfer entropy to present a decision flow for the application of oscillation diagnosis", Journal of Process Control, 2019

1. どんなもの？

伝達エントロピーとグレンジャー因果関係の因果分析性能をシミュレーションと工業事例研究で比較
産業界の専門家の技術の選択と応用を支援するように、decision flowが開発されている

2. 先行研究と比べてどこがすごいの？

伝達エントロピーとグレンジャー因果，2つのアプローチの長所&短所について詳しく比較されている点
伝達エントロピーは，より一般的で視覚的に解釈可能．データ選択に対してロバストであり、線形関係と非線形関係の両方に適している．パラメータの選択に敏感であり、実行するのが難しく、そして計算上の負担が大きい．
グレンジャー因果関係は実装・自動化が容易で，、データ選択に対して頑強で，計算コストがはるかに少なく，値の意味解釈性に優れる．また，応用技術がよく開発されている．ただし、線形関係にのみ適している変数間にあり、モデルの指定ミスをしがち．

3. 技術や手法の"キモ"はどこにある？

4. どうやって有効だと検証した？

精度、精度、自動化可能性および解釈可能性の尺度を評価
ケーススタディによるdecision flowの評価

5. 議論はあるか？

グラフ解釈の自動化．
転送エントロピーの計算上の負担を軽減させるべき．

6. 次に読むべき論文はあるか？

H.-S. Chen, Z. Yan, Y. Yao, T.-B. Huang, Y.-S. Wong Systematic procedure for Granger-causality-based root cause diagnosis of chemical process faults Ind. Eng. Chem. Res., 57 (29) (2018), pp. 9500-9512

hiroshinagaya commented 5 years ago

Iris Weiß, "Alarm Flood Analysis by Hierarchical Clustering of the Probabilistic Dependency between Alarms", Journal of Process Control, 2019

1. どんなもの？

警報パターンの今後の警報を既知の根本原因に関連付けることによって，原因依存警報パターンの発見に焦点を当てた研究

2. 先行研究と比べてどこがすごいの？

一般的なアラームフラッド解析では，ランダムに発生するアラームや干渉するアラームパターンに対するロバスト性が欠けてしまっており，既知のシーケンス構造が乱されてしまう問題があるが，この論文ではそれを解決している．
ベイジアンネットとか階層クラスタリングとか使った検知システム提案されてるが，やっぱり前処理大切

3. 技術や手法の"キモ"はどこにある？

警報間の統計的依存性に基づいた警報データの前処理ステップを導入
これらの依存関係に基づいて、二次元グラフレイアウトを開発
階層的クラスタリングにより、依存度の高いアラームのアラームクラスタを得る

4. どうやって有効だと検証した？

実データの分析
単一クラスタの分析で，この方法がランダムに発生する警報の中断および２つの異なる原因依存警報シーケンスの重複に対してロバストであることを示した．

5. 議論はあるか？

例えばSemi Markov Chainを介したさまざまな警報クラスタの詳細な分析が必要 → アラームパターンの検出だけでなく、アラーム発生の予測にもつながるかも
アラームパターン分析にはさらに情報を含める必要がある（たとえば、エンジニアリング文書を処理して原因と非原因のアラームを区別したり、プロセスパラメータを分析してアラーム分析と状態監視を相互接続したり）

6. 次に読むべき論文はあるか？

J. Kinghorst, H. Bloch, A. Fay, B. Vogel-Heuser, "Integration of additional information sources for improved alarm flood detection", in 2017 IEEE 21st International Conference on Intelligent Engineering Systems (INES), pp. 19-26, 2017.
B. Vogel-Heuser, D. Schütz, J. Folmer, "Criteria-based alarm flood pattern recognition using historical data from automated production systems (aPS)", Mechatronics, vol. 31, pp. 89-100, 2015.

hiroshinagaya commented 5 years ago

概観：ガウス過程回帰による異常検知

井出剛，杉山将，『異常検知と変化検知』，pp.91-107，MLPシリーズ，2015．より

導入

入力と出力の対が観測できる系に関する異常検知技術．入力と出力の関係を応答局面（回帰曲線）という形でモデル化し，そこからのズレという形で異常を理解する（応答異常検知問題とも呼ばれる）．実用上，この関係は非線形になることが多く，ここでは工学的に応用範囲の広く汎用的なガウス過程回帰モデルによる手法を考える．

ガウス過程回帰モデル

平面や2次曲面といった特定の関数を過程せずに確率モデルの形で構築するモデル．ガウス過程回帰モデルは次の2要素からなる．

観測時のノイズを表す確率モデル（観測モデル） $p(y|\boldsymbol{x}, D, \sigma ^{2}) =\int^{\infty}_{-\infty}df N(y|f(\boldsymbol{x}), \sigma ^{2})p(f(\boldsymbol{x})|D)$
応答平面の滑らかさを表現する事前分布

このモデルは本質的にはf(x)の関数としてのばらつきをモデル化したものと捉えることが可能．ガウス過程回帰の最終的な目標は，観測時の分散σ2とデータDが与えられた時に予測分布p(y|x,D,σ2)を求めること．

検知アルゴリズム

S__59015170

異常度の定義

$a({y}',\boldsymbol{x}')=-\mathrm{ln}p(y'|\boldsymbol{x}',D,\sigma^{2}) =\frac{1}{2}\mathrm{ln}(2\pi \sigma_y^{2}(\boldsymbol{x}')) +\frac{1}{2\sigma_y^{2}(\boldsymbol{x})}(y'-\mu_y (\boldsymbol{x}'))^2$

第二項がマハラノビスの距離に対応しており，予測分布の期待値と分散が入力x'に依存する（これがポデリングのT^2法との違い）．期待値がx'に依存しているということはyとxの間の非線形な関数関係に追随できることを意味し，分散については，例えば，xがある領域に入れば安定するがその外では不安定になる，というような状況に対応する．予測分散の大きい箇所では第二項の値が小さくなるが，それを第一項で補うことで全体的に合理的な異常値の算出を可能にしている

hiroshinagaya commented 5 years ago

Liu, Song, Suzuki, Taiji, and Sugiyama, Masashi. Supportconsistency of direct sparse-change learning in markov networks. In Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, 2015.