異常検知についてまとめてみた.

1. 入門 異常検知
ーこれを読めば異常検知がわかるー
筑波大学 社会工学類4年
廣田菜月

2. 異常検知の基本的なことについてお話します！
1

3. 内容
2
• 異常ってなに？
• 異常が検知できたら何が嬉しい？
• どうやって異常を検知するの？
データの確率分布の学習方法と異常の定義
• 異常検知の流れ〜ホテリング𝑻 𝟐
法〜

4. そもそも異常って何？
3

5. 4
異常とは？
「仲間から値が外れている」タイプの異常
外れ値 ”時系列的な”外れ値
<井手剛,杉山将.”時系列データのさまざまな異常の例”異常検知と変化検知.講談社,2016,P3>

6. 5
異常とは？
「観測値のふるまいが変化した」タイプの異常
変化点 変化点or外れ値
<井手剛,杉山将.”時系列データのさまざまな異常の例”異常検知と変化検知.講談社,2016,P3>

7. 異常が検知できたら何が嬉しい？
6

8. 7
これが嬉しい！
製造の現場
製品の欠陥を捉える ー＞ 早急な対処が可能に.
ビジネスの現場
売上の変化を捉える ー＞ いち早く次の一手を打てる.

9. 8
実際の応用例
• ネットワークへの侵入検知
• クレジットカードの不正使用の検知
• 疾病の流行の検知
• 流行トピックの検出
とにかく色々な分野で使われている.
知って損はない！

10. どうやって異常を検知するの？
9

11. 10
異常検知における２つの問題
1. データの確率分布をどう学習するか.
2. 異常の度合いをどう定義するか.

12. 問題1 データの確率分布をどう学習する？
11

13. 12
データの性質に応じた学習手法がある
• 標本は正規分布に従う？従わない？
ー＞ホテリング𝑇2
法、ガウス過程回帰
• 多変数あるときはどうすれば良い？
ー＞単純ベイズ法
• 外れ値？変化点？
ー＞近傍法、部分空間法
とにかく手法はさまざま

14. 13
重要なポイント
これらを考慮して手法を決定すべし！
• データの性質は？
• ラベルあり？なし？
• どんな異常を検出したい？

15. 問題2 異常の度合いをどう定義する？
14

16. 15
ラベルつきデータにおけるネイマン・ピアソン決定則
𝒟 = { 𝑥 1 , 𝑦 1 , { 𝑥 2 , 𝑦 2 , ‥‥, 𝑥 𝑁 , 𝑦 𝑁 }
𝑀次元ベクトル𝓍と異常かどうかを示すラベル𝑦（異常なら𝑦 = 1）について
𝑁個の標本を含む訓練データが与えられたとする
ネイマン・ピアソン決定則
ln
𝑝(𝑥′|𝑦=1,𝒟)
𝑝(𝑥′|𝑦=0,𝒟)
が所定の閾値を超えたらy=1と判定
𝒑(𝒙′
|𝒚 = 𝟎, 𝓓)
𝒑(𝒙′
|𝒚 = 𝟏, 𝓓)
異常時の分布
正常時の分布
𝓍’

17. 16
ラベルなしデータにおけるシャノン情報量
𝒟 = {𝑥 1
, 𝑥 2
, ‥‥, 𝑥(𝑁)
}
𝑀次元ベクトル𝓍について
𝑁個の標本を含む訓練データが与えられたとする
シャノン情報量
異常度𝛼(𝓍’)=−ln 𝑝 (𝓍’|𝒟)
𝒑(𝒙′
|𝒚 = 𝟎, 𝓓)
正常時の分布
𝓍’
出現確率の高い観測値は異常度が低い.

18. 17
異常検知における２つの問題
1. データの確率分布をどう学習するか.
ー＞データの性質によって手法が異なります！
2. 異常の度合いをどう定義するか.
ー＞異常の定義に当てはめればいいだけ！

19. 実際に異常を検知してみよう！
〜ホテリング𝑻 𝟐
法による異常検知〜
18

20. まず、どんな時に使うの？
19

21. 20
重要なポイント（再挙）
これらを考慮して手法を決定すべし！
• データの性質は？
• ラベルあり？なし？
• どんな異常を検出したい？

22. 21
ホテリングのT2法の場合
• データの性質は？
ー＞ 各標本が独立に次の確率密度関数（正規分布）に従う.
• ラベルあり？なし？ ー＞ なくてOK
• どんな異常を検出したい ー＞ 外れ値の検出
𝑁(𝑥|𝜇, ∑) ≡
Σ
−
1
2
2 𝜋
𝑀
2
ex p −
1
2
𝒙 − 𝝁 ⊺ Σ −1 𝒙 − 𝝁

23. 1.データの確率分布を学習しよう
22

24. 23
ホテリングのT2法による異常検知
各標本が独立に次の確率密度関数（正規分布）に従う.
𝑁(𝑥|𝜇, ∑) ≡
Σ
−
1
2
2 𝜋
𝑀
2
exp −
1
2
𝒙 − 𝝁 ⊺ Σ −1 𝒙 − 𝝁
𝑥(観測値),𝑀(次元)は既知のもの.
𝜇(平均), ∑(共分散行列)が決まればデータの確率分布を学習できる.

25. パラメータμ,Σを決める
24

26. 25
パラメータを決める（最尤推定）
• 共分散行列Σ 、平均𝝁をデータ𝐷から決めるために最尤推定を行う
𝐷の対数尤度 𝐿 𝝁, Σ 𝐷 = ln
𝑛=1
𝑁
𝑁 𝒙(n)
𝝁, Σ =
𝑛=1
𝑁
ln 𝑁 𝒙(n)
𝝁, Σ
• これを最大化するような𝝁, Σがこの場合の最尤推定である
𝝁 =
1
𝑁
𝑛−1
𝑁
𝒙(n)
Σ ≡
1
𝑁
𝑛=1
𝑁
𝒙(n)
− 𝝁 𝒙(n)
− 𝝁
⊺
相加平均

27. 26
データ𝐷を表現する確率密度関数が得られた！
𝑝 𝒙 𝑫 = 𝑁 𝒙 𝝁, Σ

28. 2.異常度を計算しよう
27

29. 28
ホテリングのT2法における異常度&異常判定
異常度 𝑎 𝒙′
= (𝒙′
− 𝝁)⊺
Σ −1
(𝒙′
− 𝝁)
※観測値に関係のない定数を無視
観測値𝑥′の異常度𝑎 𝑥′ > 設定した閾値𝑎 𝑡ℎ のとき異常
• 異常度の定義に当てはめる
• 異常判定
自分で決めることができます！

30. まとめ
29

31. 30
異常検知とは？
データの性質を考慮して手法を決定することが大事！
手法は既に整っている.
1. データの確率分布をどう学習するか
2. 異常ないし変化の度合いをどう定義するか
２つの問題に向き合うこと！

32. 異常検知と変化検知
31
Chapter1 異常検知・変化検知の基本的な考え方
Chapter2 ホテリングのT2法による異常検知
Chapter3 単純ベイス法による異常検知
Chapter4 近傍法による異常検知
Chapter5 混合分布モデルによる遂次更新型異常検知
Chapter6 サポートベクトルデータ記述法による異常検知
Chapter7 方向データの異常検知
Chapter8 ガウス過程回帰による異常検知
Chapter9 部分空間法による変化検知
Chapter10 疎構造学習による異常検知
Chapter11 密度比推定による異常検知
Chapter12 密度比推定による変化検知
今
回
の
内
容
井手剛,杉山将.異常検知と変化検知.
講談社,2016,178P