Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

確率論基礎

9 827 vues

Publié le

Watanabe理論勉強会 第七回 補足資料

Publié dans : Données & analyses
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M }
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici

確率論基礎

  1. 1. 確率論基礎 @hoxo_m 2016/12/04 1
  2. 2. Watanabe理論勉強会 #7 •  本資料は •  Sumio Watanabe, Algebraic Geometry and Statistical Learning Theory, Cambridge University Press, 2009. •  第7回読書会補⾜資料です。 2
  3. 3. 1.6 Probability Theory •  この節では確率論の基礎を要約する •  確率論に詳しい読者は⾶ばしてよい ➡︎ 確率論がよく分かっていないので5章に ⼊る前に復習したい 3
  4. 4. 地図 •  距離空間 = 集合+距離 •  可測空間 = 距離空間+σ-代数 •  確率空間 = 可測空間+確率測度 •  確率変数 = X: 確率空間 → 可測空間 •  確率分布 PX •  確率変数の期待値 E[X] •  確率変数の収束 4
  5. 5. 定義1.11 距離空間 •  集合 Ω •  関数 D: Ω ✖ Ω → R •  D が距離とは ①  ∀ x, y ∈ Ω, D(x, y) = D(y, x) ≧ 0 ②  D(x, y) = 0 ⇔ x = y ③  ∀ x, y, z ∈ Ω, D(x, y) + D(y, z) ≧ D(x, z) •  距離を持つ集合 Ω を距離空間という 5
  6. 6. 位相空間について •  距離空間の位相は開近傍によって定まる – x の開近傍: Uε = { y ∈ Ω ; D(x, y) < ε } •  可分空間: 可算稠密部分集合を持つ TS •  コーシー列 {xn}: – 任意の δ > 0 に対して M が存在し m, n > M ⇒ D(xm, xn) < δ •  完備: 全てのコーシー列が収束する •  ポーランド空間: 完備かつ可分な TS 6
  7. 7. Example 1.8 <本書で登場する距離空間 3つ> (1) 有限次元実ユークリッド空間 Rd – 距離 D(x, y) = |x – y| = (Σi=1..d(xi – yi)2)½ – ユークリッドノルム – 完備かつ可分となる (2) Rd の部分集合も距離空間 – 有限集合や可算集合を考えることもある 7
  8. 8. Example 1.8 (3) •  K: Rd のコンパクト部分集合 •  K から Rd’ への連続関数全体の集合 Ω = { f ; f: K → Rd’ } •  距離 D(f, g) = maxx∈K | f(x) – g(x) | •  Ω は距離空間となる •  K のコンパクト性から Ω は完備かつ可分 8
  9. 9. 地図 •  距離空間 = 集合+距離 •  可測空間 = 距離空間+σ-代数 •  確率空間 = 可測空間+確率測度 •  確率変数 = X: 確率空間 → 可測空間 •  確率分布 PX •  確率変数の期待値 E[X] •  確率変数の収束 9
  10. 10. 定義1.12 (1) 可測空間 •  Ω: 距離空間 •  B: Ω の部分集合を要素とする σ-代数 •  σ-代数(完全加法族): ①  A1, A2 ∈ B ⇒ A1 ∩ A2 ∈ B (※不要) ②  Ω ∈ B (※原⽂には無いがこちらを追加) ③  A ∈ B ⇒ Ac ∈ B (Ac は補集合) ④  A1, A2, A3, … ∈ B ⇒ ∪Ai ∈ B (可算個) •  (Ω, B) を可測空間と呼ぶ 10
  11. 11. 定義1.12 (2) 確率空間 •  可測空間 (Ω, B) •  確率測度 P 関数 P: B → [0, 1] ①  P(Ω) = 1 ②  交わりの無い A1, A2, A3, … ∈ B に対して P(∪Ai) = ΣP(Ai) •  (Ω, B, P) を確率空間と呼ぶ 11
  12. 12. ボレル集合体 (Borel Field) •  位相空間 Ω において、全ての開集合を含 む最⼩の σ-代数をボレル集合体と呼ぶ 12
  13. 13. Remark 1.18 •  確率空間 (RN, B, P) •  RN: N次元実ユークリッド空間 •  B: ボレル集合体 •  確率分布(測度) P を次で定義する(p(x) ≧ 0) •  p(x) を確率密度関数と呼ぶ 13
  14. 14. 地図 •  距離空間 = 集合+距離 •  可測空間 = 距離空間+σ-代数 •  確率空間 = 可測空間+確率測度 •  確率変数 = X: 確率空間 → 可測空間 •  確率分布 PX •  確率変数の期待値 E[X] •  確率変数の収束 14
  15. 15. 定義1.13 確率変数 (1) •  確率空間 (Ω, B, P) •  可測空間 (Ω1, B1) •  関数 X: Ω → Ω1 •  X が可測であるとき、確率変数と呼ぶ •  可測関数: – 任意の B1 ∈ B1 に対して X-1(B1) ∈ B •  Ω1-valued 確率変数と呼ばれることも 15
  16. 16. 定義1.13 確率変数 (2) •  関数 µ(B1) = P(X-1(B1)) は (Ω1, B1) 上の 確率測度である •  したがって (Ω1, B1, µ) は確率空間となる •  µ を確率変数 X の確率分布と呼ぶ •  また、X は µ に従うと⾔う •  µ は X の像空間(image space)の確率分布 •  次と同値 16
  17. 17. Remark 1.9 (1) 確率論では次の簡易表記がよく使われる •  P( f(x) > 0 ) ≡ P({ ω ∈ Ω; f(X(ω)) > 0 }) •  定義より P( f(x) > 0 ) = µ({ x ∈ Ω1; f(x) > 0 }) (2) 確率変数 X が従う確率測度(分布) µ を PX と表記する •  ⼀般に X と PX は⼀対⼀ではない •  確率分布が定まっても確率変数は定まらない 17
  18. 18. Remark 1.9 (2) 例 •  確率空間 (Ω, 2Ω, P) •  Ω = { 0, 1, 2, 3 } (※ 原⽂では {1,2,3,4}) •  P({i}) = 1/4 ( i = 0, 1, 2, 3 ) •  次の確率変数 X と Y の確率分布は同じ •  確率分布からは X と Y は区別できない 18
  19. 19. Remark 1.9 (2) 例 19 0 1 2 3 0 1 0 1 X Ω Ω1 Ω1 Y PX(0) = 1/2 PX(1) = 1/2 PY(0) = 1/2 PY(1) = 1/2
  20. 20. Remark 1.9 (3) •  本書の定義や定理の中には、確率変数 X の像空間 Ω1 と確率分布 PX だけしか必要 がない場合がある •  このような場合、確率空間 (Ω, B, P) の明 ⽰的な記述は省略される •  その結果、次のようになる – 確率分布 PX に従う Ω1-valued 確率変数 X に 対して次の等式が成り⽴つ・・・ 20
  21. 21. 地図 •  距離空間 = 集合+距離 •  可測空間 = 距離空間+σ-代数 •  確率空間 = 可測空間+確率測度 •  確率変数 = X: 確率空間 → 可測空間 •  確率分布 PX •  確率変数の期待値 E[X] •  確率変数の収束 21
  22. 22. 定義1.14 期待値 •  確率変数 X: (Ω, B, P) → (Ω1, B1) •  X は確率分布 PX に従う •  期待値: •  S ⊂ Ω1 の期待値: 22
  23. 23. •  確率変数 X: (Ω, B, P) → (Ω1, B1) •  可測空間 (Ω2, B2) •  可測関数 f: Ω1 → Ω2 •  このとき、f(X) は (Ω, B, P) 上の確率変数 •  f(X) の期待値 •  EX[f(X)] とも書く Remark 1.20 (1) 23 ※ 期待値を考えるには ベクトル空間のような 加算乗算可能となる条件が必要
  24. 24. Remark 1.20 (2) (3) •  同じ確率分布に従う2つの確率変数 X と Y は同じ期待値を持つ ➡︎ E[X] の情報から E[Y] を予測できる •  統計的学習理論において、学習誤差から 汎化誤差の期待値を推定することは重要 である 24
  25. 25. Remark 1.20 (4) •  チェビシェフの不等式 (※マルコフでは?) •  E[|X|] = C のとき任意の M > 0 に対して C = E[|X|] ≧ E[|X|]{|X| > M} ≧ M E[1]{|X| > M} = M P(|X| > M) ➡︎ P(|X| > M) ≦ C / M •  確率論では同様の導出がよく⾏われる 25
  26. 26. Remark 1.20 (5) (6) •  次が成り⽴つ E[|X|] < ∞ ⇔ limM→∞ E[|X|]{|X|≧M} = 0 •  次を満たす定数 δ > 0 と M0 > 0 が存在 するならば E[|X|] < ∞  任意の M > M0 に対して    P(|X| > M) ≦ 1 / M1+δ 26
  27. 27. 地図 •  距離空間 = 集合+距離 •  可測空間 = 距離空間+σ-代数 •  確率空間 = 可測空間+確率測度 •  確率変数 = X: 確率空間 → 可測空間 •  確率分布 PX •  確率変数の期待値 E[X] •  確率変数の収束 27
  28. 28. 定義1.15 確率変数の収束 •  確率空間 (Ω, B, P) 上の •  確率変数の列 {Xn} と確率変数 X ① 概収束 (almost surely, almost everywhere): P({ω ∈ Ω; limn→∞ Xn(ω) = X(ω)}) = 1 ② p次平均収束(p > 0): limn→∞ E[(Xn − X)p] = 0 ③ 確率収束: 任意の ε に対して limn→∞ P(D(Xn, X) > ε) = 0 28
  29. 29. Remark 1.21 •  よく知られている確率変数の収束の性質 ①  Xn が X に概収束または p次平均収束す るとき、Xn は X に確率収束する ②  Xn が X に確率収束するとき、Xn は X に 法則収束する (定義は5章) ③  ⼀般に、概収束は p次平均収束の必要条 件でも⼗分条件でもない 29
  30. 30. まとめ •  確率論の⽴場から、本書では次で定義さ れる確率変数の極限定理を与える ただし X1, X2, …, Xn は確率変数 X と同じ確率 分布に従う独⽴な確率変数 30
  31. 31. まとめ •  中⼼極限定理: 確率変数の平均と分散 •  統計的学習理論: ゼータ関数の最⼤の極 (pole)と特異変動(singular fluctuation) •  ⼤偏差理論(large deviation theory)より Fn / n → pS (S: X のエントロピー) •  Main Formula Ⅱ(p.34) と Ⅲ(p.38) は、 ⼤偏差理論よりも正確な結果 31
  32. 32. 5章へつづく 32出典:野呂俊介『スピーシーズドメイン(5)』

×