SlideShare une entreprise Scribd logo
1  sur  17
Télécharger pour lire hors ligne
第9章 ネットワーク上の他の確率過程




        大澤 昇平
      ohsawide@gmail.com
          Apr. 11
      複雑ネットワーク勉強会
ADGENDA




          •9.1 進化ゲーム

          •9.2 ランダム・ウォーク
          •9.3 カスケード故障




                           1
ADGENDA




          •9.1 進化ゲーム

          •9.2 ランダム・ウォーク
          •9.3 カスケード故障




                           2
9.1.1 進化ゲームとは

•   囚人のジレンマ:局所最適が全体最適にならない        利得表
                                          相手: C   相手: D
•   利得表において,自分は戦略 D(裏切り)を取ったほうが
    有利.                           自分: C   (3, 3) (0, 5)
•   相手に関しても同様                     自分: D   (5, 0) (1, 1)
     • 利得が (1, 1) になる.
     • 全体最適は,(3, 3)



•   どのようにすれば相互協力が実現するか → 進化ゲーム

•   プレイヤーの行動の基準
     • 伝搬:利得が高い誰かの行動を真似る
     • 突然変異:レイヤーは気まぐれで行動を変える




                                                          3
9.1.2 ネットワーク上の進化ゲーム

進化ゲームのダイナミクス(p.197 図9.1 参照)
(1) 初期条件(t=0)として,各頂点に C, D を確率 1/2 で割り振る
(2) 各頂点は,隣人のそれぞれと利得表に従ってゲームを行なう
(3) 各頂点について,隣人のそれぞれとゲームを行なって得た利得の合計を,自分の総利得とする
(4) 戦略の更新を行なう.ノード v を無作為に選択し,隣人のうち最も利得の大きい人の戦略をコピー
(5) t = 1 として,ステップ 2~4 を行なう
(6) 以降 t=2, 3, … として続ける.ネットワーク全体での C, D の割合が一定値に落ち着いたら終了.




                                                        4
9.1.3 空間的互恵性

空間的互恵性 クラスターを作ることで生き残る仕組み

• v1 が死ぬと,必ず D の戦略をコピーする
• v2 が死ぬと,v1 の戦略ではなく v3 の戦略をコピーする
• v3 が死ぬと,v2 の戦略ではなく v4 の戦略をコピーする
• v4 が死ぬと,必ず C の戦略をコピーする
⇒ 結果的に,状態は変化しない
これは,ノードがクラスターをなしていることに起因する




                                    5
9.1.4 スケールフリー・ネットワーク上の進化ゲーム

•   次数の大きい頂点(ハブ)と,小さい頂点によって,ゲームの参加の仕方が異なる
•   スケールフリー・ネットワーク上では,ハブの方が圧倒的に有利

     次数の大きい頂点(ハブ)                             次数の小さい頂点
             10                 90

     利得: 1        利得: 1 利得: T        利得: T    利得: 0       利得: 0
                                                                  C
             ・・・・          ・・・・・・・・・
                                                                  D




                      利得: 10                     利得: 2T

     戦略が C でも成立する                            戦略が D でないと成立しない


    (参考)利得表
                  相手: C   相手: D

     自分: C        (1, 1) (0, 𝑇)
     自分: D        (𝑇, 0) (𝜖, 𝜖)
                                                                      6
9.1.5 進化ゲームの固定確率

•   真似のみでゲームが進んだ場合,いずれグラフは
     • 全員が C
     • 全員が D
    のいずれかに収束する

•   ここで,全員が C になって終了する確率を,C の固定確率という

•   レギュラー・ランダムグラフにおいては,C の固定確率が大きいための条件が知られている
    [Ohtsuki, 2006]




                                                 7
ADGENDA




          •9.1 進化ゲーム

          •9.2 ランダム・ウォーク
          •9.3 カスケード故障




                           8
9.2.1 ネットワーク上のランダムウォーク

•   古典的なネットワーク上のランダムウォークは,数学や物理学などにおいて古くから調べられてい
    る
•   今回対象にするランダムウォーク
     • 有限ネットワーク
     • 単純ランダムウォーク

ネットワーク上での移動は,以下の推移確率行列で表現:
                            𝐴 𝑖𝑗
                   𝐵 𝑖𝑗 = 𝑁
                          𝑙=1 𝐴 𝑖𝑙
ここで,次の制約条件が成立:
                            𝑁

                                 𝐵 𝑖𝑗 = 1
                           𝑗=1
ノード 𝑖 上にウォーカーが存在する確率 𝑃𝑗 𝑡 は,マスター方程式で表現
                                    𝑁

                      𝑃𝑖 𝑡 + 1 =         𝑃𝑗 𝑡 𝐵 𝑗𝑖
                                   𝑗=1




                                                     9
9.2.1 ネットワーク上のランダムウォーク

定常密度の計算
定常密度に対して,
                         𝑁                  𝑁

               𝑃𝑖 ∗ =         𝑃𝑗∗ 𝐵 𝑗𝑖 ;         𝑃𝑖∗ = 1
                        𝑗=1                𝑖=1
行列で書くと,
                 ∗ ∗                        ∗ ∗
                𝑃1 , 𝑃2 , … , 𝑃∗ =
                               𝑛           𝑃1 , 𝑃2 , … , 𝑃∗ 𝐵
                                                          𝑛


参考:固有方程式
                                  𝜆𝒑 = 𝒑𝐵




                                                                10
9.2.2 ページランク

•   枝に方向がある場合のランダムウォーク

•   ページランク以前:ネットワークに依存しない方法で決定
•   検索エンジンの重要性
     (i) ページと検索後の関連度
     (ii) ページとネットワーク上の重要性(ex. 中心性)

•   Google は,ページランクを用いて,(ii) の計算を行なっている

ページランクが考えるウェブページの重要性の基準(p. 208, 図9.8)
(1) 多くのページからリンクされるページは重要
(2) 重要なページからリンクされるページは重要
(3) 厳選されたリンクをう受けることは貴重


ページランクの基準(連立一次方程式)
                        𝑁                  𝑁                           𝑁
                                                 𝐴 𝑗𝑖
                𝑥𝑖 =         𝐵 𝑗𝑖 𝑥 𝑗 =          𝑁             𝑥𝑗 ,         𝑥𝑖 = 1
                                                𝑙=1     𝐴 𝑗𝑙
                       𝑗=1                𝑗=1                         𝑖=1




                                                                                     11
9.2.2 ページランク:dangling node への対応

•   WWW のネットワークには多くの dangling node(行き止まり)が存在している
     • 例)画像からなるページ
•   今までのページランクの定義では,dangling node のいずれかにウォーカーが停滞してしまう

•   そこで,ウォーカーの挙動の定義を以下のように修正
      (1) 確率 1-q で通常通りランダムウォーク(行き先が存在しない場合は,そこに留まる)
      (2) 確率 q で自身を含むランダムなノードにジャンプ

•   (2) により,dangling node に対応できる
•   修正した確率遷移行列

                                                      𝑞                  𝐴 𝑖𝑗
                𝑖 がdangling nodeでない場合:      𝐵 𝑖𝑗 =        + (1 − 𝑞)    𝑁
                                                      𝑁               𝑙=1 𝐴 𝑖𝑙

                                                  𝑞
                                                      + 1 − 𝑞 , (𝑖 = 𝑗)
                                                  𝑁
                𝑖 が dangling node の場合:   𝐵 𝑖𝑗 =            𝑞
                                                             ,   (𝑖 ≠ 𝑗)
                                                           𝑁




                                                                                 12
9.2.3 HITS

•   HITS: Kleinberg によって提案された新しい中心性

オーソリティ度 𝑥 𝑖 とハブ度 𝑦 𝑖
                                   𝑁                         𝑁

                           𝑥𝑖 ∝         𝐴 𝑗𝑖 𝑦 𝑗 ,   𝑦𝑖 ∝         𝐴 𝑖𝑗 𝑥 𝑗
                                  𝑗=1                       𝑗=1


ベクトル表現
                                        𝒙 ∝ 𝐴 𝑇 𝒚,     𝒚 ∝ 𝐴𝒙

以下の更新式で収束計算
                      𝒙 𝑡+1 = 𝐴𝑇 𝒚 𝑡 ,               𝒚 𝑡 + 1 = 𝐴𝒙 𝑡 + 1
以下のように変形可能
                      𝒙 𝑡 + 1 = 𝐴 𝑇 𝐴𝒙 𝑡 ,            𝒚 𝑡 + 1 = 𝐴𝐴 𝑇 𝒚 𝑡

よって, 𝒙∗ = 𝒙 ∞ , 𝒚∗ = 𝒚 ∞   とすると,
                             𝒙∗ = 𝐴 𝑇 𝐴𝒙∗ ,           𝒚∗ = 𝐴𝐴 𝑇 𝒚∗

これは固有方程式なので,𝒙∗ は 𝐴 𝑇 𝐴 の最大固有ベクトル,𝒚∗ は𝐴𝐴 𝑇 の最大固有ベクトルになる




                                                                             13
9.2.4 情報探索

•   6 次の隔たりでは,手紙の転送はランダムではなく,近い人を選んで送られる
     • グラフの最短距離が必ず選ばれるわけではない
     • どのような方法で人を探しているか明らかにする必要がある
情報探索のルール
• 正方格子を考える
• 𝑟 −𝛼 に比例する確率でショートカットを張る                   𝑟 −𝛼 に比例する
• ウォーカーは,ターゲットにより近い場所に動く                   確率でリンク形成


平均到達時間 𝑇 の下限は 𝑁 𝛽 に比例
              2−𝛼
                   ,   (0 ≤ 𝛼 ≤ 2)
                3
         𝛽=    𝛼−2
                   ,    (𝛼 > 2)      𝑟=5
               𝛼−1




                                                     14
ADGENDA




          •9.1 進化ゲーム

          •9.2 ランダム・ウォーク
          •9.3 カスケード故障




                           15
9.3 カスケード故障

•   ネットワークの枝には,物量が流れる場合がある
     • Ex. 航空網における人,電力網における電気,インターネットでのパケット,道路網での車

•   許容量を超えた物量がノードを通る場合,そのノードは故障することがある
•   そうした場合に,他のノードにも負荷がかかり,連鎖的に故障が拡散する場合がある

カスケード故障のダイナミクス
(1) ある頂点 v を除去
(2) v を除去したネットワークにおいて,再度各頂点の媒介中心性を計算
(3) 容量を超えた頂点をすべて除去
(4) 頂点を除去したネットワークにおいて,残った各頂点の媒介中心性を再計算
(5) ステップ 3 とステップ 4 を,容量超過の頂点がなくなるまで繰り返す


•   故障の連鎖の例(p. 222, 表9.2)




                                                     16

Contenu connexe

En vedette

FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair Website
FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair WebsiteFFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair Website
FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair WebsiteSaffire
 
From newspapers to newsbrands: challenging the myths
From newspapers to newsbrands: challenging the mythsFrom newspapers to newsbrands: challenging the myths
From newspapers to newsbrands: challenging the mythsNewsworks
 
My Gopeng Resort
My Gopeng ResortMy Gopeng Resort
My Gopeng ResortCheow Hou
 
Quick installation with an existing router or modern router
Quick installation with an existing router or modern routerQuick installation with an existing router or modern router
Quick installation with an existing router or modern routerIT Tech
 
Piotr Wilam - Product Development Days - Raise the bar high
Piotr Wilam - Product Development Days - Raise the bar highPiotr Wilam - Product Development Days - Raise the bar high
Piotr Wilam - Product Development Days - Raise the bar highInnovation Nest VC
 
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...KPIT
 
Hart & Ganley SOED 2016
Hart & Ganley SOED 2016Hart & Ganley SOED 2016
Hart & Ganley SOED 2016Colleen Ganley
 
RED Y NET (Cordara y Beltran)
RED Y NET (Cordara y Beltran)RED Y NET (Cordara y Beltran)
RED Y NET (Cordara y Beltran)Sele Cordara
 
Allahabad - City of global repute
Allahabad - City of global reputeAllahabad - City of global repute
Allahabad - City of global reputeAnindya Singh
 
UX Poland 2014: N.Efimov & Y. Vedenin - Playful design
UX Poland 2014: N.Efimov & Y. Vedenin - Playful designUX Poland 2014: N.Efimov & Y. Vedenin - Playful design
UX Poland 2014: N.Efimov & Y. Vedenin - Playful designNikita Efimov
 
2016 October Tools for Change CGI Newsletter
2016 October Tools for Change CGI Newsletter2016 October Tools for Change CGI Newsletter
2016 October Tools for Change CGI NewsletterDr. Chris Stout
 

En vedette (19)

FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair Website
FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair WebsiteFFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair Website
FFF Convention & IAFE Zone II Meeting - 20 Ways to Ruin a Fair Website
 
Generacion del 98
Generacion del 98Generacion del 98
Generacion del 98
 
Equity Scholarship Provision in Australian Universities: Insights and Directions
Equity Scholarship Provision in Australian Universities: Insights and DirectionsEquity Scholarship Provision in Australian Universities: Insights and Directions
Equity Scholarship Provision in Australian Universities: Insights and Directions
 
From newspapers to newsbrands: challenging the myths
From newspapers to newsbrands: challenging the mythsFrom newspapers to newsbrands: challenging the myths
From newspapers to newsbrands: challenging the myths
 
My Gopeng Resort
My Gopeng ResortMy Gopeng Resort
My Gopeng Resort
 
Quick installation with an existing router or modern router
Quick installation with an existing router or modern routerQuick installation with an existing router or modern router
Quick installation with an existing router or modern router
 
Glass lions pdf
Glass lions pdfGlass lions pdf
Glass lions pdf
 
Piotr Wilam - Product Development Days - Raise the bar high
Piotr Wilam - Product Development Days - Raise the bar highPiotr Wilam - Product Development Days - Raise the bar high
Piotr Wilam - Product Development Days - Raise the bar high
 
Waleed C.V
Waleed C.V Waleed C.V
Waleed C.V
 
Domek
DomekDomek
Domek
 
Fundraising and the next gen 3.10.11
Fundraising and the next gen 3.10.11Fundraising and the next gen 3.10.11
Fundraising and the next gen 3.10.11
 
ChEMBL UGM May 2011
ChEMBL UGM May 2011ChEMBL UGM May 2011
ChEMBL UGM May 2011
 
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...
Building a Safer and Healthier Workspace with JD Edwards Health, Safety and E...
 
Hart & Ganley SOED 2016
Hart & Ganley SOED 2016Hart & Ganley SOED 2016
Hart & Ganley SOED 2016
 
RED Y NET (Cordara y Beltran)
RED Y NET (Cordara y Beltran)RED Y NET (Cordara y Beltran)
RED Y NET (Cordara y Beltran)
 
Allahabad - City of global repute
Allahabad - City of global reputeAllahabad - City of global repute
Allahabad - City of global repute
 
UX Poland 2014: N.Efimov & Y. Vedenin - Playful design
UX Poland 2014: N.Efimov & Y. Vedenin - Playful designUX Poland 2014: N.Efimov & Y. Vedenin - Playful design
UX Poland 2014: N.Efimov & Y. Vedenin - Playful design
 
2016 October Tools for Change CGI Newsletter
2016 October Tools for Change CGI Newsletter2016 October Tools for Change CGI Newsletter
2016 October Tools for Change CGI Newsletter
 
Best Practices
Best PracticesBest Practices
Best Practices
 

Similaire à 第9章 ネットワーク上の他の確率過程

FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape AnalysisFeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysisyukihiro domae
 
楕円曲線入門 トーラスと楕円曲線のつながり
楕円曲線入門トーラスと楕円曲線のつながり楕円曲線入門トーラスと楕円曲線のつながり
楕円曲線入門 トーラスと楕円曲線のつながりMITSUNARI Shigeo
 
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)yukihiro domae
 
MMDs10.6-7
MMDs10.6-7MMDs10.6-7
MMDs10.6-7mfumi
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムTakuya Akiba
 
ディープラーニング基礎.pptx
ディープラーニング基礎.pptxディープラーニング基礎.pptx
ディープラーニング基礎.pptxnorimatsu5
 
暗号技術の実装と数学
暗号技術の実装と数学暗号技術の実装と数学
暗号技術の実装と数学MITSUNARI Shigeo
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」Keisuke Sugawara
 
Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Nobutaka Shimizu
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5sleepy_yoshi
 
モンテカルロサンプリング
モンテカルロサンプリングモンテカルロサンプリング
モンテカルロサンプリングKosei ABE
 
NN, CNN, and Image Analysis
NN, CNN, and Image AnalysisNN, CNN, and Image Analysis
NN, CNN, and Image AnalysisYuki Shimada
 
暗認本読書会13 advanced
暗認本読書会13 advanced暗認本読書会13 advanced
暗認本読書会13 advancedMITSUNARI Shigeo
 
『データ解析におけるプライバシー保護』勉強会 秘密計算
『データ解析におけるプライバシー保護』勉強会 秘密計算『データ解析におけるプライバシー保護』勉強会 秘密計算
『データ解析におけるプライバシー保護』勉強会 秘密計算MITSUNARI Shigeo
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1sleepy_yoshi
 
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知hagino 3000
 
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)MITSUNARI Shigeo
 

Similaire à 第9章 ネットワーク上の他の確率過程 (20)

FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape AnalysisFeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis
 
楕円曲線入門 トーラスと楕円曲線のつながり
楕円曲線入門トーラスと楕円曲線のつながり楕円曲線入門トーラスと楕円曲線のつながり
楕円曲線入門 トーラスと楕円曲線のつながり
 
PRML 8.4-8.4.3
PRML 8.4-8.4.3 PRML 8.4-8.4.3
PRML 8.4-8.4.3
 
6 Info Theory
6 Info Theory6 Info Theory
6 Info Theory
 
Wssit slide
Wssit slideWssit slide
Wssit slide
 
Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)Graph convolution (スペクトルアプローチ)
Graph convolution (スペクトルアプローチ)
 
MMDs10.6-7
MMDs10.6-7MMDs10.6-7
MMDs10.6-7
 
プログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズムプログラミングコンテストでの乱択アルゴリズム
プログラミングコンテストでの乱択アルゴリズム
 
ディープラーニング基礎.pptx
ディープラーニング基礎.pptxディープラーニング基礎.pptx
ディープラーニング基礎.pptx
 
暗号技術の実装と数学
暗号技術の実装と数学暗号技術の実装と数学
暗号技術の実装と数学
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
 
Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)Introduction to Locally Testable Codes and Related Topics (in Japanese)
Introduction to Locally Testable Codes and Related Topics (in Japanese)
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
 
モンテカルロサンプリング
モンテカルロサンプリングモンテカルロサンプリング
モンテカルロサンプリング
 
NN, CNN, and Image Analysis
NN, CNN, and Image AnalysisNN, CNN, and Image Analysis
NN, CNN, and Image Analysis
 
暗認本読書会13 advanced
暗認本読書会13 advanced暗認本読書会13 advanced
暗認本読書会13 advanced
 
『データ解析におけるプライバシー保護』勉強会 秘密計算
『データ解析におけるプライバシー保護』勉強会 秘密計算『データ解析におけるプライバシー保護』勉強会 秘密計算
『データ解析におけるプライバシー保護』勉強会 秘密計算
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
 
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
 
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)
ペアリングベースの効率的なレベル2準同型暗号(SCIS2018)
 

Plus de Ohsawa Goodfellow

Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19 Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19 Ohsawa Goodfellow
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半Ohsawa Goodfellow
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半Ohsawa Goodfellow
 
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)Ohsawa Goodfellow
 
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)Ohsawa Goodfellow
 
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...Ohsawa Goodfellow
 
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
 Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De... Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...Ohsawa Goodfellow
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Ohsawa Goodfellow
 
Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)Ohsawa Goodfellow
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
 
XLWrapについてのご紹介
XLWrapについてのご紹介XLWrapについてのご紹介
XLWrapについてのご紹介Ohsawa Goodfellow
 
XLWrapについてのご紹介
XLWrapについてのご紹介XLWrapについてのご紹介
XLWrapについてのご紹介Ohsawa Goodfellow
 

Plus de Ohsawa Goodfellow (12)

Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19 Open-ended Learning in Symmetric Zero-sum Games @ ICML19
Open-ended Learning in Symmetric Zero-sum Games @ ICML19
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
 
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
 
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
Natural Language Processing (Almost) from Scratch(第 6 回 Deep Learning 勉強会資料; 榊)
 
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
Deep Learning via Semi-Supervised Embedding (第 7 回 Deep Learning 勉強会資料; 大澤)
 
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
Deep Auto-Encoder Neural Networks in Reiforcement Learnning (第 9 回 Deep Learn...
 
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
 Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De... Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
Semi-Supervised Autoencoders for Predicting Sentiment Distributions(第 5 回 De...
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
 
Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)Deep Learning 勉強会 (Chapter 7-12)
Deep Learning 勉強会 (Chapter 7-12)
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
 
XLWrapについてのご紹介
XLWrapについてのご紹介XLWrapについてのご紹介
XLWrapについてのご紹介
 
XLWrapについてのご紹介
XLWrapについてのご紹介XLWrapについてのご紹介
XLWrapについてのご紹介
 

Dernier

PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールsugiuralab
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価sugiuralab
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

Dernier (7)

PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 

第9章 ネットワーク上の他の確率過程

  • 1. 第9章 ネットワーク上の他の確率過程 大澤 昇平 ohsawide@gmail.com Apr. 11 複雑ネットワーク勉強会
  • 2. ADGENDA •9.1 進化ゲーム •9.2 ランダム・ウォーク •9.3 カスケード故障 1
  • 3. ADGENDA •9.1 進化ゲーム •9.2 ランダム・ウォーク •9.3 カスケード故障 2
  • 4. 9.1.1 進化ゲームとは • 囚人のジレンマ:局所最適が全体最適にならない 利得表 相手: C 相手: D • 利得表において,自分は戦略 D(裏切り)を取ったほうが 有利. 自分: C (3, 3) (0, 5) • 相手に関しても同様 自分: D (5, 0) (1, 1) • 利得が (1, 1) になる. • 全体最適は,(3, 3) • どのようにすれば相互協力が実現するか → 進化ゲーム • プレイヤーの行動の基準 • 伝搬:利得が高い誰かの行動を真似る • 突然変異:レイヤーは気まぐれで行動を変える 3
  • 5. 9.1.2 ネットワーク上の進化ゲーム 進化ゲームのダイナミクス(p.197 図9.1 参照) (1) 初期条件(t=0)として,各頂点に C, D を確率 1/2 で割り振る (2) 各頂点は,隣人のそれぞれと利得表に従ってゲームを行なう (3) 各頂点について,隣人のそれぞれとゲームを行なって得た利得の合計を,自分の総利得とする (4) 戦略の更新を行なう.ノード v を無作為に選択し,隣人のうち最も利得の大きい人の戦略をコピー (5) t = 1 として,ステップ 2~4 を行なう (6) 以降 t=2, 3, … として続ける.ネットワーク全体での C, D の割合が一定値に落ち着いたら終了. 4
  • 6. 9.1.3 空間的互恵性 空間的互恵性 クラスターを作ることで生き残る仕組み • v1 が死ぬと,必ず D の戦略をコピーする • v2 が死ぬと,v1 の戦略ではなく v3 の戦略をコピーする • v3 が死ぬと,v2 の戦略ではなく v4 の戦略をコピーする • v4 が死ぬと,必ず C の戦略をコピーする ⇒ 結果的に,状態は変化しない これは,ノードがクラスターをなしていることに起因する 5
  • 7. 9.1.4 スケールフリー・ネットワーク上の進化ゲーム • 次数の大きい頂点(ハブ)と,小さい頂点によって,ゲームの参加の仕方が異なる • スケールフリー・ネットワーク上では,ハブの方が圧倒的に有利 次数の大きい頂点(ハブ) 次数の小さい頂点 10 90 利得: 1 利得: 1 利得: T 利得: T 利得: 0 利得: 0 C ・・・・ ・・・・・・・・・ D 利得: 10 利得: 2T 戦略が C でも成立する 戦略が D でないと成立しない (参考)利得表 相手: C 相手: D 自分: C (1, 1) (0, 𝑇) 自分: D (𝑇, 0) (𝜖, 𝜖) 6
  • 8. 9.1.5 進化ゲームの固定確率 • 真似のみでゲームが進んだ場合,いずれグラフは • 全員が C • 全員が D のいずれかに収束する • ここで,全員が C になって終了する確率を,C の固定確率という • レギュラー・ランダムグラフにおいては,C の固定確率が大きいための条件が知られている [Ohtsuki, 2006] 7
  • 9. ADGENDA •9.1 進化ゲーム •9.2 ランダム・ウォーク •9.3 カスケード故障 8
  • 10. 9.2.1 ネットワーク上のランダムウォーク • 古典的なネットワーク上のランダムウォークは,数学や物理学などにおいて古くから調べられてい る • 今回対象にするランダムウォーク • 有限ネットワーク • 単純ランダムウォーク ネットワーク上での移動は,以下の推移確率行列で表現: 𝐴 𝑖𝑗 𝐵 𝑖𝑗 = 𝑁 𝑙=1 𝐴 𝑖𝑙 ここで,次の制約条件が成立: 𝑁 𝐵 𝑖𝑗 = 1 𝑗=1 ノード 𝑖 上にウォーカーが存在する確率 𝑃𝑗 𝑡 は,マスター方程式で表現 𝑁 𝑃𝑖 𝑡 + 1 = 𝑃𝑗 𝑡 𝐵 𝑗𝑖 𝑗=1 9
  • 11. 9.2.1 ネットワーク上のランダムウォーク 定常密度の計算 定常密度に対して, 𝑁 𝑁 𝑃𝑖 ∗ = 𝑃𝑗∗ 𝐵 𝑗𝑖 ; 𝑃𝑖∗ = 1 𝑗=1 𝑖=1 行列で書くと, ∗ ∗ ∗ ∗ 𝑃1 , 𝑃2 , … , 𝑃∗ = 𝑛 𝑃1 , 𝑃2 , … , 𝑃∗ 𝐵 𝑛 参考:固有方程式 𝜆𝒑 = 𝒑𝐵 10
  • 12. 9.2.2 ページランク • 枝に方向がある場合のランダムウォーク • ページランク以前:ネットワークに依存しない方法で決定 • 検索エンジンの重要性 (i) ページと検索後の関連度 (ii) ページとネットワーク上の重要性(ex. 中心性) • Google は,ページランクを用いて,(ii) の計算を行なっている ページランクが考えるウェブページの重要性の基準(p. 208, 図9.8) (1) 多くのページからリンクされるページは重要 (2) 重要なページからリンクされるページは重要 (3) 厳選されたリンクをう受けることは貴重 ページランクの基準(連立一次方程式) 𝑁 𝑁 𝑁 𝐴 𝑗𝑖 𝑥𝑖 = 𝐵 𝑗𝑖 𝑥 𝑗 = 𝑁 𝑥𝑗 , 𝑥𝑖 = 1 𝑙=1 𝐴 𝑗𝑙 𝑗=1 𝑗=1 𝑖=1 11
  • 13. 9.2.2 ページランク:dangling node への対応 • WWW のネットワークには多くの dangling node(行き止まり)が存在している • 例)画像からなるページ • 今までのページランクの定義では,dangling node のいずれかにウォーカーが停滞してしまう • そこで,ウォーカーの挙動の定義を以下のように修正 (1) 確率 1-q で通常通りランダムウォーク(行き先が存在しない場合は,そこに留まる) (2) 確率 q で自身を含むランダムなノードにジャンプ • (2) により,dangling node に対応できる • 修正した確率遷移行列 𝑞 𝐴 𝑖𝑗 𝑖 がdangling nodeでない場合: 𝐵 𝑖𝑗 = + (1 − 𝑞) 𝑁 𝑁 𝑙=1 𝐴 𝑖𝑙 𝑞 + 1 − 𝑞 , (𝑖 = 𝑗) 𝑁 𝑖 が dangling node の場合: 𝐵 𝑖𝑗 = 𝑞 , (𝑖 ≠ 𝑗) 𝑁 12
  • 14. 9.2.3 HITS • HITS: Kleinberg によって提案された新しい中心性 オーソリティ度 𝑥 𝑖 とハブ度 𝑦 𝑖 𝑁 𝑁 𝑥𝑖 ∝ 𝐴 𝑗𝑖 𝑦 𝑗 , 𝑦𝑖 ∝ 𝐴 𝑖𝑗 𝑥 𝑗 𝑗=1 𝑗=1 ベクトル表現 𝒙 ∝ 𝐴 𝑇 𝒚, 𝒚 ∝ 𝐴𝒙 以下の更新式で収束計算 𝒙 𝑡+1 = 𝐴𝑇 𝒚 𝑡 , 𝒚 𝑡 + 1 = 𝐴𝒙 𝑡 + 1 以下のように変形可能 𝒙 𝑡 + 1 = 𝐴 𝑇 𝐴𝒙 𝑡 , 𝒚 𝑡 + 1 = 𝐴𝐴 𝑇 𝒚 𝑡 よって, 𝒙∗ = 𝒙 ∞ , 𝒚∗ = 𝒚 ∞ とすると, 𝒙∗ = 𝐴 𝑇 𝐴𝒙∗ , 𝒚∗ = 𝐴𝐴 𝑇 𝒚∗ これは固有方程式なので,𝒙∗ は 𝐴 𝑇 𝐴 の最大固有ベクトル,𝒚∗ は𝐴𝐴 𝑇 の最大固有ベクトルになる 13
  • 15. 9.2.4 情報探索 • 6 次の隔たりでは,手紙の転送はランダムではなく,近い人を選んで送られる • グラフの最短距離が必ず選ばれるわけではない • どのような方法で人を探しているか明らかにする必要がある 情報探索のルール • 正方格子を考える • 𝑟 −𝛼 に比例する確率でショートカットを張る 𝑟 −𝛼 に比例する • ウォーカーは,ターゲットにより近い場所に動く 確率でリンク形成 平均到達時間 𝑇 の下限は 𝑁 𝛽 に比例 2−𝛼 , (0 ≤ 𝛼 ≤ 2) 3 𝛽= 𝛼−2 , (𝛼 > 2) 𝑟=5 𝛼−1 14
  • 16. ADGENDA •9.1 進化ゲーム •9.2 ランダム・ウォーク •9.3 カスケード故障 15
  • 17. 9.3 カスケード故障 • ネットワークの枝には,物量が流れる場合がある • Ex. 航空網における人,電力網における電気,インターネットでのパケット,道路網での車 • 許容量を超えた物量がノードを通る場合,そのノードは故障することがある • そうした場合に,他のノードにも負荷がかかり,連鎖的に故障が拡散する場合がある カスケード故障のダイナミクス (1) ある頂点 v を除去 (2) v を除去したネットワークにおいて,再度各頂点の媒介中心性を計算 (3) 容量を超えた頂点をすべて除去 (4) 頂点を除去したネットワークにおいて,残った各頂点の媒介中心性を再計算 (5) ステップ 3 とステップ 4 を,容量超過の頂点がなくなるまで繰り返す • 故障の連鎖の例(p. 222, 表9.2) 16