SlideShare une entreprise Scribd logo
1  sur  22
Télécharger pour lire hors ligne
A	
  brief	
  explana-on	
  of	
  
“Causal	
  Entropic	
  Forces”	
2014/03	
  
@_kohta	
1
目次	
•  Causal	
  Entropic	
  Forces	
  
•  意味と定式化	
  
–  Entropic	
  Force	
  
–  Entropy	
  and	
  Causal	
  Entropy	
  
–  Causal	
  Entropic	
  Force	
  
•  シミュレーション	
  
•  反論と考察	
2
Causal	
  Entropic	
  Forces	
•  A.	
  Wissner-­‐Gross	
  and	
  C.	
  Freer,	
  Phys.	
  Rev.	
  LeM.	
  110,	
  
168702	
  (April,	
  2013).	
  
Cameron	
  Freer	
  
Postdoctoral	
  Associate,	
  MIT	
  Brain	
  and	
  Cogni-ve	
  Sciences	
  
Research	
  Scien-st,	
  Gamelan	
  Labs	
  
Alexander	
  D.	
  Wissner-­‐Gross	
  
Research	
  Affiliate,	
  MIT	
  Media	
  Lab.	
  
Ins-tute	
  Fellow,	
  Ins-tute	
  for	
  Applied	
  Computa-onal	
  Science,	
  
	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  Harvard	
  University	
  
SEAS	
  Expert	
  In	
  Residence,	
  Harvard	
  Innova-on	
  Lab	
  
Founder,	
  President,	
  and	
  CTO,	
  Gemedy,	
  Inc.	
  	
3
主張	
•  Causal	
  Entropy最大化という原理を導入	
  
•  それを認めると、Causal	
  Entropyに基づくエントロ
ピー力により「知的な」行動が自発的に生起する!	
  
•  知性の物理モデルを捉える最初の一歩!	
4
主張	
•  Causal	
  Entropy最大化という原理を導入	
  
•  それを認めると、Causal	
  Entropyに基づくエントロ
ピー力により「知的な」行動が自発的に生起する!	
  
•  知性の物理モデルを捉える最初の一歩!	
5	
間違ってるんじゃないの?	
  
	
  
H.	
  J.	
  Kappen	
  
“Comment:	
  causal	
  entropic	
  forces”	
  
hMp://arxiv.org/abs/1312.4185	
  (2013)
Entropic	
  Force	
•  Entropic	
  Force	
  
–  熱力学の第二法則(エントロピー増大則)が成り立つよう
に物理系の巨視的状態は自発的に変化する	
  
–  そのような方向に「力」が働いたとみなすことができる	
  
–  Entropic	
  Force	
  =	
  系のエントロピーが増える方向に働く現
象論的な力	
拡散:	
  
広く拡散した状態の方が状態数が多い	
  
Polymer	
  elas-city:	
  
丸まった状態の方が状態数が多い	
  
hMp://www.chem.ufl.edu/~itl/4411L_f96/rubber/rubber_sav.html	
hMp://en.wikipedia.org/wiki/Entropic_force	
 6
Entropic	
  Force	
•  (ある巨視的状態Xに対する)起こりうる様々な微視
的状態の生起確率 に対して、統計力学的エント
ロピーは、	
  
•  巨視的状態Xの変化に対するEntropic	
  Forceは、	
  
–  Tは温度: エントロピー変化に対する力の大きさの係数	
  
•  高温ほど力が大きい!	
  
Pj
S(X) = kB
X
j
Pj(X) log Pj(X)
F(X) = TrX S(X)
7
Entropy	
  and	
  Causal	
  Entropy	
•  「普通の」エントロピー	
  
–  ある固定した巨視的状態に対して、それを実現する微視
的状態の数を数える	
  
•  体積Vの気体 <-­‐-­‐>	
  Vの中を飛び回る気体分子の取り得る状態	
  
•  Causal	
  Entropy	
  
–  現在の状態Xから、ある将来までの状態変化経路(パス)
の確率に基づいてエントロピーを定義する	
  
Sc(X, ⌧) = kB
Z
P(X(t)|X(0)) log P(X(t)|X(0))DX(t)
経路積分	
パス確率(測度)	
  
:	
  X(0)から出発して経路X(t)で	
  
 時刻τだけ変化する確率	
8
Causal	
  Entropy	
•  Causal	
  Entropyの意味	
  
–  現在状態Xによって将来辿り得るパスの分布が変化する
(という主張)	
  
•  似たようなパスしか辿り得ない	
  =	
  Causal	
  Entropy低	
  
•  多様なパスを辿り得る	
  =	
  Causal	
  Entropy高	
  
–  Time	
  Horizon	
  τ	
  
•  「将来を予測可能な」時間間隔	
  
–  「知的な」系: τが大	
  
–  「知的でない」系: τが小	
  
–  非平衡系での関係式!	
  
t	
X	
 X’	
低Causal	
  Entropy	
 高Causal	
  Entropy	
τ	
9
Causal	
  Entropic	
  Force	
•  Causal	
  Entropyを増大させる力	
  
–  式展開	
  
Fj(X0, ⌧) = Tc
@Sc(X, ⌧)
@qj(0) X=X0
Fj(X0, ⌧) = kB
Z
@P(X(t)|X(0))
@qj(0)
log P(X(t)|X(0))DX(t)
Z 1
1
@P(X(t)|X(0))
@qj(0)
dqj(0) = 0 となるから。 ???	
着目する領域から出るパスの確率はゼロとするため、	
特定の成分(自由度)にのみ作用する場合も考える	
X(t) = (q(t), p(t))
状態変数(位相空間)	
10
Causal	
  Entropic	
  Force	
•  (巨視的)ブラウン運動する系を考える	
  
•  時間分割近似でパス確率を定義する	
  
qj(✏) = qj(0) +
pj(0)
2mj
✏ +
fj(0) + hj(0)
2mj
✏2
ガウスノイズ(分散 mjkBTr/ε2)	
内力(決定論的)	
微小時間	
P(X(t)|X(0)) =
N 1Y
n=0
P(X(tn+1)|X(tn))
11
Causal	
  Entropic	
  Force	
•  Causal	
  Entropic	
  Force	
  
–  時刻0でのガウスノイズfj(0)に対して、その方向に力が加
わった初期条件の下で発生するパス確率P(X(t)|X(0))で決
まる重みP(X(t)|X(0))	
  log	
  P(X(t)|X(0))が付いて足し合わさ
れる	
  
@P(X(t)|X(0))
@qj(0)
=
N 1Y
n=1
P(X(tn+1)|X(tn)) ·
@P(X(✏)|X(0))
@qj(0)
=
2fj(0)
kBTr
N 1Y
n=0
P(X(tn+1)|X(tn))
Fj(X0, ⌧) =
2Tc
Tr
Z
fj(0)P(X(t)|X(0)) log P(X(t)|X(0))DX(t)
12
シミュレーション(著者による)	
•  箱の中の粒子	
  
–  箱の周辺部はパスの多様性(variaty)が小さく、中心部は
多様性が大きい	
  
13	
Causal	
  entropic	
  forces,	
  Supplemental	
  Material:	
  hMp://math.mit.edu/~freer/
シミュレーション(著者による)	
•  倒立振子	
  
–  重力の下で倒立した状態の方がパスの多様性が大きい	
  
•  ぶら下がった状態は安定停留点	
14	
Causal	
  entropic	
  forces,	
  Supplemental	
  Material:	
  hMp://math.mit.edu/~freer/
シミュレーション(著者による)	
•  道具を使って物を取り出す	
15	
・大円(動物の単純化)は自力では箱の	
  
	
  	
  中の小円2を取り出すことができない	
  
・大円の下部にある小円1(道具の単純化)	
  
	
  	
  を利用すると取り出すことができる	
  
	
  
・小円2を取り出した方がパスの多様性が	
  
	
  	
  高まる	
Causal	
  entropic	
  forces,	
  Supplemental	
  Material:	
  hMp://math.mit.edu/~freer/
シミュレーション(著者による)	
•  Social	
  Coopera-on	
16	
・2つの小円(動物の単純化)はそれぞれ	
  
	
  	
  の中円に作用する(紐を引く)ことができる	
  
	
  
・大円は、上半分領域にいるときは直接	
  
	
  	
  アクセスすることはできないが、2匹の動	
  
	
  	
  物が強調して紐を引っ張ることで、下半分	
  
	
  	
  領域に引っぱり込むことができる	
  
・大円を引っぱり込めると、アクセスできる	
  
	
  	
  自由度が増えるため、パスの多様性が	
  
	
  	
  増す	
Causal	
  entropic	
  forces,	
  Supplemental	
  Material:	
  hMp://math.mit.edu/~freer/
反論と考察	
•  問題点	
  
–  この経路積分をどうやって処理するのか?	
  
•  H.	
  J.	
  Kappenの反論(Dec	
  2013)	
  
–  causal	
  entropyは(マルコフ的)ガウスノイズの下では常に
一定であり、causal	
  entropic	
  forceはゼロ!	
  
17	
Fj(X0, ⌧) =
2Tc
Tr
Z
fj(0)P(X(t)|X(0)) log P(X(t)|X(0))DX(t)
反論と考察	
•  H.	
  J.	
  Kappenの反論(Dec	
  2013)	
  
–  パス確率を時間分割近似で考えると、causal	
  entropyは	
  
18	
S(X0) =
Z NY
i=1
P(Xi|Xi 1) log
NY
j=1
P(Xj|Xj 1)dX1 · · · dXN
=
NX
j=1
Z NY
i=1
P(Xi|Xi 1) log P(Xj|Xj 1)dX1 · · · dXN
=
NX
j=1
Z
P(XN |XN 1) · · · P(Xj+1|Xj)P(Xj|Xj 1)P(Xj 1|Xj 2) · · · P(X1|X0)
⇥ log P(Xj|Xj 1)dX1 · · · dXN
Z
P(XN |XN 1) · · · P(Xj+1|Xj)dXj+1 · · · dXN = 1
S(X0) =
NX
j=1
Z
P(Xj|Xj 1)P(Xj 1|Xj 2) · · · P(X1|X0) log P(Xj|Xj 1)dX1 · · · dXj
なので
反論と考察	
•  H.	
  J.	
  Kappenの反論(Dec	
  2013)	
  
19	
Z
P(Xj 1|Xj 2) · · · P(X1|X0)dX1 · · · dXj 2 = P(Xj 1|X0) なので	
S(X0) =
NX
j=1
Z
P(Xj|Xj 1)P(Xj 1|X0) log P(Xj|Xj 1)dXj 1dXj
sj 1(Xj 1) =
Z
P(Xj|Xj 1) log P(Xj|Xj 1)dXj と定義すると	
S(X0) =
NX
j=1
Z
P(Xj 1|X0)sj 1(Xj 1)dXj 1
反論と考察	
•  H.	
  J.	
  Kappenの反論(Dec	
  2013)	
  
–  これの値はガウスノイズによるマルコフ的遷移の場合は
常に一定	
  
–  従ってS(X0)は常に一定で、Causal	
  Entropic	
  Forceはゼロ	
  
20	
sj 1(Xj 1) =
Z
P(Xj|Xj 1) log P(Xj|Xj 1)dXj
反論と考察	
•  考察	
  
–  時間分割近似の各時点を個別に処理してしまう方法は本
当に正しいか?	
  
–  少なくとも、パスの多様性(「似た」パスが多いかそうでな
いか)という観点が陽には入らないように見える	
  
–  Time	
  Horizonの効果もない	
  
–  「似た」パス <-­‐-­‐> パス空間のσ加法族の要素	
  
•  これを明確に定義することは可能かどうか	
  
•  経路積分自体は数学的にあまり正当化されていない	
  
–  著者によるシミュレーションではどう処理されているのか	
  
•  実装が公開されていない	
  
21
まとめ	
•  一般の時間発展に関するエントロピーであるCausal	
  
Entropyの考え方を紹介した	
  
•  Causal	
  Entropy最大化という原理を仮定することで得
られるCausal	
  Entropic	
  Forceにより、秩序のある系の
振る舞いが得られることを見た	
  
•  Causal	
  Entropic	
  Forceの考え方に対する反論を取り
上げ、それについての考察を示した	
22

Contenu connexe

En vedette

量子アニーリング解説 1
量子アニーリング解説 1量子アニーリング解説 1
量子アニーリング解説 1Kohta Ishikawa
 
Procedural modeling using autoencoder networks
Procedural modeling using autoencoder networksProcedural modeling using autoencoder networks
Procedural modeling using autoencoder networksShuhei Iitsuka
 
機械学習を用いた会議診断システムの開発
機械学習を用いた会議診断システムの開発機械学習を用いた会議診断システムの開発
機械学習を用いた会議診断システムの開発Takahiro Kubo
 
TIS 戦略技術センター AI技術推進室紹介
TIS 戦略技術センター AI技術推進室紹介TIS 戦略技術センター AI技術推進室紹介
TIS 戦略技術センター AI技術推進室紹介Takahiro Kubo
 
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-Takahiro Kubo
 
「人工知能」をあなたのビジネスで活用するには
「人工知能」をあなたのビジネスで活用するには「人工知能」をあなたのビジネスで活用するには
「人工知能」をあなたのビジネスで活用するにはTakahiro Kubo
 
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計Takahiro Kubo
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statisticsKohta Ishikawa
 

En vedette (8)

量子アニーリング解説 1
量子アニーリング解説 1量子アニーリング解説 1
量子アニーリング解説 1
 
Procedural modeling using autoencoder networks
Procedural modeling using autoencoder networksProcedural modeling using autoencoder networks
Procedural modeling using autoencoder networks
 
機械学習を用いた会議診断システムの開発
機械学習を用いた会議診断システムの開発機械学習を用いた会議診断システムの開発
機械学習を用いた会議診断システムの開発
 
TIS 戦略技術センター AI技術推進室紹介
TIS 戦略技術センター AI技術推進室紹介TIS 戦略技術センター AI技術推進室紹介
TIS 戦略技術センター AI技術推進室紹介
 
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
文章を読み、理解する機能の獲得に向けて-Machine Comprehensionの研究動向-
 
「人工知能」をあなたのビジネスで活用するには
「人工知能」をあなたのビジネスで活用するには「人工知能」をあなたのビジネスで活用するには
「人工知能」をあなたのビジネスで活用するには
 
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
 

Similaire à A brief explanation of Causal Entropic Forces

wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布kunihikokaneko1
 
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability DistributionsDeep Learning JP
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017yukisachi
 
解説#82 記号論理学
解説#82 記号論理学解説#82 記号論理学
解説#82 記号論理学Ruo Ando
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介Deep Learning JP
 
経験過程
経験過程経験過程
経験過程hoxo_m
 
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法Kenichi Hironaka
 
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」Masatoshi Yoshida
 
生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333Issei Kurahashi
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)Toru Tamaki
 
自由エネルギー原理と視覚的意識 2019-06-08
自由エネルギー原理と視覚的意識 2019-06-08自由エネルギー原理と視覚的意識 2019-06-08
自由エネルギー原理と視覚的意識 2019-06-08Masatoshi Yoshida
 
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...Masatoshi Yoshida
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半Ohsawa Goodfellow
 
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うーc a
 
20140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv120140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv1Tomoshige Nakamura
 
ネットワーク科学 空間システムデザイン
ネットワーク科学 空間システムデザインネットワーク科学 空間システムデザイン
ネットワーク科学 空間システムデザインhayashiresearchlab
 

Similaire à A brief explanation of Causal Entropic Forces (17)

wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布
 
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
[DL輪読会]Deep Learning for Sampling from Arbitrary Probability Distributions
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017
 
解説#82 記号論理学
解説#82 記号論理学解説#82 記号論理学
解説#82 記号論理学
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
 
経験過程
経験過程経験過程
経験過程
 
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
 
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」
駒場学部講義2019 「統合失調症、感覚運動随伴性、自由エネルギー原理」
 
生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333生物統計特論3資料 2006 ギブス MCMC isseing333
生物統計特論3資料 2006 ギブス MCMC isseing333
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
 
自由エネルギー原理と視覚的意識 2019-06-08
自由エネルギー原理と視覚的意識 2019-06-08自由エネルギー原理と視覚的意識 2019-06-08
自由エネルギー原理と視覚的意識 2019-06-08
 
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...
感覚運動随伴性、予測符号化、そして自由エネルギー原理 (Sensory-Motor Contingency, Predictive Coding and ...
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
 
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー
第2回:”科学的”ってどういうこと?ー疑似科学との境界を追うー
 
20140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv120140512_水曜セミナードラフトv1
20140512_水曜セミナードラフトv1
 
1 Info Theory
1 Info Theory1 Info Theory
1 Info Theory
 
ネットワーク科学 空間システムデザイン
ネットワーク科学 空間システムデザインネットワーク科学 空間システムデザイン
ネットワーク科学 空間システムデザイン
 

Dernier

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 

Dernier (10)

SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 

A brief explanation of Causal Entropic Forces

  • 1. A  brief  explana-on  of   “Causal  Entropic  Forces” 2014/03   @_kohta 1
  • 2. 目次 •  Causal  Entropic  Forces   •  意味と定式化   –  Entropic  Force   –  Entropy  and  Causal  Entropy   –  Causal  Entropic  Force   •  シミュレーション   •  反論と考察 2
  • 3. Causal  Entropic  Forces •  A.  Wissner-­‐Gross  and  C.  Freer,  Phys.  Rev.  LeM.  110,   168702  (April,  2013).   Cameron  Freer   Postdoctoral  Associate,  MIT  Brain  and  Cogni-ve  Sciences   Research  Scien-st,  Gamelan  Labs   Alexander  D.  Wissner-­‐Gross   Research  Affiliate,  MIT  Media  Lab.   Ins-tute  Fellow,  Ins-tute  for  Applied  Computa-onal  Science,                                                              Harvard  University   SEAS  Expert  In  Residence,  Harvard  Innova-on  Lab   Founder,  President,  and  CTO,  Gemedy,  Inc.   3
  • 4. 主張 •  Causal  Entropy最大化という原理を導入   •  それを認めると、Causal  Entropyに基づくエントロ ピー力により「知的な」行動が自発的に生起する!   •  知性の物理モデルを捉える最初の一歩! 4
  • 5. 主張 •  Causal  Entropy最大化という原理を導入   •  それを認めると、Causal  Entropyに基づくエントロ ピー力により「知的な」行動が自発的に生起する!   •  知性の物理モデルを捉える最初の一歩! 5 間違ってるんじゃないの?     H.  J.  Kappen   “Comment:  causal  entropic  forces”   hMp://arxiv.org/abs/1312.4185  (2013)
  • 6. Entropic  Force •  Entropic  Force   –  熱力学の第二法則(エントロピー増大則)が成り立つよう に物理系の巨視的状態は自発的に変化する   –  そのような方向に「力」が働いたとみなすことができる   –  Entropic  Force  =  系のエントロピーが増える方向に働く現 象論的な力 拡散:   広く拡散した状態の方が状態数が多い   Polymer  elas-city:   丸まった状態の方が状態数が多い   hMp://www.chem.ufl.edu/~itl/4411L_f96/rubber/rubber_sav.html hMp://en.wikipedia.org/wiki/Entropic_force 6
  • 7. Entropic  Force •  (ある巨視的状態Xに対する)起こりうる様々な微視 的状態の生起確率 に対して、統計力学的エント ロピーは、   •  巨視的状態Xの変化に対するEntropic  Forceは、   –  Tは温度: エントロピー変化に対する力の大きさの係数   •  高温ほど力が大きい!   Pj S(X) = kB X j Pj(X) log Pj(X) F(X) = TrX S(X) 7
  • 8. Entropy  and  Causal  Entropy •  「普通の」エントロピー   –  ある固定した巨視的状態に対して、それを実現する微視 的状態の数を数える   •  体積Vの気体 <-­‐-­‐>  Vの中を飛び回る気体分子の取り得る状態   •  Causal  Entropy   –  現在の状態Xから、ある将来までの状態変化経路(パス) の確率に基づいてエントロピーを定義する   Sc(X, ⌧) = kB Z P(X(t)|X(0)) log P(X(t)|X(0))DX(t) 経路積分 パス確率(測度)   :  X(0)から出発して経路X(t)で    時刻τだけ変化する確率 8
  • 9. Causal  Entropy •  Causal  Entropyの意味   –  現在状態Xによって将来辿り得るパスの分布が変化する (という主張)   •  似たようなパスしか辿り得ない  =  Causal  Entropy低   •  多様なパスを辿り得る  =  Causal  Entropy高   –  Time  Horizon  τ   •  「将来を予測可能な」時間間隔   –  「知的な」系: τが大   –  「知的でない」系: τが小   –  非平衡系での関係式!   t X X’ 低Causal  Entropy 高Causal  Entropy τ 9
  • 10. Causal  Entropic  Force •  Causal  Entropyを増大させる力   –  式展開   Fj(X0, ⌧) = Tc @Sc(X, ⌧) @qj(0) X=X0 Fj(X0, ⌧) = kB Z @P(X(t)|X(0)) @qj(0) log P(X(t)|X(0))DX(t) Z 1 1 @P(X(t)|X(0)) @qj(0) dqj(0) = 0 となるから。 ??? 着目する領域から出るパスの確率はゼロとするため、 特定の成分(自由度)にのみ作用する場合も考える X(t) = (q(t), p(t)) 状態変数(位相空間) 10
  • 11. Causal  Entropic  Force •  (巨視的)ブラウン運動する系を考える   •  時間分割近似でパス確率を定義する   qj(✏) = qj(0) + pj(0) 2mj ✏ + fj(0) + hj(0) 2mj ✏2 ガウスノイズ(分散 mjkBTr/ε2) 内力(決定論的) 微小時間 P(X(t)|X(0)) = N 1Y n=0 P(X(tn+1)|X(tn)) 11
  • 12. Causal  Entropic  Force •  Causal  Entropic  Force   –  時刻0でのガウスノイズfj(0)に対して、その方向に力が加 わった初期条件の下で発生するパス確率P(X(t)|X(0))で決 まる重みP(X(t)|X(0))  log  P(X(t)|X(0))が付いて足し合わさ れる   @P(X(t)|X(0)) @qj(0) = N 1Y n=1 P(X(tn+1)|X(tn)) · @P(X(✏)|X(0)) @qj(0) = 2fj(0) kBTr N 1Y n=0 P(X(tn+1)|X(tn)) Fj(X0, ⌧) = 2Tc Tr Z fj(0)P(X(t)|X(0)) log P(X(t)|X(0))DX(t) 12
  • 13. シミュレーション(著者による) •  箱の中の粒子   –  箱の周辺部はパスの多様性(variaty)が小さく、中心部は 多様性が大きい   13 Causal  entropic  forces,  Supplemental  Material:  hMp://math.mit.edu/~freer/
  • 14. シミュレーション(著者による) •  倒立振子   –  重力の下で倒立した状態の方がパスの多様性が大きい   •  ぶら下がった状態は安定停留点 14 Causal  entropic  forces,  Supplemental  Material:  hMp://math.mit.edu/~freer/
  • 15. シミュレーション(著者による) •  道具を使って物を取り出す 15 ・大円(動物の単純化)は自力では箱の      中の小円2を取り出すことができない   ・大円の下部にある小円1(道具の単純化)      を利用すると取り出すことができる     ・小円2を取り出した方がパスの多様性が      高まる Causal  entropic  forces,  Supplemental  Material:  hMp://math.mit.edu/~freer/
  • 16. シミュレーション(著者による) •  Social  Coopera-on 16 ・2つの小円(動物の単純化)はそれぞれ      の中円に作用する(紐を引く)ことができる     ・大円は、上半分領域にいるときは直接      アクセスすることはできないが、2匹の動      物が強調して紐を引っ張ることで、下半分      領域に引っぱり込むことができる   ・大円を引っぱり込めると、アクセスできる      自由度が増えるため、パスの多様性が      増す Causal  entropic  forces,  Supplemental  Material:  hMp://math.mit.edu/~freer/
  • 17. 反論と考察 •  問題点   –  この経路積分をどうやって処理するのか?   •  H.  J.  Kappenの反論(Dec  2013)   –  causal  entropyは(マルコフ的)ガウスノイズの下では常に 一定であり、causal  entropic  forceはゼロ!   17 Fj(X0, ⌧) = 2Tc Tr Z fj(0)P(X(t)|X(0)) log P(X(t)|X(0))DX(t)
  • 18. 反論と考察 •  H.  J.  Kappenの反論(Dec  2013)   –  パス確率を時間分割近似で考えると、causal  entropyは   18 S(X0) = Z NY i=1 P(Xi|Xi 1) log NY j=1 P(Xj|Xj 1)dX1 · · · dXN = NX j=1 Z NY i=1 P(Xi|Xi 1) log P(Xj|Xj 1)dX1 · · · dXN = NX j=1 Z P(XN |XN 1) · · · P(Xj+1|Xj)P(Xj|Xj 1)P(Xj 1|Xj 2) · · · P(X1|X0) ⇥ log P(Xj|Xj 1)dX1 · · · dXN Z P(XN |XN 1) · · · P(Xj+1|Xj)dXj+1 · · · dXN = 1 S(X0) = NX j=1 Z P(Xj|Xj 1)P(Xj 1|Xj 2) · · · P(X1|X0) log P(Xj|Xj 1)dX1 · · · dXj なので
  • 19. 反論と考察 •  H.  J.  Kappenの反論(Dec  2013)   19 Z P(Xj 1|Xj 2) · · · P(X1|X0)dX1 · · · dXj 2 = P(Xj 1|X0) なので S(X0) = NX j=1 Z P(Xj|Xj 1)P(Xj 1|X0) log P(Xj|Xj 1)dXj 1dXj sj 1(Xj 1) = Z P(Xj|Xj 1) log P(Xj|Xj 1)dXj と定義すると S(X0) = NX j=1 Z P(Xj 1|X0)sj 1(Xj 1)dXj 1
  • 20. 反論と考察 •  H.  J.  Kappenの反論(Dec  2013)   –  これの値はガウスノイズによるマルコフ的遷移の場合は 常に一定   –  従ってS(X0)は常に一定で、Causal  Entropic  Forceはゼロ   20 sj 1(Xj 1) = Z P(Xj|Xj 1) log P(Xj|Xj 1)dXj
  • 21. 反論と考察 •  考察   –  時間分割近似の各時点を個別に処理してしまう方法は本 当に正しいか?   –  少なくとも、パスの多様性(「似た」パスが多いかそうでな いか)という観点が陽には入らないように見える   –  Time  Horizonの効果もない   –  「似た」パス <-­‐-­‐> パス空間のσ加法族の要素   •  これを明確に定義することは可能かどうか   •  経路積分自体は数学的にあまり正当化されていない   –  著者によるシミュレーションではどう処理されているのか   •  実装が公開されていない   21
  • 22. まとめ •  一般の時間発展に関するエントロピーであるCausal   Entropyの考え方を紹介した   •  Causal  Entropy最大化という原理を仮定することで得 られるCausal  Entropic  Forceにより、秩序のある系の 振る舞いが得られることを見た   •  Causal  Entropic  Forceの考え方に対する反論を取り 上げ、それについての考察を示した 22