6. 手法
Message Passing Neural Networks
forward phaseは2つのphaseが存在
message passing phase
T time steps
message functions: M
vertex update functions: U
各ノードの隠れ状態:h
messages: m
readout phase
t
t
v
t
v
t
9. Message Passing Neural Networks
Notation
G: undirected graphs
x : node features
e : edge features
v
vw
10. Message Passing Neural Networks
message update
m = M (h , h , e )
h = U (h , m )
N(v) denotes the neighbors of v in graph G
エッジの隠れ状態もh として同じように扱う事ができる﴾Kearnes et al. ﴾2016﴿ 参照﴿
v
t+1
w∈N(v)
∑ t v
t
w
t
w
v
v
t+1
t v
t
v
t+1
evw
t
11. Message Passing Neural Networks
readout phase
= R({h ∣v ∈ G})
R: readout function
y^ v
T
13. Message Passing Neural Networks
Convolutional Networks for Learning Molecular Fingerprints
message function
M(h , h , e ) = (h , e )
﴾., .﴿ denotes concatenation
update function
U (h , m ) = σ(H m )
σ: シグモイド関数
deg(v): ノードvの次数
H : 時間tの時の学習済みのマトリクス﴾Nはノードの時数﴿
v w vw w vw
t v
t
v
t+1
t
deg(v)
v
t+1
t
N
14. Convolutional Networks for Learning Molecular
Rはskip connectionを持っている
すべての隠れ層h に対して
R = f( softmax(W h )
f: neural network
W : time step毎の学習済みのreadout matrices
エッジとノードをそれぞれで足しこんでconcat
したがって、エッジとノードを区別することが出来ないのが欠点
m = ( h , e )
v
t
v,t
∑ t v
t
t
v
t+1
∑ w
t
∑ vw
15. Message Passing Neural Networks
Gated Graph Neural Networks ﴾GG‐NN﴿
message function
M(h , h , e ) = A h
A is a learned matrix, one for each edge label e﴾the model assumes discrete edge types﴿
vertex update function
U = GRU(h , m )
GRU﴾Gated Recurrent Unit﴿はweight tying的な役割で使用
v w vw evw w
t
evw
t v
t
v
t+1
16. Gated Graph Neural Networks ﴾GG‐NN﴿
readout function
R = σ(i(h , h )) ⊙ j(h )
i and j are neural networks, and ⊙ denotes elementwise multiplication
v∈V
∑ v
(T)
v
0
v
(T)
17. Message Passing Neural Networks
Interaction Networks
message function: M(h , x , m )
入力が(h , h , e )のNeural Network
﴾・,・,・﴿はconcat
vertex update function: U(h , x , m )
入力が(h , x , m )のNeural Network
v v v
v w vw
v v v
v v v
19. Message Passing Neural Networks
Molecular Graph Convolutions
一般的なMPNNsからすこし逸脱した手法。
message function
M(h , h , e ) = e
vertex update function
U (h , m ) = ReLU(W (α(W h ), m ))
edge state update
e = U (e , h , h ) = ReLU(W (ReLU(W , e ), ReLU(W (h , h ))))
where the W are also learned weight matrices
v
t
w
t
vw
t
vw
t
t v
t
v
t+1
1 0 v
t
v
t+1
vw
t+1
t
′
vw
t
v
t
w
t
4 2 vw
t
3 v
t
w
t
i
20. Message Passing Neural Networks
Laplacian Based Methods
message function
M (h , h ) = C h
where the matrices C are parameterized by the eigenvectors of the graph laplacian L
c = (deg(v)deg(w)) A
real valued adjacency matrix A
t v
t
w
t
vw
t
w
t
vw
t
vw
−1/2
vw
21. Laplacian Based Methods
vertex update function
U (h , m ) = σ(m )
σ is a chosen non‐linearity ﴾such as ReLU﴿
下の構造がKipf & Welling ﴾2016﴿では使われている
U (h , m ) = ReLU(W m )
t v
t
v
t+1
v
t+1
v
t
v
t
v
t+1 t
v
t+1
23. QM9 Dataset
データセット内に含まれている原子
Hydrogen ﴾H﴿
Carbon ﴾C﴿
Oxygen ﴾O﴿
Nitrogen﴾N﴿
Flourine ﴾F﴿
up to 9 heavy ﴾non Hydrogen﴿ atoms
化合物種類
134k druglike organic molecules that span a wide range of chemistry
24. 有機物特性
1. the atomization energy at 0KU ﴾eV﴿
2. atomization energy at room temperature U﴾eV﴿
3. enthalpy of atomization at room temperature H﴾eV﴿
4. free energy of atomization G﴾eV﴿
5. highest fundamental vibrational frequency ω_1 (cm )
6. zero point vibrational energy ﴾ZPVE﴿﴾eV﴿
7. highest occupied molecular orbital ﴾HOMO﴿ ϵ (eV )
8. the energy of the lowest unoccupied molecular orbital ﴾LUMO﴿ ϵ (eV )
9. the electron energy gap ﴾∆ϵ(eV )﴿
10. The electron energy gap is simply the difference ϵ − ϵ
11. the electronic spatial extent ⟨R ⟩(Bohr )
12. the norm of the dipole moment µ﴾Debye﴿
13. the norm of static polarizability α(Bohr )
0
−1
HOMO
LUMO
HOMO LUMO
2 2
3
28. Message Functionsの実験
Pair Message
matrix multiplication ruleの特徴
ノードwからノードvへのメッセージが隠れ状態h およびエッジe の関数のみ
隠れ状態h に依存しない
理論的には、メッセージチャネルをより効率的に使用できる
ノードメッセージが送信元ノードと送信先ノードの両方nの情報をよりどころとする
場合は
したがってメッセージ関数の変形を使用することも試みた﴾Battaglia et al., 2016﴿
エッジeに沿ったwからvへのメッセージは、m = f(h , h , e )
fはニューラルネットワーク
有向グラフの場合、message functionsはM とM の2つを使用
w vw
v
t
wv w
t
v
t
vw
in out