Battaglia, P. W., Hamrick, J. B., Bapst, V., Sanchez-Gonzalez, A., Zambaldi, V., Malinowski, M., ... & Gulcehre, C. (2018). Relational inductive biases, deep learning, and graph networks. arXiv preprint arXiv:1806.01261. の紹介スライドになります。

1. Relational inductive biases, deep learning,
and graph networks
北陸先端科学技術大学院大学
博士後期課程1年 加藤龍彦
@CogLunch
1

2. はじめに
• 以下の文献を紹介します
• 書誌情報：Battaglia, P. W., Hamrick, J. B., Bapst, V.,
Sanchez-Gonzalez, A., Zambaldi, V., Malinowski, M., ... &
Gulcehre, C. (2018). Relational inductive biases, deep
learning, and graph networks. arXiv preprint
arXiv:1806.01261.
• スライド中の図はすべて原論文中の図になります
2

3. １．イントロダクション
3

4. 人の知性と合成性
• 人は「有限の手段を無限に使う」（Humbolt, 1836; Chomsky, 1965）
（e.g. 言語）
• 組み合わせによる汎化（combinatorial generalization）
• どうしたらAIにこの能力を実装できるか？
• 人の組み合わせ汎化能力
• 構造を表現し，関係性について推論できる
• 複雑な系を対象とそれらの相互作用として表現する（Navon, 1977…）
• 階層性を用いて一般的な共通性を認識する（Botvinick, 2008...）
• 持っているスキルを組み合わせて新しい問題を解く（Anderson,
1982…）
• 類推をする（Gentner and Markman, 1997; Hummel and Holyoak,
2003）
4

5. 深層学習の強みと弱み
• 強み：大量のデータと大量の計算資源から， end-to-end で
学習して複雑な問題を解ける
• 画像分類，自然言語処理，ゲーム…
• 弱み：組み合わせによる汎化が必要になる問題
• 複雑な言語と状況の理解，構造化されたデータに関する推
論，学習の転移，少量のデータからの学習（Marcus,
2001; Shalev-Shwartz et al., 2017; Lake et al., 2017…）
➡AIの進展には組み合わせ汎化が重要
• nature versus nurture ではなく， use nature and
nurture jointly で行くべし
5

6. 組み合わせ汎化能力を備えたAIに向けて：
グラフネットワークの提案
• 近年グラフとして構造化されたデータ上の関係や対象を扱う
NNが提案（Scarselli et al., 2009b; Bronstein et al.,
2017…）
• 対象や関係そのものの表現を学習可！
• 対象や関係をどのように学習するべきかに関するバイアス
「関係的帰納バイアス」を持つ
• こうした既存のモデルを統一して「グラフネットワーク」を
提案する
6

7. いくつかの用語の定義（Box 1）
• 対象（entity）：属性付きの要素（e.g. サイズと質量がある
物理的オブジェクト）
• 関係（relation）：対象間の性質（e.g. SAME SIZE
AS…），性質自体も属性を持ち得る（e.g. MORE THAN X
TIMES HEAVIER THAN），関係は文脈に依存する（e.g.
FALLS WITH GREATER ACCELERATION THAN, IN AIR
or IN VACUUM?）
• 規則（rule）：ある対象と関係を別の対象と関係に写像する
（e.g. IS ENTITY X LARGE?）
7

8. ２．関係的帰納バイアス
8

9. 関係的帰納バイアスとは
• 学習過程で対象間の関係性や相互作用に制約を付ける帰納バ
イアスのこと
• 帰納バイアスとは
• 学習を行う際にはデータをよく説明する解を見つける必要
がある
• しかし，同様に良い解はたくさんありえる！
（Goodman, 1955）
• 帰納バイアスは解の好ましさを決める
• ベイズでは事前分布
• 線形最小二乗法，L2正則化…
9

10. 深層学習における関係的帰納バイアス
• 深層学習自体も関係的帰納バイアスを持つ
• MLP：階層的処理
• 入力データから層を経る毎にロングレンジな情報の相互
作用が生まれる
10

11. 深層学習における関係的帰納バイアス
11

12. 集合とグラフ上の計算
12
• DNNも関係的帰納バイアスを持つが，実世界の様々な関係を扱うには不十分
• 順序（並べ替え）への不変性
• n惑星からなる太陽系の重心を計算する問題を考える
• 惑星は質量，位置，速度などの属性を持つ
• MLPにやらせると，属性の順序を変えると汎化できない（こうした組み合わ
せはn!ある！）
• 解決策：予測を入力の属性について対称な関数に依存するようにする？
• 並べ替えへの不変性だけでも不十分
• 先ほどの問題で，微小時間後の各惑星の位置を計算する問題を考える
• 各惑星の運動はその他すべての惑星の及ぼす力に依存する
➡単に平均を取るだけでは計算できず．関係を考慮する必要
• 最初の問題は関係０，２つ目は各要素間に関係がある
• グラフは任意の要素間の関係構造を表現可
➡強力な関係的帰納バイアスを使える

13. 3．グラフネットワーク
13

14. グラフネットワークの提案
14
• グラフニューラルネットワーク
• 豊富な関係的構造を持つタスクで活躍
• 画像のシーン理解
• 少数データ学習
• 物理システムのダイナミクス
• マルチエージェントシステム
• 知識グラフ
• 分子構造
• などなど…（p.9-10）

15. グラフネットワークブロック
15
• グラフネットワークブロック
• グラフを入・出力するモジュール
• グラフの定義

16. GNブロック上での状態の更新
• エッジ→ノード→グローバルの順に状態を更新
16

17. GN上での関係的帰納バイアス
• 任意の関係性に関する仮定を表現可能
• ある２つのものが相互作用すると想定されるならその２つ
の対象間にエッジを入れる
• グラフ順序に不変なため，GNは順序に不変
• エッジ・ノードの更新の関数は全体で使い回される
➡組み合わせ的汎化を表現可能
17

18. 4．グラフネットワーク
アーキテクチャのデザイン原理
18

19. 柔軟な表現
• 属性
• 属性の表現にはベクトル，テンソル，集合，グラフなど様々な
ものを使用可
• 出力もエッジ，ノード，グラフなどを選択可
• グラフ構造
• 入力の構造が決まっている場合（ソーシャルネットワーク，知識
グラフ…）
• 入力の構造を反映するようにGNを設計
• 関係構造を推論する場合（視覚的シーン，テキストコーパス…）
• 対象だけノードとして与えて，全てのノード間に有向エッジ
を作って学習
19

20. ブロック内の構造の設計
• 更新のための関数，関数
の入出力は自由に設計可
• 既存のモデルはGNの設計
の一種と考えられる
• MPNN
• NLNN
20

21. 組み合わせ可能な複数ブロックのアーキテクチャ
• 複数のGNを，関数合成のようにして組み合わせ可能
21

22. ５．議論
22

23. グラフネットワーク上での組み合わせ汎化
• GNは対象と関係についてそれぞれ関数を共有することで，モデルにとって新しい構造についても推論可能
• GNの組み合わせ汎化能力の実証
• Battaglia et al. (2016)
• 1タイムステップを予測→何千ものタイムテップを予測可
• 訓練時から対象数を倍・半分してゼロショット可
• Sanchez-Gonzalez et al. (2018)
• 複数関節で学習→関節数を増やしてもOK
• Hamrick et al (2018)とWang et al (2018)
• GNで学習した意思決定の方策は対象を増やしても転移
• Bello et al. (2016)など
• 組み合わせ最適化問題
• 訓練時と異なるサイズの問題に汎化
• 計画問題
• 上と同様
• ブールSAT問題
• 問題サイズと分布に汎化
23

24. 限界
• ある種の非同型グラフはうまく分割できない
• 順序に対する共分散（不変性ではなく）を使うのがいい？
（Kondor et al., 2018）
• 再帰，制御フロー，条件付き繰り返しなどはグラフで表すの
が難しい
• プログラムなどを使うのがいい？（Tenenbaum et al.,
2011など）
24

25. 課題
• グラフはどこから来るのか？
• 生の感覚データからグラフ的な構造を発見できるか
• 対象間の全結合を仮定する（Vaswani et al., 2017;
Wang et al., 2018c）
• 問題点
• 仮定される対象は必ずしも現実の対象に対応しない
• 必要なグラフ構造は全結合よりもスパース
• 状況に応じてダイナミックにグラフ構造を変更させる
• GNが扱う対象や関係は人が直感的に理解できるものに対応す
るので解釈や分析がしやすい
25