Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de Shion Honda
Plus de Shion Honda (11)
Graph U-Nets
- 1. Graph U-Nets 本田 志温 ICLR/ICML2019読み会 @DeNA Hongyang Gao, Shuiwang Ji ICML 2019 @shion_honda
- 2. 自己紹介 2 • 東京大学大学院情報理工学系研究科 M2 • 医学系の研究室でAI創薬の研究に従事 • NLPやCVも勉強中 • 最近の関心はグラフ • 趣味: 音楽鑑賞, 料理, 旅行, サッカー, 水泳など • SFと神経科学も好き
- 3. 概要 • CNNのpooling/unpoolingをグラフ上で定義 • GCNと組み合わせてGraph U-Netを提案 • ノード分類とグラフ分類の両方でSOTA 3
- 4. 背景 4
- 5. 問題設定 • CNNsはCVやNLPで活躍しているが, これらの データはグリッド状という特徴がある • 非グリッドなグラフ構造でも, 畳み込み演算を 適用できるようにしたGNNsが考案されている 5 • 画像を「ノードが格子状に並んだ グラフ」だと捉えると, ノード分類 は画像のセグメンテーションと同 一視できる • 画像のセグメンテーションで定番のU-Netをグ ラフでも適用できるようにしたい
- 6. U-Netとは • U-Net: Convolutional Networks for Biomedical Image Segmentation [2] • Ronneberger+, MICCAI, 2015 • 前半のdownsamplingと後半のupsamplingからなる U字型のネットワーク • downsamplingの途中の各階層で特徴マップを upsampling側に渡す →異なるスケールの特徴を考慮 • 細胞画像のセグメンテ ーションで実験 6
- 7. グラフに関する様々なタスク 7 タスク スケール 例 ノード分類 ノード 引用関係のグラフにおける論文のカテゴリ予測 リンク予測 ノード SNSのつながり推薦 グラフ分類 グラフ タンパク質の活性予測 グラフ生成 グラフ 分子グラフの生成 *ノードレベルとグラフレベルではタスクの性質が異なる 引用関係 分子 [3]
- 8. GNNsの関連研究 • 元祖GCN • 𝑋𝑙: 第𝑙層での特徴行列 • 𝐷: 次数行列 • 𝐴: 隣接行列 • 𝑊𝑙:第𝑙層での重み • 行列積の形でグラフ畳み込みが書ける 8 𝐴 = 𝐴 + 𝐼 𝐷 = 𝐷 + 𝐼 • DiffPool [4] • ノードのクラスタリングを行うGNNをプーリング 層として挿入 • グラフ分類に 有効
- 9. 本論 9
- 10. gPool 1. 学習可能なベクトル𝑝に特徴行列𝑋を射影(𝑦) 2. 特徴行列𝑋と隣接行列𝐴について, 値の大きな𝑘個の ノードを取り出す(idは保存しておく) 3. 特徴行列𝑋に𝑦でゲートをかける * 3は𝑝を計算グラフに入れるために必要 * k-max poolingと対応 10
- 12. Graph U-Net • gPoolとgUnpoolを対称に並べてU-Netを作る • gPoolとgUnpoolの前後にはGCNを入れる • 最後に各ノードのembeddingが得られる 12
- 13. その他の工夫 • Graph Connectivity Augmentation • gPoolの途中でグラフの連結性が失われるのを防ぎ たい • gPoolの5番目の式で, 隣接行列を2乗する 13 • Improved GCN Layer • GCNでノード自身の特徴に重みをつけるため, 隣接 行列の計算を次のように変える
- 14. 実験1: ノード分類 (transductive) • ノード分類 • transductive: 訓練時に与えられなかったノードラ ベルを当てる • 論文の引用関係を表すグラフ • 条件 • 𝑘 = 2000, 1000, 500, 200として4回のgPool • Contractive pathでは和をとる • upsampling側の最後のGCNで予測 • ベースラインはDeepWalk, GCN, GATなどノー ド埋め込みを得る手法 14
- 15. 実験2: グラフ分類 (inductive) 15 • グラフ分類 • inductive: 訓練時に与えられなかったグラフのラベ ルを当てる • タンパク質と共著関係を表すグラフ • 条件 • 基本的に実験1を踏襲. 同じく4回のgPool • 𝑘 の値はノード数の90%, 70%, 60%, 50%とする • ベースラインはDGCNN, DiffPoolなど
- 16. 結果 1. ノード分類: 3/3でSOTA 16 2. グラフ分類: 2/3でSOTA • COLLABではDiffPool-DETがダントツ
- 17. Ablation studies 17 1. GCN + contracting pathとの比較 2. Graph Connectivity Augmentationは効果あり 3. 最適な深さは4層 4. gPool/Unpoolでパラメータ数はほぼ増えない
- 18. まとめ • まとめ • 学習可能なベクトル𝑝に特徴行列𝑋を射影し, 値の大 きいidのノードを取ることでgPoolを定義 • 捨てたノードを0で埋めてgUnpoolを定義 • これらをGCNと組み合わせてGraph U-Netを提案 • ノード分類とグラフ分類でSOTA • コメント • グラフ分類でもうまくいくのは意外 • グラフ分類のとき, 出力の次元がノード数になるは ずなので, 実装が自明でない (コード非公開) • 発展としてpix2pixのようなこともできそう 18
- 19. 参考文献 [1] Hongyang Gao, Shuiwang Ji. “Graph U-Nets.” ICML. 2019. [2] Olaf Ronneberger, Philipp Fischer, Thomas Brox. “U-Net: Convolutional Networks for Biomedical Image Segmentation.” MICCAI. 2015. [3] Thomas N. Kipf, Max Welling. “Semi-Supervised Classification with Graph Convolutional Networks.” ICLR. 2017. [4] Rex Ying, Jiaxuan You, Christopher Morris, Xiang Ren, William L. Hamilton, Jure Leskovec. “Hierarchical Graph Representation Learning with Differentiable Pooling. ” NeurIPS. 2018. GNNsの導入記事を書きました. [5] GNNまとめ(1): GCNの導入 - Qiita 19
Notes de l'éditeur
- we employ a gate operation to control information flow information flowにpをいれる
- there is a GCN layer before each gPool layer, thereby enabling gPool layers to capture the topological information in graphs implicitly.
- inductive 非自明