Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de joisino
Plus de joisino (11)
グラフニューラルネットワークとグラフ組合せ問題
- 1. 1 KYOTO UNIVERSITY KYOTO UNIVERSITY グラフニューラルネットワークとグラフ組合せ問題とグラフ組合せ問題グラフ組合せ問題せ問題問題 佐藤竜馬 SIG-FPAI@下呂 2020/01/29
- 2. 2 / 54 KYOTO UNIVERSITY 講演の予定の予定予定 事前知識と背景（と背景（背景（10 分） 機械学習についての簡単な事前知識の共有についての簡単な事前知識の共有簡単な事前知識の共有な事前知識の共有事前知識と背景（の簡単な事前知識の共有共有 グラフニューラルネットワーク (GNN) GNN) について GNN + 強化学習についての簡単な事前知識の共有でアルゴリズムを学習する（アルゴリズムを学習する（を学習する（学習についての簡単な事前知識の共有する（20 分） Learning Combinatorial Optimization Algorithm over Graphs (GNN) NIPS 2017) の簡単な事前知識の共有紹介 GNN の簡単な事前知識の共有表現できる関数についての理論的結果（でアルゴリズムを学習する（きる関数についての理論的結果（についての簡単な事前知識の共有理論的結果（20 分） Approximation Ratios of Graph Neural Networks for Combinatorial Problems (GNN) NeurIPS 2019) の簡単な事前知識の共有紹介 質疑など（な事前知識の共有ど（10 分）
- 3. 3 / 54 KYOTO UNIVERSITY 事前知識と背景と背景背景
- 4. 4 / 54 KYOTO UNIVERSITY 背景: 回帰問題についてについて 入出力例が与えられるので、関係を見つけるが与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける関係を見つけるを見つける見つけるつける 回帰問題について: 学習データ が与えられるので、データ が与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける データの予定裏にある関係 を見つけるにある関係を見つける を見つける見つけるつける ここで はベクトルベクトル はベクトルスカラー 線形回帰 モデル ベクトル スカラー
- 5. 5 / 54 KYOTO UNIVERSITY 背景: ニューラルネットワークについて 線形変換と非線形変換を繰り返すと背景非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす ニューラルネットワークはベクトル、関係を見つける線形変換と非線形変換を繰り返すと背景非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす ここで などの予定活性化関数 モデルの予定出力と背景、関係を見つけるデータの予定値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける近くなるようにパラメータを最適化するくなるようにパラメータを見つける最適化する
- 6. 6 / 54 KYOTO UNIVERSITY 背景: ニューラルネットワークの予定万能近くなるようにパラメータを最適化する似能力について ニューラルネットワークはベクトル任意の関数を近似できるの予定関数を見つける近くなるようにパラメータを最適化する似できる ニューラルネットワークの予定嬉しい点しい点: 万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つけるある パラメータの予定数を見つける十分に増やせば、どんな関数でも任意の精度でに増やせば、どんな関数でも任意の精度でやせば、関係を見つけるどんな関数でも任意の精度で任意の関数を近似できるの予定精度でで 表現できる（そういうパラメータが存在する）できる（そういうパラメータが与えられるので、関係を見つける存在する）する） （学習データ が与えられるので、したと背景きにどういう関数が与えられるので、関係を見つける得られるかという話とは別）られるかと背景いう話とは別）と背景はベクトル別） モデル どんな関数でも任意の精度で表現できる（そういうパラメータが存在する）できます
- 7. 7 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 入力が与えられるので、関係を見つけるベクトルではベクトルなくグラフ学習の予定形の予定と背景きの予定機械学習データ が与えられるので、 学習データ が与えられるので、データの予定入力が与えられるので、関係を見つけるグラフ学習全体やグラフのノードの時を考えるやグラフ学習の予定ノードの時を考えるの予定時を考えるを見つける考えるえる 例が与えられるので、関係を見つけるえば、関係を見つけるノードの時を考えるにカテゴリが紐付いているが与えられるので、関係を見つける紐付いているいている グラフ学習データはベクトルその予定ままニューラルネットワークに 入力できない 化合物が入力、毒性 が与えられるので、関係を見つける入力、関係を見つける毒性 (Yes/No) Yes/No) ) を見つける予測するする https://www.doc.ic.ac.uk/~shm/ mutagenesis.html 引用ネットワークのノードネットワークの簡単な事前知識の共有ノードが与えられるので、関係を見つける 入力、関係を見つけるジャンルを見つける予測するする Graph Attention Networks
- 8. 8 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 入力が与えられるので、関係を見つけるベクトルではベクトルなくグラフ学習の予定形の予定と背景きの予定機械学習データ が与えられるので、 問題についてを見つけるも任意の精度でう少しきちんと定式化するとしきちんと背景定式化すると背景 グラフ学習 が与えられるので、関係を見つける与えられるので、関係を見つけるえられる（例が与えられるので、関係を見つけるえばソーシャルネットワーク） グラフ学習の予定頂点 にはベクトル特徴量 が与えられるので、関係を見つける紐付いているいており返す与えられるので、関係を見つけるえられる （例が与えられるので、関係を見つけるえば性別や居住地） グラフ学習の予定一部の頂点 には求めたい値 が与えられるの予定頂点 にはベクトル求めたい値 が与えられるめたい値が近くなるようにパラメータを最適化する が与えられるので、関係を見つける与えられるので、関係を見つけるえられる （例が与えられるので、関係を見つけるえばその予定ユーザーが与えられるので、関係を見つける広告をクリックするかどうか を見つけるクリが紐付いているックするかどうか 0 o) r 1） 残りの頂点たちについて、 を予測したい り返すの予定頂点たちについて、関係を見つける を見つける予測するしたい モデル グラフ学習, ノードの時を考える スカラー
- 9. 9 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 設定はベクトル色々あるが、基本的には あるが与えられるので、関係を見つける、関係を見つける基本的には にはベクトル GNN で全て解けるける 問題について設定はベクトル色々あるが、基本的には な変種があるが与えられるので、関係を見つけるある 学習データ が与えられるので、と背景推論で一つの同じグラフを使う で一つの予定同じグラフを使う じグラフを使う グラフ学習を見つける使う う (Yes/No) trunsductive) 推論で一つの同じグラフを使う 時を考えるはベクトル既知ラベルの予定ない新しいグラフが与えられる しいグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられる (Yes/No) inductive) だいたいの予定 GNN はベクトルどちらの予定場合にも任意の精度で使う える 化合物が入力、毒性 の予定毒性分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いているではベクトルノードの時を考えるではベクトルなくグラフ学習自体やグラフのノードの時を考えるにラベルが与えられるので、関係を見つける付いているいている GNN でこういう場合を見つける扱うときは頂点ごとに何か予測してうと背景きはベクトル頂点ごと背景に何か予測してか予測するして それらを見つけるまと背景める（例が与えられるので、関係を見つけるえば和・平均を取る）ことが多いを見つける取る）ことが多いる）こと背景が与えられるので、関係を見つける多いい 以下ではベクトル基本的には に inductive なノードの時を考える分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いている・回帰を見つける考えるえる
- 10. 10 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 グラフ学習ニューラルネットワークなどの予定手法があるが与えられるので、関係を見つけるある グラフ学習を見つける扱うときは頂点ごとに何か予測してう機械学習データ が与えられるので、手法があるはベクトルいくつも任意の精度である グラフ学習カーネル（ランダムウォークカーネル など） 特徴量抽出（グラフ学習レットなど） ノードの時を考える・グラフ学習埋め込みを使う（行列分解め込みを使う（行列分解みを見つける使う う（行列分に増やせば、どんな関数でも任意の精度で解ける, DeepWalk など） グラフニューラルネットワークとグラフ組合せ問題(GNN)GNN)（GCN, GIN, GAT など） HOT
- 11. 11 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 GNNはベクトル線形変換と非線形変換を繰り返す・情報収集・非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす グラフ学習ニューラルネットワークはベクトル線形変換と非線形変換を繰り返す、関係を見つける 近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えると背景の予定通信、関係を見つける非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす ここで はベクトル の予定近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えるの予定集合 集め方はいろいろある（ここでは和を取っている）はベクトルいろいろある（ここではベクトル和を見つける取る）ことが多いっている） モデルの予定出力と背景、関係を見つけるデータの予定値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける近くなるようにパラメータを最適化するくなるようにパラメータを見つける最適化する http://tkipf.github.io/misc/SlidesCambridge.pdf 各頂点が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）ベクトルを見つける持つつ
- 12. 12 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 GNNはベクトル計算が容易・微分可能・可変サイズに対応可が与えられるので、関係を見つける容易・微分に増やせば、どんな関数でも任意の精度で可能・可変サイズに対応可に対応可 なぜこういう形？ （グラフ学習畳み込み由来の理論的な話以外に）み込みを使う（行列分解み由来の理論的な話以外に）の予定理論で一つの同じグラフを使う 的には な話とは別）以外に）に） 計算が容易・微分可能・可変サイズに対応可が与えられるので、関係を見つける容易 基本的には に行列積なので なの予定で GPU で高速計算が容易・微分可能・可変サイズに対応可 O(Yes/No) 層数 x 入力グラフ学習の予定辺数) で計算が容易・微分可能・可変サイズに対応可可能 パラメータに関して微分に増やせば、どんな関数でも任意の精度で可能 ノードの時を考えるの予定番号付いているけによらない (Yes/No) invariant, equivariant) 可変サイズに対応可の予定グラフ学習を見つける扱うときは頂点ごとに何か予測してえる 隣接行列を見つける普通の予定 NN に入れる
- 13. 13 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データ が与えられるので、 グラフ学習ニューラルネットワークはベクトル様々あるが、基本的には な問題についてが与えられるので、関係を見つける解けるける グラフ学習ニューラルネットワークにはベクトル様々あるが、基本的には な応用があるが与えられるので、関係を見つけるある 論文のジャンル予測の簡単な事前知識の共有ジャンル予測 Graph Attention Networks ソーシャルネットワークから ユーザーが買う商品予測買う商品予測う商品予測商品予測 Graph Neural Networks for Social Recommendation 知識と背景（グラフの簡単な事前知識の共有要素の重要度予測の簡単な事前知識の共有重要度予測 Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks
- 14. 14 / 54 KYOTO UNIVERSITY まと背景め: グラフ学習学習データ が与えられるので、 GNN はベクトルグラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力 GNNはベクトルグラフ学習やグラフ学習の予定ノードの時を考えるを見つける分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いている・回帰するモデル グラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力 パラメータを見つけるうまく調節することで、所望の関数を得るすること背景で、関係を見つける所望の関数を得るの予定関数を見つける得られるかという話とは別）る 特に、関係を見つけるパラメータに関して微分に増やせば、どんな関数でも任意の精度で可能なの予定で勾配法があるで最適化可能 化合物が入力、毒性 ・引用があるネットワーク・ソーシャルネットワーク・知識と背景グラフ学習などの予定 様々あるが、基本的には なドの時を考えるメインの予定様々あるが、基本的には な問題についてに応用があるされている GNN グラフ学習, ノードの時を考える スカラー
- 15. 15 / 54 KYOTO UNIVERSITY GNN + 強化学習データ が与えられるので、でアルゴリが紐付いているズに対応可ムを見つける学習データ が与えられるので、する Learning Combinatorial Optimization Algorithms over Graphs
- 16. 16 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について 頂点被覆は全ての辺をカバーする頂点集合はベクトル全ての予定辺を見つけるカバーする頂点集合 グラフ学習 の予定頂点被覆は全ての辺をカバーする頂点集合はベクトル頂点の予定集合 であって 全ての予定辺 について、関係を見つけるどちらかの予定端点が与えられるので、関係を見つける に含まれているものまれているも任意の精度での予定 全ての予定辺を見つけるカバーする頂点集合 最小頂点被覆は全ての辺をカバーする頂点集合問題についてはベクトルグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられて最小の予定頂点被覆は全ての辺をカバーする頂点集合を見つける見つけるつける 応用がある: どの予定ユーザーに広告をクリックするかどうか を見つける配信すれば効果的には か、関係を見つけるなど 頂点被覆は全ての辺をカバーする頂点集合 最小頂点被覆は全ての辺をカバーする頂点集合
- 17. 17 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について 最大カットは横断する辺が最大となる頂点集合の分割カットはベクトル横断する辺が最大となる頂点集合の分割する辺が与えられるので、関係を見つける最大カットは横断する辺が最大となる頂点集合の分割と背景なる頂点集合の予定分に増やせば、どんな関数でも任意の精度で割 最大カットは横断する辺が最大となる頂点集合の分割カット問題についてはベクトル重み付きグラフ が与えられるので、み付いているきグラフ学習 が与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける 頂点集合の予定二分に増やせば、どんな関数でも任意の精度で割 であって横断する辺が最大となる頂点集合の分割する辺の予定重み付きグラフ が与えられるので、みの予定和が与えられるので、関係を見つける最大カットは横断する辺が最大となる頂点集合の分割 になるも任意の精度での予定を見つける見つけるつける問題について 応用がある: データを見つける似ている集合に分に増やせば、どんな関数でも任意の精度で割したい（クラスタリが紐付いているング） 最大カットは横断する辺が最大となる頂点集合の分割カットカット（頂点集合の予定二分に増やせば、どんな関数でも任意の精度で割）
- 18. 18 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について TSPはベクトル最短の巡回路を見つける問題の予定巡回路を見つける問題を見つける見つけるつける問題について 巡回セールスマン問題について (Yes/No) TSP)はベクトル重み付きグラフ が与えられるので、み付いているきグラフ学習 が与えられるので、関係を見つける 与えられるので、関係を見つけるえられるの予定で、関係を見つける頂点集合の予定順列であって巡回路を見つける問題の予定長さが最小になるさが与えられるので、関係を見つける最小になる も任意の精度での予定を見つける見つけるつける問題について 応用がある: 最適な商品の配送路を見つけたいの予定配送路を見つける問題を見つける見つけるつけたい 最短の巡回路を見つける問題巡回路を見つける問題巡回路を見つける問題の予定例が与えられるので、関係を見つける Neural Combinatorial Optimization with Reinforcement Learning
- 19. 19 / 54 KYOTO UNIVERSITY 背景: 問題について点 厳密に高速に解けないので良い近似をめざすに高速に解けるけないの予定で良い近似をめざすい近くなるようにパラメータを最適化する似を見つけるめざす これらの予定問題についてはベクトル NP 困難 厳密に高速に解けないので良い近似をめざす解けるを見つける高速に求めたい値 が与えられるめられない 厳密に高速に解けないので良い近似をめざす解けるではベクトルなく、関係を見つける近くなるようにパラメータを最適化する似解けるを見つける得られるかという話とは別）ること背景を見つける目指すす 特殊な性質を持つインスタンス関して速い な性質を持つインスタンス関して速い を見つける持つつインスタンス関して速い o) r 良い近似をめざすい近くなるようにパラメータを最適化する似を見つける与えられるので、関係を見つけるえる 現できる（そういうパラメータが存在する）実的には なデータに対して速いアルゴリが紐付いているズに対応可ム・良い近似をめざすい近くなるようにパラメータを最適化する似を見つける与えられるので、関係を見つけるえる アルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける多いく知られている 探索の効率化、枝刈りの予定効率化、関係を見つける枝刈りり返す 貪欲に解を構築する（高速）に解けるを見つける構築する（高速）する（高速） IP ソルバなど
- 20. 20 / 54 KYOTO UNIVERSITY 背景: 問題について設定 過去のインスタンスから、良いアルゴリズムを自動で設計の予定インスタンスから、関係を見つける良い近似をめざすいアルゴリが紐付いているズに対応可ムを見つける自動で設計で設計 似たインスタンスを見つける反復的には に解けるく必要がある状況を考えるが与えられるので、関係を見つけるある状況を考えるを見つける考えるえる 例が与えられるので、関係を見つけるえば、関係を見つける商品の配送路を見つけたいの予定配送路を見つける問題を見つける毎日決める。める。配送すべき地点はベクトル毎日似てい るが与えられるので、関係を見つける厳密に高速に解けないので良い近似をめざすにはベクトル同じグラフを使う じグラフを使う ではベクトルないの予定で毎日解けるき直す必要があるす必要がある状況を考えるが与えられるので、関係を見つけるある これらの予定インスタンスはベクトル何か予測してか良い近似をめざすい性質を持つインスタンス関して速い を見つける持つっている かも任意の精度でしれないの予定で、関係を見つけるそれを見つけるうまく利用があるしたい 木幅などの組合せ的性質 などの予定組合せ的には 性質を持つインスタンス関して速い o) r 山岳と住宅地に分かれているなどと背景住宅地に分に増やせば、どんな関数でも任意の精度でかれているなど インスタンスを見つける検査して人手で良い性質を取り出してして人手で良い近似をめざすい性質を持つインスタンス関して速い を見つける取る）ことが多いり返す出して アルゴリが紐付いているズに対応可ムを見つける設計するの予定はベクトルコストが与えられるので、関係を見つけるかかる 過去のインスタンスから、良いアルゴリズムを自動で設計の予定データから、関係を見つける良い近似をめざすいアルゴリが紐付いているズに対応可ムを見つける自動で設計で設計したい
- 21. 21 / 54 KYOTO UNIVERSITY 背景: 問題について設定 頂点の予定評価関数を見つける学習データ が与えられるので、する 完全に任意の関数を近似できるなアルゴリが紐付いているズに対応可ムを見つける表現できる（そういうパラメータが存在する）するの予定はベクトル難しすぎる 一つずつ頂点を見つける追加して解を構成していく際の評価関数を学習するして解けるを見つける構成していく際の評価関数を学習するしていく際の評価関数を学習するの予定評価関数を見つける学習データ が与えられるので、する 完全に貪欲に解を構築する（高速）法があると背景いうわけではベクトルなく、関係を見つけるここを見つける選ぶと将来的によさそうぶと背景将来の理論的な話以外に）的には によさそう だと背景いうこと背景も任意の精度で含まれているものめて評価関数を見つける学習データ が与えられるので、する 一つずつ頂点を追加して解を構成していくつずつ頂点を追加して解を構成していくを学習する（追加して解を構成していくして解を構成していくを学習する（構成していくしていく
- 22. 22 / 54 KYOTO UNIVERSITY 背景: 問題について設定 頂点列を見つける選ぶと将来的によさそうぶ問題についてで、関係を見つける部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定目的には 関数はベクトル所与えられるので、関係を見つけると背景する 問題について（最小頂点被覆は全ての辺をカバーする頂点集合・最大カットは横断する辺が最大となる頂点集合の分割カット・TSP など）の予定構造が与えられるが与えられるので、関係を見つける与えられるので、関係を見つけるえられる 問題についての予定解けるはベクトル頂点の予定列（o) r 集合）で表されると背景する 頂点の予定列 について、関係を見つける列の予定良い近似をめざすさを見つける示す関数 が与えられるす関数 が与えられるので、関係を見つける与えられるので、関係を見つけるえられる 頂点の予定列が与えられるので、関係を見つける実行可能かどうかを見つける判定する関数 が与えられるので、関係を見つける与えられるので、関係を見つけるえられる 最小頂点被覆は全ての辺をカバーする頂点集合の予定場合、関係を見つける良い近似をめざすさ関数はベクトル集合の予定大カットは横断する辺が最大となる頂点集合の分割きさに負号を見つけるつけたも任意の精度での予定 判定関数はベクトル、関係を見つける全ての予定辺が与えられるので、関係を見つけるカバーされているかを見つける判定する 最大カットは横断する辺が最大となる頂点集合の分割カットの予定場合、関係を見つける良い近似をめざすさ関数はベクトル横断する辺が最大となる頂点集合の分割する辺の予定重み付きグラフ が与えられるので、みの予定和 TSPの予定場合、関係を見つける良い近似をめざすさ関数はベクトルツアーの予定長さが最小になるさに負号を見つけるつけたも任意の精度での予定
- 23. 23 / 54 KYOTO UNIVERSITY 背景: 問題について設定 今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定状態が与えられた時、次に選ぶ頂点の嬉しさをモデルが与えられるので、関係を見つける与えられるので、関係を見つけるえられた時を考える、関係を見つける次に選ぶ頂点の嬉しさをモデルに選ぶと将来的によさそうぶ頂点の予定嬉しい点しさを見つけるモデル 今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定情報が与えられるので、関係を見つける特徴に含まれているものまれているグラフ学習 と背景、関係を見つける 頂点 を見つける受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いったと背景きに、関係を見つけるその予定頂点を見つける次に選ぶ頂点の嬉しさをモデルに追加して解を構成していく際の評価関数を学習するする嬉しい点しさを見つける 表す関数（ポリが紐付いているシー関数） を見つけるモデリが紐付いているングしたい 「今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定情報が与えられるので、関係を見つける特徴に含まれているものまれている」というのは、頂点のと背景いうの予定はベクトル、関係を見つける頂点の予定 特徴量の予定ある次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時 が与えられるので、関係を見つける、関係を見つけるその予定頂点が与えられるので、関係を見つける部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解けるに含まれているものまれている時を考える 1, そうでないと背景き 0 と背景する 抽象的には なグラフ学習の予定場合特徴量はベクトルこれだけだが与えられるので、関係を見つける、関係を見つける現できる（そういうパラメータが存在する）実の予定問題についてだと背景 ユーザーの予定情報などの予定補助情報も任意の精度で特徴と背景して利用があるできる 次に選ぶ頂点の嬉しさをモデルに追加して解を構成していく際の評価関数を学習するする嬉しい点しさと背景いうの予定はベクトル、関係を見つけるポリが紐付いているシー関数を見つけるも任意の精度でと背景に貪欲に解を構築する（高速）に頂点を見つける 追加して解を構成していく際の評価関数を学習するすると背景、関係を見つける最終的ににどれだけ良い近似をめざすい解けるが与えられるので、関係を見つける得られるかという話とは別）られるかを見つける示す関数 が与えられるす
- 24. 24 / 54 KYOTO UNIVERSITY 手法がある: ポリが紐付いているシー関数を見つける GNN でモデリが紐付いているング + 強化学習データ が与えられるので、 ポリが紐付いているシー関数を見つけるグラフ学習ニューラルネットワークでモデリが紐付いているングして解けるく 今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定問題について・データの予定分に増やせば、どんな関数でも任意の精度で布にあった良いパラメータを推定するにあった良い近似をめざすいパラメータを見つける推定する 問題について点: 真のポリシー関数は分からない の予定ポリが紐付いているシー関数はベクトル分に増やせば、どんな関数でも任意の精度でからない 教師あり学習はできないあり返す学習データ が与えられるので、はベクトルできない 解ける決める。策: 強化学習データ が与えられるので、 GNN でモデル化されたポリが紐付いているシー関数を見つける使う って できた解けるの予定良い近似をめざすさを見つける報酬に に GNN を見つける訓練するする エージェント (Yes/No) GNN) 環境 行動で設計 （頂点を見つける選ぶと将来的によさそうぶ） 報酬に （解けるの予定良い近似をめざすさ） GNN グラフ学習, ノードの時を考える ポリが紐付いているシー値が近くなるようにパラメータを最適化する
- 25. 25 / 54 KYOTO UNIVERSITY 手法がある: 強化学習データ が与えられるので、の予定枠組みにおける対応概念 状態が与えられた時、次に選ぶ頂点の嬉しさをモデル: 入力グラフ学習・現できる（そういうパラメータが存在する）在する）の予定部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解ける（頂点の予定列） 行動で設計: 頂点を見つける一つ選ぶと将来的によさそう択するする 遷移: 入力グラフ学習はベクトル変わらない。現できる（そういうパラメータが存在する）在する）の予定部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で解けるに選ぶと将来的によさそうばれた頂点が与えられるので、関係を見つける 追加して解を構成していく際の評価関数を学習するされる（決める。定的には ） 報酬に : 遷移前と背景遷移後の良さ関数の差の予定良い近似をめざすさ関数の予定差 累積なので 報酬に はベクトル最終的には な解けるの予定目的には 関数 方はいろいろある（ここでは和を取っている）策: ポリが紐付いているシー関数の予定最も任意の精度で高い頂点を見つける選ぶと将来的によさそうぶ ポリが紐付いているシー関数はベクトル GNN でモデル化
- 26. 26 / 54 KYOTO UNIVERSITY 手法がある: Q 学習データ が与えられるので、で GNN を見つける訓練するする モデルの予定訓練するにはベクトル Q 学習データ が与えられるので、を見つける使う う（サンプル効率が与えられるので、関係を見つけるよい） 1-step Q 学習データ が与えられるので、: を見つける最小化するように学習データ が与えられるので、 報酬に が与えられるので、関係を見つける遅れる問題を緩和するため れる問題についてを見つける緩和するため n-step Q 学習データ が与えられるので、を見つける使う う サンプル効率を見つけるよくする・サンプル間の相関を小さくするため の予定相関を見つける小さくするため experience replay を見つける行う
- 27. 27 / 54 KYOTO UNIVERSITY 実験: 古典的には なアルゴリが紐付いているズに対応可ム・普通の予定ニューラルネットと背景比較 実験的には に手法があるの予定有効性を見つける確認するする Barabási–Albert (Yes/No) BA) モデルでグラフ学習を見つける生成していく際の評価関数を学習するして、関係を見つける学習データ が与えられるので、・テストする TSP はベクトル DIMACS TSP Challenge で生成していく際の評価関数を学習するした 2 次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時 TSP ベースラインにはベクトル、関係を見つける（古典的には な）問題について専用があるの予定アルゴリが紐付いているズに対応可ムを見つける用があるいる 頂点被覆は全ての辺をカバーする頂点集合: カバーされていな辺を見つける選ぶと将来的によさそうんで両端を見つける追加して解を構成していく際の評価関数を学習する 最大カットは横断する辺が最大となる頂点集合の分割カット: 山登り、り返す、関係を見つけるSDP TSP: MST, Christo) fides, 2-OPT, 貪欲に解を構築する（高速）など 行列分に増やせば、どんな関数でも任意の精度で解けるを見つけるして普通の予定ニューラルネットワークに入れるも任意の精度での予定も任意の精度で使う う (Yes/No) Po) inter Netwo) rks)
- 28. 28 / 54 KYOTO UNIVERSITY 実験: 種がある々あるが、基本的には の予定アルゴリが紐付いているズに対応可ムに比べて良い近似をめざすい結果 各手法があるについて入力グラフ学習サイズに対応可を見つける変えたと背景きの予定近くなるようにパラメータを最適化する似度でを見つけるプロットした図 ここで近くなるようにパラメータを最適化する似度でと背景はベクトル、関係を見つける各手法があるが与えられるので、関係を見つける出力した解けると背景、関係を見つける最適化ソルバが与えられるので、関係を見つける 1 時を考える間の相関を小さくするため 探索の効率化、枝刈りした解ける（最適と背景はベクトル限らない）の目的関数の比らない）の予定目的には 関数の予定比 Structure2vec (Yes/No) S2V-DQN) が与えられるので、関係を見つける他の手法よりも良いの予定手法があるより返すも任意の精度で良い近似をめざすい 最小頂点被覆は全ての辺をカバーする頂点集合ではベクトル近くなるようにパラメータを最適化する似度ではベクトルほぼ 1
- 29. 29 / 54 KYOTO UNIVERSITY 実験: 小さいグラフ学習で学習データ が与えられるので、しても任意の精度で大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習でも任意の精度でうまくいく 次に選ぶ頂点の嬉しさをモデルに、関係を見つける小さいグラフ学習で訓練するしたと背景きに、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習での予定性能を見つける調べる 小さいグラフ学習での予定学習データ が与えられるので、で済むなら、コストも小さくて済むので嬉しいむなら、関係を見つけるコストも任意の精度で小さくて済むなら、コストも小さくて済むので嬉しいむの予定で嬉しい点しい 以下が与えられるので、関係を見つける 50-100 頂点の予定グラフ学習で学習データ が与えられるので、し、関係を見つける各サイズに対応可でテストしたと背景きの予定 近くなるようにパラメータを最適化する似度でを見つける示す関数 が与えられるした表 大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習でも任意の精度で低い近似度を達成しているい近くなるようにパラメータを最適化する似度でを見つける達成していく際の評価関数を学習するしている サイズに対応可が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きくなると背景最適化ソルバも任意の精度で厳密に高速に解けないので良い近似をめざすから遠くなるかもしれないくなるかも任意の精度でしれない
- 30. 30 / 54 KYOTO UNIVERSITY 実験: 最小頂点被覆は全ての辺をカバーする頂点集合での予定学習データ が与えられるので、したアルゴリが紐付いているズに対応可ムの予定図示す関数 が与えられる
- 31. 31 / 54 KYOTO UNIVERSITY 実験: 最小頂点被覆は全ての辺をカバーする頂点集合での予定学習データ が与えられるので、したアルゴリが紐付いているズに対応可ムの予定図示す関数 が与えられる
- 32. 32 / 54 KYOTO UNIVERSITY 実験: 学習データ が与えられるので、されたアルゴリが紐付いているズに対応可ムを見つける眺めてみると戦略がわかるめてみると背景戦略がわかるが与えられるので、関係を見つけるわかる 最小頂点被覆は全ての辺をカバーする頂点集合の予定ために学習データ が与えられるので、したアルゴリが紐付いているズに対応可ムはベクトル、関係を見つけるカバーできる辺の予定数と背景 残りの頂点たちについて、 を予測したい っている辺の予定連結ぐあいを見つけるうまくバランス取る）ことが多いって頂点を見つける選ぶと将来的によさそう択するしていく 最大カットは横断する辺が最大となる頂点集合の分割カットの予定ために学習データ が与えられるので、したアルゴリが紐付いているズに対応可ムはベクトル、関係を見つける今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルまでに横断する辺が最大となる頂点集合の分割している辺が与えられるので、関係を見つける （今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルにも任意の精度で後の良さ関数の差にも任意の精度で）も任意の精度でと背景に戻らないように頂点を選択していくらないように頂点を見つける選ぶと将来的によさそう択するしていく 最大カットのために学習したアルゴリズムの動作カットの簡単な事前知識の共有ために学習についての簡単な事前知識の共有したアルゴリズムを学習する（の簡単な事前知識の共有動作
- 33. 33 / 54 KYOTO UNIVERSITY 関連研究: 機械学習データ が与えられるので、を見つける使う って組合せ問題についてを見つける解けるく研究はベクトル増やせば、どんな関数でも任意の精度でえつつある AlphaGoZero の簡単な事前知識の共有技術使ってって 彩色問題を解くを学習する（解を構成していくく Coloring Big Graphs With AlphaGoZero MIP ソルバの変数選択を の簡単な事前知識の共有変数についての理論的結果（選択を を学習する（ GNN を学習する（使ってってモデリング Exact Combinatorial Optimization with Graph Convolutional Neural Networks
- 34. 34 / 54 KYOTO UNIVERSITY まと背景め: グラフ学習学習データ が与えられるので、 GNN はベクトルグラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力 GNN を見つける使う って組合せ問題についての予定アルゴリが紐付いているズに対応可ムを見つけるモデル化 強化学習データ が与えられるので、を見つける使う って GNN を見つける訓練するすること背景で、関係を見つける様々あるが、基本的には な問題についてに対して 自動で設計で効率的には なアルゴリが紐付いているズに対応可ムを見つける獲得られるかという話とは別）できる 特に、関係を見つけるデータの予定分に増やせば、どんな関数でも任意の精度で布にあった良いパラメータを推定するに従って獲得するので、汎用的なソルバよりも、って獲得られるかという話とは別）するの予定で、関係を見つける汎用がある的には なソルバより返すも任意の精度で、関係を見つける 解けるきたい問題についての予定データに偏りがある設定だと有効り返すが与えられるので、関係を見つけるある設定だと背景有効 少しきちんと定式化するとなくと背景も任意の精度で、関係を見つける有名な問題（頂点被覆・最大カット・な問題について（頂点被覆は全ての辺をカバーする頂点集合・最大カットは横断する辺が最大となる頂点集合の分割カット・TSP）に対して、関係を見つける 古典的には なアルゴリが紐付いているズに対応可ムより返すも任意の精度で高い性能を見つける示す関数 が与えられるす 手近くなるようにパラメータを最適化するなソルバが与えられるので、関係を見つける無いような問題について自動でソルバが得られるのはいような問題についてについて自動で設計でソルバが与えられるので、関係を見つける得られるかという話とは別）られるの予定はベクトル 嬉しい点しい
- 35. 35 / 54 KYOTO UNIVERSITY GNN の予定表現できる（そういうパラメータが存在する）できる関数についての予定理論で一つの同じグラフを使う 的には 結果 Approximation Ratios of Graph Neural Networks for Combinatorial Problems
- 36. 36 / 54 KYOTO UNIVERSITY 背景: グラフ学習ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力はベクトルない 普通の予定ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つけるある グラフ学習ニューラルネットワークに万能近くなるようにパラメータを最適化する似能力はベクトルある？ （広いクラスの 広いクラスの いクラスの クラスの の GNN についクラスの て）ないクラスの [Xu+ 19, Morris+ 19]Xu+ 19, Morris+ 19] 必ず同じ出力になる同型でないグラフ（頂点）が存在するず同じ出力になる同型でないグラフ（頂点）が存在する同じ出力になる同型でないグラフ（頂点）が存在するじ出力になる同型でないグラフ（頂点）が存在する出力になる同型でないグラフ（頂点）が存在するになる同型でないグラフ（頂点）が存在する同じ出力になる同型でないグラフ（頂点）が存在する型でないグラフ（頂点）が存在するでないクラスの グラフ（広いクラスの 頂点）が存在する存在するする同型でないグラフ（頂点）が存在する これらのグラフが存在する異なるクラスに属するなら なる同型でないグラフ（頂点）が存在するクラスの に属するなら する同型でないグラフ（頂点）が存在するなら GNN は必ずミスする必ず同じ出力になる同型でないグラフ（頂点）が存在するず同じ出力になる同型でないグラフ（頂点）が存在するミスの する同型でないグラフ（頂点）が存在する と背景いう形の予定 GNN を見つける考えるえる On the equivalence between graph isomorphism testing and function approximation with GNNs
- 37. 37 / 54 KYOTO UNIVERSITY 背景: GNN はベクトル高々あるが、基本的には WL-1 テスト程度での予定識と背景別能力しかない 定理 の予定形でアップデート する GNN はベクトル 1 次に選ぶ頂点の嬉しさをモデルの予定 Weisfeiler Lehman テストで 非同じグラフを使う 型判定できないグラフ学習についてはベクトル必ず同じグラフを使う じグラフを使う 値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける出力される より返す識と背景別能力が与えられるので、関係を見つける高い GNN を見つける構築する（高速）する and/o) r 表現できる（そういうパラメータが存在する）できる関数の予定 クラスを見つける示す関数 が与えられるす研究が与えられるので、関係を見つける行われている Weisfeiler-Lehman Graph Kernels
- 38. 38 / 54 KYOTO UNIVERSITY 背景: アルゴリが紐付いているズに対応可ムを見つける直す必要がある接 GNN でモデリが紐付いているングする この予定研究でやり返すたいこと背景: 頂点の予定部の頂点 には求めたい値 が与えられる分に増やせば、どんな関数でも任意の精度で集合を見つける選ぶと将来的によさそうぶ問題について（最小頂点被覆は全ての辺をカバーする頂点集合・最小支配集合） と背景その予定アルゴリが紐付いているズに対応可ム を見つける考えるえる グラフ学習 が与えられるので、関係を見つける与えられるので、関係を見つけるえられたと背景き、関係を見つける頂点 が与えられるので、関係を見つける の予定出力に 含まれているものまれるなら 1, そうでないと背景き 0 なる関数 を見つける考えるえる を見つける直す必要がある接 GNN でモデリが紐付いているングできるか？ 抽象的には なグラフ学習を見つける考えるえるの予定でそれぞれの予定ノードの時を考えるの予定特徴量はベクトル同じグラフを使う 一と背景する GNN グラフ学習, ノードの時を考える が与えられるので、関係を見つける解けるに 含まれているものまれるかどうか
- 39. 39 / 54 KYOTO UNIVERSITY 背景: アルゴリが紐付いているズに対応可ムを見つける普通の予定 GNN でモデリが紐付いているングするの予定はベクトル無いような問題について自動でソルバが得られるのは理そう 最小支配集合で入力グラフ学習が与えられるので、関係を見つけるクリが紐付いているークの予定時を考えるを見つける考えるえる GNN はベクトル、関係を見つける等価なノードの時を考えるに対して同じグラフを使う じグラフを使う 出力を見つけるする の予定で全ノードの時を考える出力 o) r ノードの時を考えるを見つける出力しない 最適解けるはベクトルノードの時を考えるを見つけるただ 1 つだけ含まれているものむ集合なの予定で、関係を見つける 非常に効率が悪い に効率が与えられるので、関係を見つける悪い い o) r 実行可能でない解けるを見つける出力すること背景になる 同じグラフを使う 様の予定理由で多いくの予定アルゴリが紐付いているズに対応可ムはベクトル GNN で表現できる（そういうパラメータが存在する）するの予定はベクトル無いような問題について自動でソルバが得られるのは理そう
- 40. 40 / 54 KYOTO UNIVERSITY 提案手法がある: 接続する辺に番号をつける（ポート付番）する辺に番号を見つけるつける（ポート付いている番） より返す広範な関数を表現するため、ポート付番という概念を導入するな関数を見つける表現できる（そういうパラメータが存在する）するため、関係を見つけるポート付いている番と背景いう概念を見つける導入する 導入にあたって、関係を見つけるポートの予定最大カットは横断する辺が最大となる頂点集合の分割番号を見つける決める。めるため、関係を見つけるグラフ学習の予定 最大カットは横断する辺が最大となる頂点集合の分割次に選ぶ頂点の嬉しさをモデル数を見つける と背景おく 直す必要がある感的には にはベクトル、関係を見つける普通の予定 GNN はベクトル同じグラフを使う じグラフを使う 「メッセージ」というのは、頂点の を見つける周辺ノードの時を考えるに送るが与えられるので、関係を見つける、関係を見つけるポート付いている番付いているき GNN はベクトル ポートによって送るメッセージを見つける変える 1 2 3 23 1 2 1 4 1 3 2 v
- 41. 41 / 54 KYOTO UNIVERSITY 提案手法がある: ポート付いている番を見つける使う ったモデル (GNN) CPNGNNs) CPNGNNs (Yes/No) co) nsistent po) rt numbering GNNs): 受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いったグラフ学習の予定各頂点について、関係を見つける接続する辺に番号をつける（ポート付番）する辺に の予定 範な関数を表現するため、ポート付番という概念を導入する囲で何でもいいので重複しないようにポート番号をつけるで何か予測してでも任意の精度でいいの予定で重み付きグラフ が与えられるので、複しないようにポート番号をつけるしないようにポート番号を見つけるつける : 頂点 の予定 と背景書かれている辺の先のノードかれている辺の予定先のノードの予定ノードの時を考える : 頂点 の予定 と背景書かれている辺の先のノードかれている辺の予定先のノードの予定ノードの時を考えるが与えられるので、関係を見つけるその予定辺に 付いているけている番号 対応する辺が与えられるので、関係を見つける存在する）しないと背景きはベクトル特別な数 (Yes/No) -1 など) を見つける返すす 更新しいグラフが与えられる 式: 受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いるポートごと背景に重み付きグラフ が与えられるので、み行列を見つける使う い、関係を見つけるどの予定ポートから来の理論的な話以外に）たかと背景いう 情報も任意の精度で使う うこと背景に相当 || はベクトルベクトルの予定連結を見つける表す
- 42. 42 / 54 KYOTO UNIVERSITY 提案手法がある: ポート付いている番を見つける使う ったモデル (GNN) CPNGNNs) CPNGNNs: 「1 番目の予定ポートだけに特別なメッセージを見つける送る」というのは、頂点の、関係を見つける「3 番目の予定ポート から特別なメッセージが与えられるので、関係を見つける届いたので、対応するメッセージを送る」、などのいたの予定で、関係を見つける対応するメッセージを見つける送る」というのは、頂点の、関係を見つけるなどの予定 操作が可能になるが与えられるので、関係を見つける可能になる O(Yes/No) 層数 x 入力グラフ学習の予定辺数) で計算が容易・微分可能・可変サイズに対応可可能 パラメータに関して微分に増やせば、どんな関数でも任意の精度で可能 可変サイズに対応可の予定グラフ学習を見つける扱うときは頂点ごとに何か予測してえる 連結を見つける繰り返すり返す返すすの予定で最大カットは横断する辺が最大となる頂点集合の分割次に選ぶ頂点の嬉しさをモデル数が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きいと背景途中で次元が大きくなるで次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時 が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きくなる
- 43. 43 / 54 KYOTO UNIVERSITY 提案手法がある: CPNGNNs はベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムと背景深い関係い関係を見つける CPNGNNs はベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定計算が容易・微分可能・可変サイズに対応可モデルと背景深い関係い関係を見つけるが与えられるので、関係を見つけるある 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムはベクトル定数回だけ通信を見つける行う分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ム 1. 計算が容易・微分可能・可変サイズに対応可するコンピューターネットワーク自身が解く問題のインスタンスが与えられるので、関係を見つける解けるく問題についての予定インスタンス 2. 各ノードの時を考えるはベクトル無いような問題について自動でソルバが得られるのは限らない）の目的関数の比の予定計算が容易・微分可能・可変サイズに対応可資源をもつとするを見つけるも任意の精度でつと背景する 3. 各ノードの時を考えるはベクトル近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えると背景定数回の予定同じグラフを使う 期通信を見つける行い、関係を見つける自分に増やせば、どんな関数でも任意の精度でが与えられるので、関係を見つける 解けるに含まれているものまれるか宣言するする 例が与えられるので、関係を見つけるえば、関係を見つける複しないようにポート番号をつける数の予定携帯端末がその場で通信網を作る際に、が与えられるので、関係を見つけるその予定場で通信網を作る際に、を見つける作が可能になるる際の評価関数を学習するに、関係を見つける 通信を見つける制御する親機を選択する必要があるする親機を見つける選ぶと将来的によさそう択するする必要がある状況を考えるが与えられるので、関係を見つけるある 親機はベクトルできるだけ小さい頂点被覆は全ての辺をカバーする頂点集合になっていてほしい 定数回の予定通信（例が与えられるので、関係を見つけるえば 5 ラウンドの時を考える) 以内に親機を選択するに親機を見つける選ぶと将来的によさそう択するする
- 44. 44 / 54 KYOTO UNIVERSITY 背景: 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムにはベクトルいくつか計算が容易・微分可能・可変サイズに対応可モデルが与えられるので、関係を見つけるある 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムにはベクトルいくつか計算が容易・微分可能・可変サイズに対応可モデルが与えられるので、関係を見つけるある ネットワーク内に親機を選択するで区別できる情報に差が与えられるので、関係を見つけるある VVC (Yes/No) 1): どの予定通信ポートにメッセージを見つける送ったか、関係を見つけるどの予定通信ポートから メッセージが与えられるので、関係を見つける送られてきたか区別できる スタンダードの時を考える MB(Yes/No) 1): ポートの予定情報を見つける区別できない VVC (Yes/No) 1) の予定方はいろいろある（ここでは和を取っている）が与えられるので、関係を見つける真にに広いクラスの予定問題についてを見つける解けるける [Hella+ 12]Hella+ 12]
- 45. 45 / 54 KYOTO UNIVERSITY 提案手法がある: CPNGNNs はベクトル VVC (GNN) 1) モデルの予定アルゴリが紐付いているズに対応可ムを見つける表現できる（そういうパラメータが存在する）できる 定理 CPNGNNs はベクトル VVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定任意の関数を近似できるの予定アルゴリが紐付いているズに対応可ムを見つける 表現できる（そういうパラメータが存在する）できる 定理 の予定形でアップデート する GNN が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できる関数はベクトル、関係を見つけるMB(Yes/No) 1) モデル上の任意のアルゴリズムをで シミュレートできるアルゴリが紐付いているズに対応可ムに限らない）の目的関数の比られる 系 CPNGNNs が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できる関数はベクトル既存の予定 GNN (Yes/No) GCN, GAT, GIN, GraphSAGE) より返すも任意の精度で真のポリシー関数は分からない に広い CPNGNNs= VV -GNNs= VV (GNN) 1) (GNN) finding a single leaf) GIN = MB-GNNs GAT GCN (GNN) WL test) C C 提案モデルモデル GNN提案モデル クラスの 分散アルゴリズムの アルゴリズムの の 計算モデルモデル 既存モデル
- 46. 46 / 54 KYOTO UNIVERSITY 提案手法がある: VVC (GNN) 1) モデルの予定結果から GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つけるわかる VVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定アルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける既にいくつも任意の精度で知られている 例が与えられるので、関係を見つけるえば、関係を見つけるVVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定 2 近くなるようにパラメータを最適化する似の予定最小頂点被覆は全ての辺をカバーする頂点集合アルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける 知られている [Hella+ 12]Åstrand+ 09]] CPNGNNs で 2 近くなるようにパラメータを最適化する似の予定関数を見つける表現できる（そういうパラメータが存在する）できる VVC (Yes/No) 1) モデルの予定理論で一つの同じグラフを使う 的には な限らない）の目的関数の比界も調べられているも任意の精度で調べられている 例が与えられるので、関係を見つけるえば、関係を見つける VVC (Yes/No) 1) モデルではベクトル最小支配集合に対してはベクトル より返すも任意の精度で良い近似をめざすい近くなるようにパラメータを最適化する似度ではベクトル得られるかという話とは別）られない CPNGNNs はベクトル 近くなるようにパラメータを最適化する似より返す良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）できない 他の の GNN でもできないクラスの
- 47. 47 / 54 KYOTO UNIVERSITY 提案手法がある: 補助情報を見つける入れると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる さらに良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）するにはベクトルどうすればよいか？ 一つの予定解ける決める。策: 補助情報を見つける特徴量に追加して解を構成していく際の評価関数を学習するする 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているでも任意の精度で研究されている 特徴量に（任意の関数を近似できるの予定）弱二彩色を見つける追加して解を構成していく際の評価関数を学習するすると背景 ノードの時を考えるを見つけるより返す細かく識別できるようになるかく識と背景別できるようになる 特に、関係を見つける最小支配支配集合ではベクトル 近くなるようにパラメータを最適化する似の予定 関数を見つける CPNGNNs が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できるようになること背景が与えられるので、関係を見つける 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定結果からいえる 様々あるが、基本的には な補助情報を見つける追加して解を構成していく際の評価関数を学習するすること背景で良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）できるかも任意の精度でしれない
- 48. 48 / 54 KYOTO UNIVERSITY 関連研究: ノードの時を考えるの予定組を見つける考えるえると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる 他の手法よりも良いの予定方はいろいろある（ここでは和を取っている）法がある: ノードの時を考えるにだけではベクトルなく、関係を見つけるノードの時を考えるの予定組にも任意の精度で表現できる（そういうパラメータが存在する）を見つける与えられるので、関係を見つけるえる k 個の組に表現を与える の予定組に表現できる（そういうパラメータが存在する）を見つける与えられるので、関係を見つけるえる GNN (Yes/No) k-GNN) はベクトル k 次に選ぶ頂点の嬉しさをモデルの予定 WL テストと背景 同じグラフを使う じグラフを使う 表現できる（そういうパラメータが存在する）能力を見つける持つつ [Hella+ 12]Mo) rris+ 19]] 1-WL より返す真のポリシー関数は分からない に広い n(Yes/No) n-1)/2 組まで考えるえると背景万能近くなるようにパラメータを最適化する似 能力が与えられるので、関係を見つける得られるかという話とは別）られる [Hella+ 12]Maro) n+ 19]] 計算が容易・微分可能・可変サイズに対応可量はベクトル大カットは横断する辺が最大となる頂点集合の分割きく増やせば、どんな関数でも任意の精度でえてしまう Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
- 49. 49 / 54 KYOTO UNIVERSITY 関連研究: ランダム特徴量を見つける追加して解を構成していく際の評価関数を学習するすると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる 他の手法よりも良いの予定方はいろいろある（ここでは和を取っている）法がある: 乱択するアルゴリが紐付いているズに対応可ム化 分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているではベクトル、関係を見つける乱択するアルゴリが紐付いているズに対応可ム化すること背景で表現できる（そういうパラメータが存在する）能力 が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きく向上の任意のアルゴリズムをすること背景が与えられるので、関係を見つける知られている 特徴量にランダムな値が近くなるようにパラメータを最適化するを見つける追加して解を構成していく際の評価関数を学習するすること背景で、関係を見つける各ノードの時を考えるを見つける区別できるように し、関係を見つけるかつ乱択する化できるようにする 支配集合 + クリが紐付いているーク: 最小値が近くなるようにパラメータを最適化するの予定ノードの時を考えるだけを見つける解けるに含まれているものめれば最適解ける Graph Iso) mo) rphism Netwo) rks + ランダム特徴量 (Yes/No) rGIN) を見つける 使う えば、関係を見つけるある種があるの予定万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つける得られるかという話とは別）られ、関係を見つける良い近似をめざすい近くなるようにパラメータを最適化する似度での予定アルゴリが紐付いているズに対応可ム も任意の精度で表現できる（そういうパラメータが存在する）できる [Hella+ 12]Sato) + 20] 手軽 最小支配集合ではベクトル 近くなるようにパラメータを最適化する似 → 多い項式時を考える間の相関を小さくするため ではベクトルほぼ最適
- 50. 50 / 54 KYOTO UNIVERSITY まと背景め: GNN の予定表現できる（そういうパラメータが存在する）能力を見つける局所アルゴリが紐付いているズに対応可ムと背景関連づけて研究 グラフ学習ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力はベクトルない どういう関数が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できて、関係を見つけるどうしたら表現できる（そういうパラメータが存在する）できる関数を見つける広げられるか？ この予定研究ではベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定知見つけるを見つける使う って、関係を見つけるポート付いている番を見つける 追加して解を構成していく際の評価関数を学習するすること背景で有名な問題（頂点被覆・最大カット・な計算が容易・微分可能・可変サイズに対応可モデルと背景等価な GNN を見つける提案 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムを見つける使う って様々あるが、基本的には な理論で一つの同じグラフを使う 的には 結果を見つける導ける 既存の予定 GNN も任意の精度で局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定フ学習レームワークで解ける析できるできる 発展中で次元が大きくなるの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているなの予定で手軽で強い GNN の予定登り、場に期待（乱択する？） 特に、関係を見つける現できる（そういうパラメータが存在する）実的には な制約下で訓練する・推論で一つの同じグラフを使う できるモデルの予定開発が与えられるので、関係を見つける必要がある状況を考える
- 51. 51 / 54 KYOTO UNIVERSITY 参考える文献: Matti Åstrand, Patrik Floréen, Valentin Polishchuk, Joel Rybicki, Jukka Suomela, Jara Uitto. A local 2-approximation algorithm for the vertex cover problem. DISC 2009. Irwan Bello, Hieu Pham, Quoc V. Le, Mohammad Norouzi, Samy Bengio. Neural Combinatorial Optimization with Reinforcement Learning. arXiv 2016. Zhengdao Chen, Soledad Villar, Lei Chen, Joan Bruna. On the equivalence between graph isomorphism testing and function approximation with GNNs. NeurIPS 2019. Hanjun Dai, Elias B. Khalil, Yuyu Zhang, Bistra Dilkina, Le Song. Learning Combinatorial Optimization Algorithms over Graphs. NIPS 2017.
- 52. 52 / 54 KYOTO UNIVERSITY 参考える文献: Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin. Graph Neural Networks for Social Recommendation. WWW 2019. Maxime Gasse, Didier Chételat, Nicola Ferroni, Laurent Charlin, Andrea Lodi. Exact Combinatorial Optimization with Graph Convolutional Neural Networks. NeurIPS 2019. Lauri Hella, Matti Järvisalo, Antti Kuusisto, Juhana Laurinharju, Tuomo Lempiäinen, Kerkko Luosto, Jukka Suomela, Jonni Virtema. Weak Models of Distributed Computing, with Connections to Modal Logic. PODC 2012. Jiayi Huang, Mostofa Patwary, Gregory Diamos. Coloring Big Graphs with AlphaGoZero. arXiv 2019.
- 53. 53 / 54 KYOTO UNIVERSITY 参考える文献: Thomas N. Kipf, Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. ICLR 2017. Haggai Maron, Ethan Fetaya, Nimrod Segol, Yaron Lipman. On the Universality of Invariant Networks. ICML 2019. Christopher Morris, Martin Ritzert, Matthias Fey, William L. Hamilton, Jan Eric Lenssen, Gaurav Rattan, Martin Grohe. Weisfeiler and Leman Go Neural: Higher- order Graph Neural Networks. AAAI 2019. Namyong Park, Andrey Kan, Xin Luna Dong, Tong Zhao, Christos Faloutsos. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks. KDD 2019.
- 54. 54 / 54 KYOTO UNIVERSITY 参考える文献: Ryoma Sato, Makoto Yamada, Hisashi Kashima. Approximation Ratios of Graph Neural Networks for Combinatorial Problems. NeurIPS 2019. Ryoma Sato, Makoto Yamada, Hisashi Kashima. Random Features Strengthen Graph Neural Networks. arXiv 2020. Nino Shervashidze, Pascal Schweitzer, Erik Jan van Leeuwen, Kurt Mehlhorn, Karsten M. Borgwardt. Weisfeiler-Lehman Graph Kernels. JMLR 2011. Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio. Graph Attention Networks. ICLR 2018. Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka. How Powerful are Graph Neural Networks? ICLR 2019.