グラフニューラルネットワークとグラフ組合せ問題

グラフニューラルネットワークとグラフ組合せ問題
1 KYOTO UNIVERSITY KYOTO UNIVERSITY グラフニューラルネットワークとグラフ組合せ問題とグラフ組合せ問題グラフ組合せ問題せ問題問題佐藤竜馬 SIG-FPAI@下呂 2020/01/29
2 / 54 KYOTO UNIVERSITY 講演の予定の予定予定  事前知識と背景（と背景（背景（10 分）  機械学習についての簡単な事前知識の共有についての簡単な事前知識の共有簡単な事前知識の共有な事前知識の共有事前知識と背景（の簡単な事前知識の共有共有  グラフニューラルネットワーク (GNN) GNN) について  GNN + 強化学習についての簡単な事前知識の共有でアルゴリズムを学習する（アルゴリズムを学習する（を学習する（学習についての簡単な事前知識の共有する（20 分）  Learning Combinatorial Optimization Algorithm over Graphs (GNN) NIPS 2017) の簡単な事前知識の共有紹介  GNN の簡単な事前知識の共有表現できる関数についての理論的結果（でアルゴリズムを学習する（きる関数についての理論的結果（についての簡単な事前知識の共有理論的結果（20 分）  Approximation Ratios of Graph Neural Networks for Combinatorial Problems (GNN) NeurIPS 2019) の簡単な事前知識の共有紹介  質疑など（な事前知識の共有ど（10 分）
3 / 54 KYOTO UNIVERSITY 事前知識と背景と背景背景
4 / 54 KYOTO UNIVERSITY 背景: 回帰問題についてについて入出力例が与えられるので、関係を見つけるが与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける関係を見つけるを見つける見つけるつける  回帰問題について:  学習データが与えられるので、データが与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つけるデータの予定裏にある関係を見つけるにある関係を見つけるを見つける見つけるつける  ここで　はベクトルベクトルはベクトルスカラー  線形回帰モデルベクトルスカラー
5 / 54 KYOTO UNIVERSITY 背景: ニューラルネットワークについて線形変換と非線形変換を繰り返すと背景非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす  ニューラルネットワークはベクトル、関係を見つける線形変換と非線形変換を繰り返すと背景非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす  ここでなどの予定活性化関数  モデルの予定出力と背景、関係を見つけるデータの予定値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける近くなるようにパラメータを最適化するくなるようにパラメータを見つける最適化する
6 / 54 KYOTO UNIVERSITY 背景: ニューラルネットワークの予定万能近くなるようにパラメータを最適化する似能力についてニューラルネットワークはベクトル任意の関数を近似できるの予定関数を見つける近くなるようにパラメータを最適化する似できる  ニューラルネットワークの予定嬉しい点しい点: 万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つけるある  パラメータの予定数を見つける十分に増やせば、どんな関数でも任意の精度でに増やせば、どんな関数でも任意の精度でやせば、関係を見つけるどんな関数でも任意の精度で任意の関数を近似できるの予定精度でで表現できる（そういうパラメータが存在する）できる（そういうパラメータが与えられるので、関係を見つける存在する）する）  （学習データが与えられるので、したと背景きにどういう関数が与えられるので、関係を見つける得られるかという話とは別）られるかと背景いう話とは別）と背景はベクトル別）モデルどんな関数でも任意の精度で表現できる（そういうパラメータが存在する）できます
7 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、入力が与えられるので、関係を見つけるベクトルではベクトルなくグラフ学習の予定形の予定と背景きの予定機械学習データが与えられるので、  学習データが与えられるので、データの予定入力が与えられるので、関係を見つけるグラフ学習全体やグラフのノードの時を考えるやグラフ学習の予定ノードの時を考えるの予定時を考えるを見つける考えるえる  例が与えられるので、関係を見つけるえば、関係を見つけるノードの時を考えるにカテゴリが紐付いているが与えられるので、関係を見つける紐付いているいている  グラフ学習データはベクトルその予定ままニューラルネットワークに入力できない  化合物が入力、毒性が与えられるので、関係を見つける入力、関係を見つける毒性 (Yes/No) Yes/No) ) を見つける予測するする https://www.doc.ic.ac.uk/~shm/ mutagenesis.html  引用ネットワークのノードネットワークの簡単な事前知識の共有ノードが与えられるので、関係を見つける入力、関係を見つけるジャンルを見つける予測するする Graph Attention Networks
8 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、入力が与えられるので、関係を見つけるベクトルではベクトルなくグラフ学習の予定形の予定と背景きの予定機械学習データが与えられるので、  問題についてを見つけるも任意の精度でう少しきちんと定式化するとしきちんと背景定式化すると背景  グラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられる（例が与えられるので、関係を見つけるえばソーシャルネットワーク）  グラフ学習の予定頂点にはベクトル特徴量が与えられるので、関係を見つける紐付いているいており返す与えられるので、関係を見つけるえられる（例が与えられるので、関係を見つけるえば性別や居住地）  グラフ学習の予定一部の頂点には求めたい値が与えられるの予定頂点にはベクトル求めたい値が与えられるめたい値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける与えられるので、関係を見つけるえられる（例が与えられるので、関係を見つけるえばその予定ユーザーが与えられるので、関係を見つける広告をクリックするかどうかを見つけるクリが紐付いているックするかどうか 0 o) r 1）  残りの頂点たちについて、を予測したいり返すの予定頂点たちについて、関係を見つけるを見つける予測するしたいモデルグラフ学習, ノードの時を考えるスカラー
9 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、設定はベクトル色々あるが、基本的にはあるが与えられるので、関係を見つける、関係を見つける基本的にはにはベクトル GNN で全て解けるける  問題について設定はベクトル色々あるが、基本的にはな変種があるが与えられるので、関係を見つけるある  学習データが与えられるので、と背景推論で一つの同じグラフを使うで一つの予定同じグラフを使うじグラフを使うグラフ学習を見つける使うう (Yes/No) trunsductive) 推論で一つの同じグラフを使う時を考えるはベクトル既知ラベルの予定ない新しいグラフが与えられるしいグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられる (Yes/No) inductive)  だいたいの予定 GNN はベクトルどちらの予定場合にも任意の精度で使うえる  化合物が入力、毒性の予定毒性分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いているではベクトルノードの時を考えるではベクトルなくグラフ学習自体やグラフのノードの時を考えるにラベルが与えられるので、関係を見つける付いているいている  GNN でこういう場合を見つける扱うときは頂点ごとに何か予測してうと背景きはベクトル頂点ごと背景に何か予測してか予測するしてそれらを見つけるまと背景める（例が与えられるので、関係を見つけるえば和・平均を取る）ことが多いを見つける取る）ことが多いる）こと背景が与えられるので、関係を見つける多いい  以下ではベクトル基本的にはに inductive なノードの時を考える分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いている・回帰を見つける考えるえる
10 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、グラフ学習ニューラルネットワークなどの予定手法があるが与えられるので、関係を見つけるある  グラフ学習を見つける扱うときは頂点ごとに何か予測してう機械学習データが与えられるので、手法があるはベクトルいくつも任意の精度である  グラフ学習カーネル（ランダムウォークカーネルなど）  特徴量抽出（グラフ学習レットなど）  ノードの時を考える・グラフ学習埋め込みを使う（行列分解め込みを使う（行列分解みを見つける使うう（行列分に増やせば、どんな関数でも任意の精度で解ける, DeepWalk など）  グラフニューラルネットワークとグラフ組合せ問題(GNN)GNN)（GCN, GIN, GAT など）  HOT
11 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、 GNNはベクトル線形変換と非線形変換を繰り返す・情報収集・非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす  グラフ学習ニューラルネットワークはベクトル線形変換と非線形変換を繰り返す、関係を見つける近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えると背景の予定通信、関係を見つける非線形変換と非線形変換を繰り返すを見つける繰り返すり返す返すす  ここではベクトルの予定近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えるの予定集合  集め方はいろいろある（ここでは和を取っている）はベクトルいろいろある（ここではベクトル和を見つける取る）ことが多いっている）  モデルの予定出力と背景、関係を見つけるデータの予定値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける近くなるようにパラメータを最適化するくなるようにパラメータを見つける最適化する http://tkipf.github.io/misc/SlidesCambridge.pdf 各頂点が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）ベクトルを見つける持つつ
12 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、 GNNはベクトル計算が容易・微分可能・可変サイズに対応可が与えられるので、関係を見つける容易・微分に増やせば、どんな関数でも任意の精度で可能・可変サイズに対応可に対応可  なぜこういう形？　（グラフ学習畳み込み由来の理論的な話以外に）み込みを使う（行列分解み由来の理論的な話以外に）の予定理論で一つの同じグラフを使う的にはな話とは別）以外に）に）  計算が容易・微分可能・可変サイズに対応可が与えられるので、関係を見つける容易  基本的にはに行列積なのでなの予定で GPU で高速計算が容易・微分可能・可変サイズに対応可  O(Yes/No) 層数 x 入力グラフ学習の予定辺数) で計算が容易・微分可能・可変サイズに対応可可能  パラメータに関して微分に増やせば、どんな関数でも任意の精度で可能  ノードの時を考えるの予定番号付いているけによらない (Yes/No) invariant, equivariant)  可変サイズに対応可の予定グラフ学習を見つける扱うときは頂点ごとに何か予測してえる  隣接行列を見つける普通の予定 NN に入れる　
13 / 54 KYOTO UNIVERSITY 背景: グラフ学習学習データが与えられるので、グラフ学習ニューラルネットワークはベクトル様々あるが、基本的にはな問題についてが与えられるので、関係を見つける解けるける  グラフ学習ニューラルネットワークにはベクトル様々あるが、基本的にはな応用があるが与えられるので、関係を見つけるある  論文のジャンル予測の簡単な事前知識の共有ジャンル予測 Graph Attention Networks  ソーシャルネットワークからユーザーが買う商品予測買う商品予測う商品予測商品予測 Graph Neural Networks for Social Recommendation  知識と背景（グラフの簡単な事前知識の共有要素の重要度予測の簡単な事前知識の共有重要度予測 Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks
14 / 54 KYOTO UNIVERSITY まと背景め: グラフ学習学習データが与えられるので、 GNN はベクトルグラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力  GNNはベクトルグラフ学習やグラフ学習の予定ノードの時を考えるを見つける分に増やせば、どんな関数でも任意の精度で類ではノードではなくグラフ自体にラベルが付いている・回帰するモデルグラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力  パラメータを見つけるうまく調節することで、所望の関数を得るすること背景で、関係を見つける所望の関数を得るの予定関数を見つける得られるかという話とは別）る特に、関係を見つけるパラメータに関して微分に増やせば、どんな関数でも任意の精度で可能なの予定で勾配法があるで最適化可能  化合物が入力、毒性・引用があるネットワーク・ソーシャルネットワーク・知識と背景グラフ学習などの予定様々あるが、基本的にはなドの時を考えるメインの予定様々あるが、基本的にはな問題についてに応用があるされている GNN グラフ学習, ノードの時を考えるスカラー
15 / 54 KYOTO UNIVERSITY GNN + 強化学習データが与えられるので、でアルゴリが紐付いているズに対応可ムを見つける学習データが与えられるので、する Learning Combinatorial Optimization Algorithms over Graphs
16 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について頂点被覆は全ての辺をカバーする頂点集合はベクトル全ての予定辺を見つけるカバーする頂点集合  グラフ学習の予定頂点被覆は全ての辺をカバーする頂点集合はベクトル頂点の予定集合であって全ての予定辺について、関係を見つけるどちらかの予定端点が与えられるので、関係を見つけるに含まれているものまれているも任意の精度での予定全ての予定辺を見つけるカバーする頂点集合  最小頂点被覆は全ての辺をカバーする頂点集合問題についてはベクトルグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられて最小の予定頂点被覆は全ての辺をカバーする頂点集合を見つける見つけるつける  応用がある: どの予定ユーザーに広告をクリックするかどうかを見つける配信すれば効果的にはか、関係を見つけるなど頂点被覆は全ての辺をカバーする頂点集合最小頂点被覆は全ての辺をカバーする頂点集合
17 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について最大カットは横断する辺が最大となる頂点集合の分割カットはベクトル横断する辺が最大となる頂点集合の分割する辺が与えられるので、関係を見つける最大カットは横断する辺が最大となる頂点集合の分割と背景なる頂点集合の予定分に増やせば、どんな関数でも任意の精度で割  最大カットは横断する辺が最大となる頂点集合の分割カット問題についてはベクトル重み付きグラフが与えられるので、み付いているきグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける頂点集合の予定二分に増やせば、どんな関数でも任意の精度で割であって横断する辺が最大となる頂点集合の分割する辺の予定重み付きグラフが与えられるので、みの予定和が与えられるので、関係を見つける最大カットは横断する辺が最大となる頂点集合の分割になるも任意の精度での予定を見つける見つけるつける問題について  応用がある: データを見つける似ている集合に分に増やせば、どんな関数でも任意の精度で割したい（クラスタリが紐付いているング）最大カットは横断する辺が最大となる頂点集合の分割カットカット（頂点集合の予定二分に増やせば、どんな関数でも任意の精度で割）
18 / 54 KYOTO UNIVERSITY 背景: 解けるきたい組合せ問題について TSPはベクトル最短の巡回路を見つける問題の予定巡回路を見つける問題を見つける見つけるつける問題について  巡回セールスマン問題について (Yes/No) TSP)はベクトル重み付きグラフが与えられるので、み付いているきグラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられるの予定で、関係を見つける頂点集合の予定順列であって巡回路を見つける問題の予定長さが最小になるさが与えられるので、関係を見つける最小になるも任意の精度での予定を見つける見つけるつける問題について  応用がある: 最適な商品の配送路を見つけたいの予定配送路を見つける問題を見つける見つけるつけたい最短の巡回路を見つける問題巡回路を見つける問題巡回路を見つける問題の予定例が与えられるので、関係を見つける Neural Combinatorial Optimization with Reinforcement Learning
19 / 54 KYOTO UNIVERSITY 背景: 問題について点厳密に高速に解けないので良い近似をめざすに高速に解けるけないの予定で良い近似をめざすい近くなるようにパラメータを最適化する似を見つけるめざす  これらの予定問題についてはベクトル NP 困難  厳密に高速に解けないので良い近似をめざす解けるを見つける高速に求めたい値が与えられるめられない  厳密に高速に解けないので良い近似をめざす解けるではベクトルなく、関係を見つける近くなるようにパラメータを最適化する似解けるを見つける得られるかという話とは別）ること背景を見つける目指すす  特殊な性質を持つインスタンス関して速いな性質を持つインスタンス関して速いを見つける持つつインスタンス関して速い o) r 良い近似をめざすい近くなるようにパラメータを最適化する似を見つける与えられるので、関係を見つけるえる  現できる（そういうパラメータが存在する）実的にはなデータに対して速いアルゴリが紐付いているズに対応可ム・良い近似をめざすい近くなるようにパラメータを最適化する似を見つける与えられるので、関係を見つけるえるアルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける多いく知られている  探索の効率化、枝刈りの予定効率化、関係を見つける枝刈りり返す  貪欲に解を構築する（高速）に解けるを見つける構築する（高速）する（高速）  IP ソルバなど
20 / 54 KYOTO UNIVERSITY 背景: 問題について設定過去のインスタンスから、良いアルゴリズムを自動で設計の予定インスタンスから、関係を見つける良い近似をめざすいアルゴリが紐付いているズに対応可ムを見つける自動で設計で設計  似たインスタンスを見つける反復的にはに解けるく必要がある状況を考えるが与えられるので、関係を見つけるある状況を考えるを見つける考えるえる  例が与えられるので、関係を見つけるえば、関係を見つける商品の配送路を見つけたいの予定配送路を見つける問題を見つける毎日決める。める。配送すべき地点はベクトル毎日似ているが与えられるので、関係を見つける厳密に高速に解けないので良い近似をめざすにはベクトル同じグラフを使うじグラフを使うではベクトルないの予定で毎日解けるき直す必要があるす必要がある状況を考えるが与えられるので、関係を見つけるある  これらの予定インスタンスはベクトル何か予測してか良い近似をめざすい性質を持つインスタンス関して速いを見つける持つっているかも任意の精度でしれないの予定で、関係を見つけるそれを見つけるうまく利用があるしたい木幅などの組合せ的性質などの予定組合せ的には性質を持つインスタンス関して速い o) r 山岳と住宅地に分かれているなどと背景住宅地に分に増やせば、どんな関数でも任意の精度でかれているなど  インスタンスを見つける検査して人手で良い性質を取り出してして人手で良い近似をめざすい性質を持つインスタンス関して速いを見つける取る）ことが多いり返す出してアルゴリが紐付いているズに対応可ムを見つける設計するの予定はベクトルコストが与えられるので、関係を見つけるかかる  過去のインスタンスから、良いアルゴリズムを自動で設計の予定データから、関係を見つける良い近似をめざすいアルゴリが紐付いているズに対応可ムを見つける自動で設計で設計したい
21 / 54 KYOTO UNIVERSITY 背景: 問題について設定頂点の予定評価関数を見つける学習データが与えられるので、する  完全に任意の関数を近似できるなアルゴリが紐付いているズに対応可ムを見つける表現できる（そういうパラメータが存在する）するの予定はベクトル難しすぎる  一つずつ頂点を見つける追加して解を構成していく際の評価関数を学習するして解けるを見つける構成していく際の評価関数を学習するしていく際の評価関数を学習するの予定評価関数を見つける学習データが与えられるので、する  完全に貪欲に解を構築する（高速）法があると背景いうわけではベクトルなく、関係を見つけるここを見つける選ぶと将来的によさそうぶと背景将来の理論的な話以外に）的にはによさそうだと背景いうこと背景も任意の精度で含まれているものめて評価関数を見つける学習データが与えられるので、する  一つずつ頂点を追加して解を構成していくつずつ頂点を追加して解を構成していくを学習する（追加して解を構成していくして解を構成していくを学習する（構成していくしていく
22 / 54 KYOTO UNIVERSITY 背景: 問題について設定頂点列を見つける選ぶと将来的によさそうぶ問題についてで、関係を見つける部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定目的には関数はベクトル所与えられるので、関係を見つけると背景する  問題について（最小頂点被覆は全ての辺をカバーする頂点集合・最大カットは横断する辺が最大となる頂点集合の分割カット・TSP など）の予定構造が与えられるが与えられるので、関係を見つける与えられるので、関係を見つけるえられる  問題についての予定解けるはベクトル頂点の予定列（o) r 集合）で表されると背景する  頂点の予定列について、関係を見つける列の予定良い近似をめざすさを見つける示す関数が与えられるす関数が与えられるので、関係を見つける与えられるので、関係を見つけるえられる  頂点の予定列が与えられるので、関係を見つける実行可能かどうかを見つける判定する関数が与えられるので、関係を見つける与えられるので、関係を見つけるえられる  最小頂点被覆は全ての辺をカバーする頂点集合の予定場合、関係を見つける良い近似をめざすさ関数はベクトル集合の予定大カットは横断する辺が最大となる頂点集合の分割きさに負号を見つけるつけたも任意の精度での予定判定関数はベクトル、関係を見つける全ての予定辺が与えられるので、関係を見つけるカバーされているかを見つける判定する  最大カットは横断する辺が最大となる頂点集合の分割カットの予定場合、関係を見つける良い近似をめざすさ関数はベクトル横断する辺が最大となる頂点集合の分割する辺の予定重み付きグラフが与えられるので、みの予定和  TSPの予定場合、関係を見つける良い近似をめざすさ関数はベクトルツアーの予定長さが最小になるさに負号を見つけるつけたも任意の精度での予定
23 / 54 KYOTO UNIVERSITY 背景: 問題について設定今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定状態が与えられた時、次に選ぶ頂点の嬉しさをモデルが与えられるので、関係を見つける与えられるので、関係を見つけるえられた時を考える、関係を見つける次に選ぶ頂点の嬉しさをモデルに選ぶと将来的によさそうぶ頂点の予定嬉しい点しさを見つけるモデル  今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定情報が与えられるので、関係を見つける特徴に含まれているものまれているグラフ学習と背景、関係を見つける頂点を見つける受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いったと背景きに、関係を見つけるその予定頂点を見つける次に選ぶ頂点の嬉しさをモデルに追加して解を構成していく際の評価関数を学習するする嬉しい点しさを見つける表す関数（ポリが紐付いているシー関数）を見つけるモデリが紐付いているングしたい  「今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解けるの予定情報が与えられるので、関係を見つける特徴に含まれているものまれている」というのは、頂点のと背景いうの予定はベクトル、関係を見つける頂点の予定特徴量の予定ある次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時が与えられるので、関係を見つける、関係を見つけるその予定頂点が与えられるので、関係を見つける部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解けるに含まれているものまれている時を考える 1, そうでないと背景き 0 と背景する抽象的にはなグラフ学習の予定場合特徴量はベクトルこれだけだが与えられるので、関係を見つける、関係を見つける現できる（そういうパラメータが存在する）実の予定問題についてだと背景ユーザーの予定情報などの予定補助情報も任意の精度で特徴と背景して利用があるできる  次に選ぶ頂点の嬉しさをモデルに追加して解を構成していく際の評価関数を学習するする嬉しい点しさと背景いうの予定はベクトル、関係を見つけるポリが紐付いているシー関数を見つけるも任意の精度でと背景に貪欲に解を構築する（高速）に頂点を見つける追加して解を構成していく際の評価関数を学習するすると背景、関係を見つける最終的ににどれだけ良い近似をめざすい解けるが与えられるので、関係を見つける得られるかという話とは別）られるかを見つける示す関数が与えられるす
24 / 54 KYOTO UNIVERSITY 手法がある: ポリが紐付いているシー関数を見つける GNN でモデリが紐付いているング + 強化学習データが与えられるので、  ポリが紐付いているシー関数を見つけるグラフ学習ニューラルネットワークでモデリが紐付いているングして解けるく  今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルの予定問題について・データの予定分に増やせば、どんな関数でも任意の精度で布にあった良いパラメータを推定するにあった良い近似をめざすいパラメータを見つける推定する  問題について点: 真のポリシー関数は分からないの予定ポリが紐付いているシー関数はベクトル分に増やせば、どんな関数でも任意の精度でからない  教師あり学習はできないあり返す学習データが与えられるので、はベクトルできない  解ける決める。策: 強化学習データが与えられるので、  GNN でモデル化されたポリが紐付いているシー関数を見つける使うってできた解けるの予定良い近似をめざすさを見つける報酬にに GNN を見つける訓練するするエージェント (Yes/No) GNN) 環境行動で設計（頂点を見つける選ぶと将来的によさそうぶ）報酬に（解けるの予定良い近似をめざすさ） GNN グラフ学習, ノードの時を考えるポリが紐付いているシー値が近くなるようにパラメータを最適化する
25 / 54 KYOTO UNIVERSITY 手法がある: 強化学習データが与えられるので、の予定枠組みにおける対応概念  状態が与えられた時、次に選ぶ頂点の嬉しさをモデル: 入力グラフ学習・現できる（そういうパラメータが存在する）在する）の予定部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解ける（頂点の予定列）  行動で設計: 頂点を見つける一つ選ぶと将来的によさそう択するする  遷移: 入力グラフ学習はベクトル変わらない。現できる（そういうパラメータが存在する）在する）の予定部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で解けるに選ぶと将来的によさそうばれた頂点が与えられるので、関係を見つける　　　　追加して解を構成していく際の評価関数を学習するされる（決める。定的には）  報酬に : 遷移前と背景遷移後の良さ関数の差の予定良い近似をめざすさ関数の予定差  累積なので報酬にはベクトル最終的にはな解けるの予定目的には関数  方はいろいろある（ここでは和を取っている）策: ポリが紐付いているシー関数の予定最も任意の精度で高い頂点を見つける選ぶと将来的によさそうぶ　　　　ポリが紐付いているシー関数はベクトル GNN でモデル化
26 / 54 KYOTO UNIVERSITY 手法がある: Q 学習データが与えられるので、で GNN を見つける訓練するする  モデルの予定訓練するにはベクトル Q 学習データが与えられるので、を見つける使うう（サンプル効率が与えられるので、関係を見つけるよい）  1-step Q 学習データが与えられるので、: を見つける最小化するように学習データが与えられるので、  報酬にが与えられるので、関係を見つける遅れる問題を緩和するためれる問題についてを見つける緩和するため n-step Q 学習データが与えられるので、を見つける使うう  サンプル効率を見つけるよくする・サンプル間の相関を小さくするための予定相関を見つける小さくするため experience replay を見つける行う
27 / 54 KYOTO UNIVERSITY 実験: 古典的にはなアルゴリが紐付いているズに対応可ム・普通の予定ニューラルネットと背景比較  実験的にはに手法があるの予定有効性を見つける確認するする  Barabási–Albert (Yes/No) BA) モデルでグラフ学習を見つける生成していく際の評価関数を学習するして、関係を見つける学習データが与えられるので、・テストする TSP はベクトル DIMACS TSP Challenge で生成していく際の評価関数を学習するした 2 次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時 TSP  ベースラインにはベクトル、関係を見つける（古典的にはな）問題について専用があるの予定アルゴリが紐付いているズに対応可ムを見つける用があるいる  頂点被覆は全ての辺をカバーする頂点集合: カバーされていな辺を見つける選ぶと将来的によさそうんで両端を見つける追加して解を構成していく際の評価関数を学習する  最大カットは横断する辺が最大となる頂点集合の分割カット: 山登り、り返す、関係を見つけるSDP  TSP: MST, Christo) fides, 2-OPT, 貪欲に解を構築する（高速）など  行列分に増やせば、どんな関数でも任意の精度で解けるを見つけるして普通の予定ニューラルネットワークに入れるも任意の精度での予定も任意の精度で使うう (Yes/No) Po) inter Netwo) rks)
28 / 54 KYOTO UNIVERSITY 実験: 種がある々あるが、基本的にはの予定アルゴリが紐付いているズに対応可ムに比べて良い近似をめざすい結果  各手法があるについて入力グラフ学習サイズに対応可を見つける変えたと背景きの予定近くなるようにパラメータを最適化する似度でを見つけるプロットした図  ここで近くなるようにパラメータを最適化する似度でと背景はベクトル、関係を見つける各手法があるが与えられるので、関係を見つける出力した解けると背景、関係を見つける最適化ソルバが与えられるので、関係を見つける 1 時を考える間の相関を小さくするため探索の効率化、枝刈りした解ける（最適と背景はベクトル限らない）の目的関数の比らない）の予定目的には関数の予定比  Structure2vec (Yes/No) S2V-DQN) が与えられるので、関係を見つける他の手法よりも良いの予定手法があるより返すも任意の精度で良い近似をめざすい最小頂点被覆は全ての辺をカバーする頂点集合ではベクトル近くなるようにパラメータを最適化する似度ではベクトルほぼ 1
29 / 54 KYOTO UNIVERSITY 実験: 小さいグラフ学習で学習データが与えられるので、しても任意の精度で大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習でも任意の精度でうまくいく  次に選ぶ頂点の嬉しさをモデルに、関係を見つける小さいグラフ学習で訓練するしたと背景きに、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習での予定性能を見つける調べる  小さいグラフ学習での予定学習データが与えられるので、で済むなら、コストも小さくて済むので嬉しいむなら、関係を見つけるコストも任意の精度で小さくて済むなら、コストも小さくて済むので嬉しいむの予定で嬉しい点しい  以下が与えられるので、関係を見つける 50-100 頂点の予定グラフ学習で学習データが与えられるので、し、関係を見つける各サイズに対応可でテストしたと背景きの予定近くなるようにパラメータを最適化する似度でを見つける示す関数が与えられるした表  大カットは横断する辺が最大となる頂点集合の分割きいグラフ学習でも任意の精度で低い近似度を達成しているい近くなるようにパラメータを最適化する似度でを見つける達成していく際の評価関数を学習するしている  サイズに対応可が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きくなると背景最適化ソルバも任意の精度で厳密に高速に解けないので良い近似をめざすから遠くなるかもしれないくなるかも任意の精度でしれない
30 / 54 KYOTO UNIVERSITY 実験: 最小頂点被覆は全ての辺をカバーする頂点集合での予定学習データが与えられるので、したアルゴリが紐付いているズに対応可ムの予定図示す関数が与えられる
31 / 54 KYOTO UNIVERSITY 実験: 最小頂点被覆は全ての辺をカバーする頂点集合での予定学習データが与えられるので、したアルゴリが紐付いているズに対応可ムの予定図示す関数が与えられる
32 / 54 KYOTO UNIVERSITY 実験: 学習データが与えられるので、されたアルゴリが紐付いているズに対応可ムを見つける眺めてみると戦略がわかるめてみると背景戦略がわかるが与えられるので、関係を見つけるわかる  最小頂点被覆は全ての辺をカバーする頂点集合の予定ために学習データが与えられるので、したアルゴリが紐付いているズに対応可ムはベクトル、関係を見つけるカバーできる辺の予定数と背景残りの頂点たちについて、を予測したいっている辺の予定連結ぐあいを見つけるうまくバランス取る）ことが多いって頂点を見つける選ぶと将来的によさそう択するしていく  最大カットは横断する辺が最大となる頂点集合の分割カットの予定ために学習データが与えられるので、したアルゴリが紐付いているズに対応可ムはベクトル、関係を見つける今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルまでに横断する辺が最大となる頂点集合の分割している辺が与えられるので、関係を見つける（今の状態が与えられた時、次に選ぶ頂点の嬉しさをモデルにも任意の精度で後の良さ関数の差にも任意の精度で）も任意の精度でと背景に戻らないように頂点を選択していくらないように頂点を見つける選ぶと将来的によさそう択するしていく  最大カットのために学習したアルゴリズムの動作カットの簡単な事前知識の共有ために学習についての簡単な事前知識の共有したアルゴリズムを学習する（の簡単な事前知識の共有動作
33 / 54 KYOTO UNIVERSITY 関連研究: 機械学習データが与えられるので、を見つける使うって組合せ問題についてを見つける解けるく研究はベクトル増やせば、どんな関数でも任意の精度でえつつある  AlphaGoZero の簡単な事前知識の共有技術使ってって彩色問題を解くを学習する（解を構成していくく Coloring Big Graphs With AlphaGoZero  MIP ソルバの変数選択をの簡単な事前知識の共有変数についての理論的結果（選択をを学習する（ GNN を学習する（使ってってモデリング Exact Combinatorial Optimization with Graph Convolutional Neural Networks
34 / 54 KYOTO UNIVERSITY まと背景め: グラフ学習学習データが与えられるので、 GNN はベクトルグラフ学習を見つける入力、関係を見つける各ノードの時を考えるの予定値が近くなるようにパラメータを最適化するを見つける出力  GNN を見つける使うって組合せ問題についての予定アルゴリが紐付いているズに対応可ムを見つけるモデル化  強化学習データが与えられるので、を見つける使うって GNN を見つける訓練するすること背景で、関係を見つける様々あるが、基本的にはな問題についてに対して自動で設計で効率的にはなアルゴリが紐付いているズに対応可ムを見つける獲得られるかという話とは別）できる  特に、関係を見つけるデータの予定分に増やせば、どんな関数でも任意の精度で布にあった良いパラメータを推定するに従って獲得するので、汎用的なソルバよりも、って獲得られるかという話とは別）するの予定で、関係を見つける汎用がある的にはなソルバより返すも任意の精度で、関係を見つける解けるきたい問題についての予定データに偏りがある設定だと有効り返すが与えられるので、関係を見つけるある設定だと背景有効  少しきちんと定式化するとなくと背景も任意の精度で、関係を見つける有名な問題（頂点被覆・最大カット・な問題について（頂点被覆は全ての辺をカバーする頂点集合・最大カットは横断する辺が最大となる頂点集合の分割カット・TSP）に対して、関係を見つける古典的にはなアルゴリが紐付いているズに対応可ムより返すも任意の精度で高い性能を見つける示す関数が与えられるす  手近くなるようにパラメータを最適化するなソルバが与えられるので、関係を見つける無いような問題について自動でソルバが得られるのはいような問題についてについて自動で設計でソルバが与えられるので、関係を見つける得られるかという話とは別）られるの予定はベクトル嬉しい点しい
35 / 54 KYOTO UNIVERSITY GNN の予定表現できる（そういうパラメータが存在する）できる関数についての予定理論で一つの同じグラフを使う的には結果 Approximation Ratios of Graph Neural Networks for Combinatorial Problems
36 / 54 KYOTO UNIVERSITY 背景: グラフ学習ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力はベクトルない  普通の予定ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つけるある  グラフ学習ニューラルネットワークに万能近くなるようにパラメータを最適化する似能力はベクトルある？  （広いクラスの広いクラスのいクラスのクラスのの GNN についクラスのて）ないクラスの [Xu+ 19, Morris+ 19]Xu+ 19, Morris+ 19] 必ず同じ出力になる同型でないグラフ（頂点）が存在するず同じ出力になる同型でないグラフ（頂点）が存在する同じ出力になる同型でないグラフ（頂点）が存在するじ出力になる同型でないグラフ（頂点）が存在する出力になる同型でないグラフ（頂点）が存在するになる同型でないグラフ（頂点）が存在する同じ出力になる同型でないグラフ（頂点）が存在する型でないグラフ（頂点）が存在するでないクラスのグラフ（広いクラスの頂点）が存在する存在するする同型でないグラフ（頂点）が存在するこれらのグラフが存在する異なるクラスに属するならなる同型でないグラフ（頂点）が存在するクラスのに属するならする同型でないグラフ（頂点）が存在するなら GNN は必ずミスする必ず同じ出力になる同型でないグラフ（頂点）が存在するず同じ出力になる同型でないグラフ（頂点）が存在するミスのする同型でないグラフ（頂点）が存在すると背景いう形の予定 GNN を見つける考えるえる On the equivalence between graph isomorphism testing and function approximation with GNNs
37 / 54 KYOTO UNIVERSITY 背景: GNN はベクトル高々あるが、基本的には WL-1 テスト程度での予定識と背景別能力しかない  定理の予定形でアップデートする GNN はベクトル 1 次に選ぶ頂点の嬉しさをモデルの予定 Weisfeiler Lehman テストで非同じグラフを使う型判定できないグラフ学習についてはベクトル必ず同じグラフを使うじグラフを使う値が近くなるようにパラメータを最適化するが与えられるので、関係を見つける出力される  より返す識と背景別能力が与えられるので、関係を見つける高い GNN を見つける構築する（高速）する and/o) r 表現できる（そういうパラメータが存在する）できる関数の予定クラスを見つける示す関数が与えられるす研究が与えられるので、関係を見つける行われている  Weisfeiler-Lehman Graph Kernels
38 / 54 KYOTO UNIVERSITY 背景: アルゴリが紐付いているズに対応可ムを見つける直す必要がある接 GNN でモデリが紐付いているングする  この予定研究でやり返すたいこと背景:  頂点の予定部の頂点には求めたい値が与えられる分に増やせば、どんな関数でも任意の精度で集合を見つける選ぶと将来的によさそうぶ問題について（最小頂点被覆は全ての辺をカバーする頂点集合・最小支配集合）と背景その予定アルゴリが紐付いているズに対応可ムを見つける考えるえる  グラフ学習が与えられるので、関係を見つける与えられるので、関係を見つけるえられたと背景き、関係を見つける頂点が与えられるので、関係を見つけるの予定出力に含まれているものまれるなら 1, そうでないと背景き 0 なる関数を見つける考えるえる  を見つける直す必要がある接 GNN でモデリが紐付いているングできるか？  抽象的にはなグラフ学習を見つける考えるえるの予定でそれぞれの予定ノードの時を考えるの予定特徴量はベクトル同じグラフを使う一と背景する GNN グラフ学習, ノードの時を考えるが与えられるので、関係を見つける解けるに含まれているものまれるかどうか
39 / 54 KYOTO UNIVERSITY 背景: アルゴリが紐付いているズに対応可ムを見つける普通の予定 GNN でモデリが紐付いているングするの予定はベクトル無いような問題について自動でソルバが得られるのは理そう  最小支配集合で入力グラフ学習が与えられるので、関係を見つけるクリが紐付いているークの予定時を考えるを見つける考えるえる  GNN はベクトル、関係を見つける等価なノードの時を考えるに対して同じグラフを使うじグラフを使う出力を見つけるするの予定で全ノードの時を考える出力 o) r ノードの時を考えるを見つける出力しない  最適解けるはベクトルノードの時を考えるを見つけるただ 1 つだけ含まれているものむ集合なの予定で、関係を見つける非常に効率が悪いに効率が与えられるので、関係を見つける悪いい o) r 実行可能でない解けるを見つける出力すること背景になる  同じグラフを使う様の予定理由で多いくの予定アルゴリが紐付いているズに対応可ムはベクトル GNN で表現できる（そういうパラメータが存在する）するの予定はベクトル無いような問題について自動でソルバが得られるのは理そう
40 / 54 KYOTO UNIVERSITY 提案手法がある: 接続する辺に番号をつける（ポート付番）する辺に番号を見つけるつける（ポート付いている番）  より返す広範な関数を表現するため、ポート付番という概念を導入するな関数を見つける表現できる（そういうパラメータが存在する）するため、関係を見つけるポート付いている番と背景いう概念を見つける導入する  導入にあたって、関係を見つけるポートの予定最大カットは横断する辺が最大となる頂点集合の分割番号を見つける決める。めるため、関係を見つけるグラフ学習の予定最大カットは横断する辺が最大となる頂点集合の分割次に選ぶ頂点の嬉しさをモデル数を見つけると背景おく  直す必要がある感的にはにはベクトル、関係を見つける普通の予定 GNN はベクトル同じグラフを使うじグラフを使う「メッセージ」というのは、頂点のを見つける周辺ノードの時を考えるに送るが与えられるので、関係を見つける、関係を見つけるポート付いている番付いているき GNN はベクトルポートによって送るメッセージを見つける変える 1 2 3 23 1 2 1 4 1 3 2 v
41 / 54 KYOTO UNIVERSITY 提案手法がある: ポート付いている番を見つける使うったモデル (GNN) CPNGNNs)  CPNGNNs (Yes/No) co) nsistent po) rt numbering GNNs):  受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いったグラフ学習の予定各頂点について、関係を見つける接続する辺に番号をつける（ポート付番）する辺にの予定範な関数を表現するため、ポート付番という概念を導入する囲で何でもいいので重複しないようにポート番号をつけるで何か予測してでも任意の精度でいいの予定で重み付きグラフが与えられるので、複しないようにポート番号をつけるしないようにポート番号を見つけるつける : 頂点の予定と背景書かれている辺の先のノードかれている辺の予定先のノードの予定ノードの時を考える : 頂点の予定と背景書かれている辺の先のノードかれている辺の予定先のノードの予定ノードの時を考えるが与えられるので、関係を見つけるその予定辺に付いているけている番号対応する辺が与えられるので、関係を見つける存在する）しないと背景きはベクトル特別な数 (Yes/No) -1 など) を見つける返すす  更新しいグラフが与えられる式:  受け取ったときに、その頂点を次に追加する嬉しさをけ取る）ことが多いるポートごと背景に重み付きグラフが与えられるので、み行列を見つける使うい、関係を見つけるどの予定ポートから来の理論的な話以外に）たかと背景いう情報も任意の精度で使ううこと背景に相当 || はベクトルベクトルの予定連結を見つける表す
42 / 54 KYOTO UNIVERSITY 提案手法がある: ポート付いている番を見つける使うったモデル (GNN) CPNGNNs)  CPNGNNs:  「1 番目の予定ポートだけに特別なメッセージを見つける送る」というのは、頂点の、関係を見つける「3 番目の予定ポートから特別なメッセージが与えられるので、関係を見つける届いたので、対応するメッセージを送る」、などのいたの予定で、関係を見つける対応するメッセージを見つける送る」というのは、頂点の、関係を見つけるなどの予定操作が可能になるが与えられるので、関係を見つける可能になる  O(Yes/No) 層数 x 入力グラフ学習の予定辺数) で計算が容易・微分可能・可変サイズに対応可可能  パラメータに関して微分に増やせば、どんな関数でも任意の精度で可能  可変サイズに対応可の予定グラフ学習を見つける扱うときは頂点ごとに何か予測してえる  連結を見つける繰り返すり返す返すすの予定で最大カットは横断する辺が最大となる頂点集合の分割次に選ぶ頂点の嬉しさをモデル数が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きいと背景途中で次元が大きくなるで次に選ぶ頂点の嬉しさをモデル元が、その頂点が部分解に含まれている時が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きくなる
43 / 54 KYOTO UNIVERSITY 提案手法がある: CPNGNNs はベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムと背景深い関係い関係を見つける  CPNGNNs はベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定計算が容易・微分可能・可変サイズに対応可モデルと背景深い関係い関係を見つけるが与えられるので、関係を見つけるある  局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムはベクトル定数回だけ通信を見つける行う分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ム 1. 計算が容易・微分可能・可変サイズに対応可するコンピューターネットワーク自身が解く問題のインスタンスが与えられるので、関係を見つける解けるく問題についての予定インスタンス 2. 各ノードの時を考えるはベクトル無いような問題について自動でソルバが得られるのは限らない）の目的関数の比の予定計算が容易・微分可能・可変サイズに対応可資源をもつとするを見つけるも任意の精度でつと背景する 3. 各ノードの時を考えるはベクトル近くなるようにパラメータを最適化する傍ノードとの通信、非線形変換を繰り返すノードの時を考えると背景定数回の予定同じグラフを使う期通信を見つける行い、関係を見つける自分に増やせば、どんな関数でも任意の精度でが与えられるので、関係を見つける解けるに含まれているものまれるか宣言するする例が与えられるので、関係を見つけるえば、関係を見つける複しないようにポート番号をつける数の予定携帯端末がその場で通信網を作る際に、が与えられるので、関係を見つけるその予定場で通信網を作る際に、を見つける作が可能になるる際の評価関数を学習するに、関係を見つける通信を見つける制御する親機を選択する必要があるする親機を見つける選ぶと将来的によさそう択するする必要がある状況を考えるが与えられるので、関係を見つけるある親機はベクトルできるだけ小さい頂点被覆は全ての辺をカバーする頂点集合になっていてほしい定数回の予定通信（例が与えられるので、関係を見つけるえば 5 ラウンドの時を考える) 以内に親機を選択するに親機を見つける選ぶと将来的によさそう択するする
44 / 54 KYOTO UNIVERSITY 背景: 局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムにはベクトルいくつか計算が容易・微分可能・可変サイズに対応可モデルが与えられるので、関係を見つけるある  局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムにはベクトルいくつか計算が容易・微分可能・可変サイズに対応可モデルが与えられるので、関係を見つけるある  ネットワーク内に親機を選択するで区別できる情報に差が与えられるので、関係を見つけるある  VVC (Yes/No) 1): どの予定通信ポートにメッセージを見つける送ったか、関係を見つけるどの予定通信ポートからメッセージが与えられるので、関係を見つける送られてきたか区別できる  スタンダードの時を考える  MB(Yes/No) 1): ポートの予定情報を見つける区別できない  VVC (Yes/No) 1) の予定方はいろいろある（ここでは和を取っている）が与えられるので、関係を見つける真にに広いクラスの予定問題についてを見つける解けるける [Hella+ 12]Hella+ 12]
45 / 54 KYOTO UNIVERSITY 提案手法がある: CPNGNNs はベクトル VVC (GNN) 1) モデルの予定アルゴリが紐付いているズに対応可ムを見つける表現できる（そういうパラメータが存在する）できる  定理 CPNGNNs はベクトル VVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定任意の関数を近似できるの予定アルゴリが紐付いているズに対応可ムを見つける表現できる（そういうパラメータが存在する）できる  定理　　　　　　　　　　　　　　　　　　　　　　　　　　　の予定形でアップデートする GNN が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できる関数はベクトル、関係を見つけるMB(Yes/No) 1) モデル上の任意のアルゴリズムをでシミュレートできるアルゴリが紐付いているズに対応可ムに限らない）の目的関数の比られる  系 CPNGNNs が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できる関数はベクトル既存の予定 GNN (Yes/No) GCN, GAT, GIN, GraphSAGE) より返すも任意の精度で真のポリシー関数は分からないに広い CPNGNNs= VV -GNNs= VV (GNN) 1) (GNN) finding a single leaf) GIN = MB-GNNs GAT GCN (GNN) WL test) C C 提案モデルモデル GNN提案モデルクラスの分散アルゴリズムのアルゴリズムのの計算モデルモデル既存モデル
46 / 54 KYOTO UNIVERSITY 提案手法がある: VVC (GNN) 1) モデルの予定結果から GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つけるわかる  VVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定アルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける既にいくつも任意の精度で知られている  例が与えられるので、関係を見つけるえば、関係を見つけるVVC (Yes/No) 1) モデル上の任意のアルゴリズムをの予定 2 近くなるようにパラメータを最適化する似の予定最小頂点被覆は全ての辺をカバーする頂点集合アルゴリが紐付いているズに対応可ムが与えられるので、関係を見つける知られている [Hella+ 12]Åstrand+ 09]]  CPNGNNs で 2 近くなるようにパラメータを最適化する似の予定関数を見つける表現できる（そういうパラメータが存在する）できる  VVC (Yes/No) 1) モデルの予定理論で一つの同じグラフを使う的にはな限らない）の目的関数の比界も調べられているも任意の精度で調べられている  例が与えられるので、関係を見つけるえば、関係を見つける VVC (Yes/No) 1) モデルではベクトル最小支配集合に対してはベクトルより返すも任意の精度で良い近似をめざすい近くなるようにパラメータを最適化する似度ではベクトル得られるかという話とは別）られない  CPNGNNs はベクトル近くなるようにパラメータを最適化する似より返す良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）できない  他のの GNN でもできないクラスの
47 / 54 KYOTO UNIVERSITY 提案手法がある: 補助情報を見つける入れると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる  さらに良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）するにはベクトルどうすればよいか？  一つの予定解ける決める。策: 補助情報を見つける特徴量に追加して解を構成していく際の評価関数を学習するする局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているでも任意の精度で研究されている  特徴量に（任意の関数を近似できるの予定）弱二彩色を見つける追加して解を構成していく際の評価関数を学習するすると背景ノードの時を考えるを見つけるより返す細かく識別できるようになるかく識と背景別できるようになる  特に、関係を見つける最小支配支配集合ではベクトル近くなるようにパラメータを最適化する似の予定関数を見つける CPNGNNs が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できるようになること背景が与えられるので、関係を見つける局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定結果からいえる  様々あるが、基本的にはな補助情報を見つける追加して解を構成していく際の評価関数を学習するすること背景で良い近似をめざすい関数を見つける表現できる（そういうパラメータが存在する）できるかも任意の精度でしれない
48 / 54 KYOTO UNIVERSITY 関連研究: ノードの時を考えるの予定組を見つける考えるえると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる  他の手法よりも良いの予定方はいろいろある（ここでは和を取っている）法がある: ノードの時を考えるにだけではベクトルなく、関係を見つけるノードの時を考えるの予定組にも任意の精度で表現できる（そういうパラメータが存在する）を見つける与えられるので、関係を見つけるえる  k 個の組に表現を与えるの予定組に表現できる（そういうパラメータが存在する）を見つける与えられるので、関係を見つけるえる GNN (Yes/No) k-GNN) はベクトル k 次に選ぶ頂点の嬉しさをモデルの予定 WL テストと背景同じグラフを使うじグラフを使う表現できる（そういうパラメータが存在する）能力を見つける持つつ [Hella+ 12]Mo) rris+ 19]]  1-WL より返す真のポリシー関数は分からないに広い  n(Yes/No) n-1)/2 組まで考えるえると背景万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つける得られるかという話とは別）られる [Hella+ 12]Maro) n+ 19]]  計算が容易・微分可能・可変サイズに対応可量はベクトル大カットは横断する辺が最大となる頂点集合の分割きく増やせば、どんな関数でも任意の精度でえてしまう Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks
49 / 54 KYOTO UNIVERSITY 関連研究: ランダム特徴量を見つける追加して解を構成していく際の評価関数を学習するすると背景 GNN の予定表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける高まる  他の手法よりも良いの予定方はいろいろある（ここでは和を取っている）法がある: 乱択するアルゴリが紐付いているズに対応可ム化分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているではベクトル、関係を見つける乱択するアルゴリが紐付いているズに対応可ム化すること背景で表現できる（そういうパラメータが存在する）能力が与えられるので、関係を見つける大カットは横断する辺が最大となる頂点集合の分割きく向上の任意のアルゴリズムをすること背景が与えられるので、関係を見つける知られている  特徴量にランダムな値が近くなるようにパラメータを最適化するを見つける追加して解を構成していく際の評価関数を学習するすること背景で、関係を見つける各ノードの時を考えるを見つける区別できるようにし、関係を見つけるかつ乱択する化できるようにする支配集合 + クリが紐付いているーク: 最小値が近くなるようにパラメータを最適化するの予定ノードの時を考えるだけを見つける解けるに含まれているものめれば最適解ける  Graph Iso) mo) rphism Netwo) rks + ランダム特徴量 (Yes/No) rGIN) を見つける使うえば、関係を見つけるある種があるの予定万能近くなるようにパラメータを最適化する似能力が与えられるので、関係を見つける得られるかという話とは別）られ、関係を見つける良い近似をめざすい近くなるようにパラメータを最適化する似度での予定アルゴリが紐付いているズに対応可ムも任意の精度で表現できる（そういうパラメータが存在する）できる [Hella+ 12]Sato) + 20]   手軽最小支配集合ではベクトル近くなるようにパラメータを最適化する似 → 多い項式時を考える間の相関を小さくするためではベクトルほぼ最適
50 / 54 KYOTO UNIVERSITY まと背景め: GNN の予定表現できる（そういうパラメータが存在する）能力を見つける局所アルゴリが紐付いているズに対応可ムと背景関連づけて研究  グラフ学習ニューラルネットワークにはベクトル万能近くなるようにパラメータを最適化する似能力はベクトルない  どういう関数が与えられるので、関係を見つける表現できる（そういうパラメータが存在する）できて、関係を見つけるどうしたら表現できる（そういうパラメータが存在する）できる関数を見つける広げられるか？  この予定研究ではベクトル局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定知見つけるを見つける使うって、関係を見つけるポート付いている番を見つける追加して解を構成していく際の評価関数を学習するすること背景で有名な問題（頂点被覆・最大カット・な計算が容易・微分可能・可変サイズに対応可モデルと背景等価な GNN を見つける提案  局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムを見つける使うって様々あるが、基本的にはな理論で一つの同じグラフを使う的には結果を見つける導ける  既存の予定 GNN も任意の精度で局所分に増やせば、どんな関数でも任意の精度で散アルゴリズムと深い関係アルゴリが紐付いているズに対応可ムの予定フ学習レームワークで解ける析できるできる  発展中で次元が大きくなるの予定分に増やせば、どんな関数でも任意の精度で野でも研究されているなの予定で手軽で強い GNN の予定登り、場に期待（乱択する？）  特に、関係を見つける現できる（そういうパラメータが存在する）実的にはな制約下で訓練する・推論で一つの同じグラフを使うできるモデルの予定開発が与えられるので、関係を見つける必要がある状況を考える
51 / 54 KYOTO UNIVERSITY 参考える文献:  Matti Åstrand, Patrik Floréen, Valentin Polishchuk, Joel Rybicki, Jukka Suomela, Jara Uitto. A local 2-approximation algorithm for the vertex cover problem. DISC 2009.  Irwan Bello, Hieu Pham, Quoc V. Le, Mohammad Norouzi, Samy Bengio. Neural Combinatorial Optimization with Reinforcement Learning. arXiv 2016.  Zhengdao Chen, Soledad Villar, Lei Chen, Joan Bruna. On the equivalence between graph isomorphism testing and function approximation with GNNs. NeurIPS 2019.  Hanjun Dai, Elias B. Khalil, Yuyu Zhang, Bistra Dilkina, Le Song. Learning Combinatorial Optimization Algorithms over Graphs. NIPS 2017.
52 / 54 KYOTO UNIVERSITY 参考える文献:  Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin. Graph Neural Networks for Social Recommendation. WWW 2019.  Maxime Gasse, Didier Chételat, Nicola Ferroni, Laurent Charlin, Andrea Lodi. Exact Combinatorial Optimization with Graph Convolutional Neural Networks. NeurIPS 2019.  Lauri Hella, Matti Järvisalo, Antti Kuusisto, Juhana Laurinharju, Tuomo Lempiäinen, Kerkko Luosto, Jukka Suomela, Jonni Virtema. Weak Models of Distributed Computing, with Connections to Modal Logic. PODC 2012.  Jiayi Huang, Mostofa Patwary, Gregory Diamos. Coloring Big Graphs with AlphaGoZero. arXiv 2019.
53 / 54 KYOTO UNIVERSITY 参考える文献:  Thomas N. Kipf, Max Welling. Semi-Supervised Classification with Graph Convolutional Networks. ICLR 2017.  Haggai Maron, Ethan Fetaya, Nimrod Segol, Yaron Lipman. On the Universality of Invariant Networks. ICML 2019.  Christopher Morris, Martin Ritzert, Matthias Fey, William L. Hamilton, Jan Eric Lenssen, Gaurav Rattan, Martin Grohe. Weisfeiler and Leman Go Neural: Higher- order Graph Neural Networks. AAAI 2019.  Namyong Park, Andrey Kan, Xin Luna Dong, Tong Zhao, Christos Faloutsos. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks. KDD 2019.
54 / 54 KYOTO UNIVERSITY 参考える文献:  Ryoma Sato, Makoto Yamada, Hisashi Kashima. Approximation Ratios of Graph Neural Networks for Combinatorial Problems. NeurIPS 2019.  Ryoma Sato, Makoto Yamada, Hisashi Kashima. Random Features Strengthen Graph Neural Networks. arXiv 2020.  Nino Shervashidze, Pascal Schweitzer, Erik Jan van Leeuwen, Kurt Mehlhorn, Karsten M. Borgwardt. Weisfeiler-Lehman Graph Kernels. JMLR 2011.  Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio. Graph Attention Networks. ICLR 2018.  Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka. How Powerful are Graph Neural Networks? ICLR 2019.

Check these out next

グラフニューラルネットワークとグラフ組合せ問題

Recommandé

Contenu connexe

Présentations pour vous(20)

Plus de joisino(11)

Dernier(20)

グラフニューラルネットワークとグラフ組合せ問題