Contenu connexe
Similaire à Deep sets (20)
Deep sets
- 2. 自己紹介
• 高橋智洋
• 所属: ABEJA, Inc.
• Github: takat0m0
• 好きな framework は tensorflow
• 興味を持っていること
• 学生時代 -> 一般相対論,特に black hole physics
• 前のお仕事 -> 数理計画,特に混合整数計画問題
• 今のお仕事 -> 機械学習
- 3. 学生時代
• Einstein 方程式 を満たす4次元の擬リーマン多様
体を探すお話.通常対称性を課す.
二次元の球対称性を課すと
Black hole 解が得られる.
空間的な一様等方性を課すと
宇宙の発展方程式を得られる.
(https://en.wikipedia.org/wiki/Black_hole) (https://www.astrosociety.org/education/astronomy-resource-guides
/cosmology-the-origin-evolution-ultimate-fate-of-the-universe/)
- 4. 前のお仕事
• 混合整数計画問題をやっていた.
• 一般的な解法は branch and bound
• 興味を持っていたのは,対称性.
• 例えば,変数 z_0 と z_1 を入れ替えても問題が変わらないことが分かっ
た場合に,tree に調べる必要のない部分がある.
• orbital branching という綺麗な手法が提案されていたりする.
…
…
z_0 = 0 z_0 = 1
z_1 = 0 z_1 = 1 z_1 = 0 z_1 = 1
- 7. 概要
• Deep learning において対称性がある系で対称性を保証するためには
network などがどのような制限を受けるかを議論.
• 2つのケースについて考えている.
• Invariant model (今日は触れない.隠し slide 参照)
• m個の input に対して scalar を返す関数が input の permutation
に対して変わらない.
• Equivariant model (今日の main の話)
• 次の slide 以降で.
- 8. Equivariant model
• m 個の input に対して m 個の output がある
• Input の permutation に伴って output も同じように
permutation するようなケースを考える.
- 9. 例えば
• Set anomaly detection (仲間はずれ探し)
Inputs
Outputs ○ ○ ○ ×
この問題においては,equivariance が要求される.
- 12. 証明 前半
=>
• 任意の permutation は 互換の積で書けるので,互換だけ見れば十分
• 互換が OK なのは例えば以下の例を見れば明らか.
- 17. 画像を入力としたければ
• 「画像 -> D 次元 vector」 という deep neural network を
かませば良い.ただし,共有する必要あり.
DNN
DNN
DNN
共有の DNN
Scalar output1
Scalar output2
Scalar output3
- 18. 確率値としたければ
• Softmax 層は permutation equivariant
probability1DNN
DNN
DNN
共有の DNN
probability2
probability3
Softmax
- 19. 実験
• データ
• CelebA をベースに作成.このデータには各 figure に 40 種類の boolean 属性が付いてい
る.
• 16 枚 の1セットを 18,000 セット作成.
• 各セットを作成する際に,属性を 2 つ random に選び,1つ目の属性を満たすものを
15 枚,もう一つの属性を満たすものを 1 枚選んでいる.
• Train set に出てきている人は test set には出てこないようにしている.
• Network
• 先のやつと同じ.
• Softmax は,仲間外れの入力番目が 1 となるように学習.
- 22. まとめ
• Permutation equivariance という条件がある場合に network がどのよ
うな制限を受けるかを見た.
• 今後としては,別の条件の時にはどう制限を受けるのかが気になる.
• 画像の回転に対して invariant な output を出力する network ?
• Graph の node の permutation に対して invariant な output を出力
する network ?
• Graph の対称性を detect できる Mackey’s algorithm まで絡んで
くると面白そう.
- 24. Invariant Model
• m 個の input に対して,scalar 量を返す関数を考える.
• このとき,input の permutation に対して不変になるよう
にしたい.