(ICML2020 K.Kato et al. fujitsu) Rate distortion optimization guided autoencoder 解説速報版
•Télécharger en tant que PPTX, PDF•
1 j'aime•900 vues
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space (ICML2020 K.Kato et al. Fujitsu Labo.) 解説スライド（速報版）
Recommandé
Contenu connexe
Tendances
Tendances (20)
Dernier
Dernier (9)
(ICML2020 K.Kato et al. fujitsu) Rate distortion optimization guided autoencoder 解説速報版
- 1. Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space (ICML2020 K.Kato et al. Fujitsu Labo.) 解説スライド（速報版） 2020/07/18 YAMAMOTO YOSHIKI
- 2. 自己紹介 山本 健生（やまもと よしき） Age:25 神戸大理学研究科数学専攻修了（専門は微分幾何学） 現在の業務は関西の電機メーカーで「画像AIの研究」と「AIの利活用検討」 数学を駆使して現実世界の課題を解決したい 持ってる資格：数学検定準１級、PAST中級、 DL検定G、統計検定２級（準１受けようと思ったら なくなった…） 趣味はカメラ、スキーとか。
- 3. 論文を読んだ理由 プレリリースで面白そうな論文出してる ↓ いきなり『 Isometric Map and Notions of Differential Geometry 』って書いてある！ これは微分幾何学の知識使えるのでは！？ ↓ どうせ日本語解説記事がないなら、今日１日暇だし作るか！ （速報版なので、多少の間違い等は許してください。後日加筆&訂正予定です）
- 6. 1.イントロ Isometric（等長写像）とは？ Def. 距離空間(𝑋, 𝑑)と(𝑌, 𝑑’)に対して、fが等長写像であるとは、 任意の元𝑥, 𝑦 ∈ 𝑋 に対して、 𝑑 𝑥, 𝑦 = 𝑑′ 𝑓 𝑥 , 𝑓 𝑦 を満たすときをいう。すなわち、写像𝑓で送った先の距離関係が一致するような写像のこ とをいう “近いものは近くに”、“遠いものは遠くに”
- 7. 1.イントロ Isometric（等長写像）じゃないと何が困るの？ VAEは”元に復元できる”と”𝑧が正規分布に従う”しか要求していないので、 𝑥での各点の関係が𝑧でも維持されるとは限らない →この状況では、𝑃𝑥 = 𝑓−1(𝑃𝑧)で𝑃𝑥を求めても、”substitution”に過ぎない (Chen et al., 2018; Shao et al., 2018; Geng et al., 2020) よって、”近くのものを近くに”、”遠くのものを遠くに”を担保するため、𝑓にIsometricを 要求する 例）VAEによって、遠いものが近くなる可能性を否定できない 𝑓 𝑥 𝑧 代用品
- 8. 1.イントロ ではそのような𝒇は存在するのか？ 「多様体仮説」によれば、高次元データは全次元に一様に分布しておらず、一部の領域に集 中している（多様体ℳとする） ナッシュの埋め込み定理により、 ℳはℝ 𝑀 に等張性を保ったまま埋め込むことができる (dimℳ + 1 ≤ 𝑀） →よって、データ𝑋の次元𝑁に対して、dimℳ < 𝑀 ≪ 𝑁を満たすような小さい次元𝑀に、 等張性を保ったままデータを圧縮することができるのではないか この考えを用いれば、データ種別に依存しない、良い次元圧縮ができるはず （※データ種別に依存する圧縮方法：バイナリデータにおけるBCEや画像におけるSSIMなど）
- 9. 1.イントロ また、数学的には、𝑓が等長埋め込みであることは、𝑓のヤコビアンの列が正規直交基底 をなすことに等しい 経験的手法として、直交変換符号化(DIC)はディープラーニングを使った画像圧縮で高成 績を残している(Balle et al., 2018; Zhou et al., 2019) この２本では議論されていないが、この高成績の裏にはRDO (Rate-Distortion Optimization)との理論的な関係があるはず →本論文ではRDOがVAEの直交性を誘導していることを証明する
- 12. 4.理論的な構成 RDOに基づくLoss関数は次の通りになる（ラグランジュ未定乗数法） 𝐿 = 𝑅 + 𝜆𝐷 ここで、Rは圧縮率、Dは元データとノイズ入りで復元したデータの誤差なので、Dを 一定に保ちつつRを小さくしていくことを考える これを、VAEの言葉で書き直すと次のようになる： 𝐿 = − log 𝑃𝑧 + 𝜆1 log 𝐷 𝑥, 𝑥 + 𝜆2(𝐷 𝑥, 𝑥 ) 各項の意味は次ページより ネットワーク構造→
- 13. 4.理論的な構成 𝐿 = − log 𝑃𝑧 + 𝜆1 log 𝐷 𝑥, 𝑥 + 𝜆2(𝐷 𝑥, 𝑥 ) 第１項は通常のVAEのKL-lossに当てはまるもの 第２項は通常のVAEのRecon-lossに当てはまるもの 第３項はRDOの量子化誤差を制御するもの すなわち、これで”近いものを近く”、”遠いものを遠く“を制御する 最初に読んだ時の疑問：第３項、本当にうまく行くのか…？
- 14. 4.理論的な構成 第３項、本当にうまく行くのか…？ 論文の4.2.には次のように書いてある： まず学習を進めると第2項がどんどん小さくなり、無視できるぐらい小さくなる(𝑥 ≒ 𝑥) →すると、その時点でLの期待値は次のように近似できる この時、両辺を 𝜕𝑥 𝜕𝑧 𝑗 で偏微分する（E[𝐿]が最小になる点を求めに行く） ※𝐽は 𝜕𝑥 𝜕𝑧 を並べたヤコビアン
- 15. 4.理論的な構成 第３項、本当にうまく行くのか…？ 偏微分=0と置いて整理すると次の式が出てくる これは、𝐴(𝑥)で定義された内積について、ヤコビアンは正規直交基底をなすことを示す ※ 𝐴(𝑥)で定義された内積： 微分幾何学では、点pにおける内積を次のように定義します 𝑣, 𝑤 𝑝 = 𝑣 𝑇 𝐴 𝑝 𝑤 通常ユークリッド空間で使用する内積は𝐴が単位行列の場合ですが、 曲がった空間などでは𝐴を異なる行列に変えることがあります
- 21. 6.まとめ 今までのVAEでは、等長性がなくデータ点間の構造が保たれていなかった これに対し、等長性を要求することによって𝑃𝑥と𝑃𝑧を対応させることができ、 𝑃𝑧から𝑃𝑥を誘導してSOTAを達成した 今回の変換はデータの構造に依存しておらず、様々なアプリケーションに対応できる 変数間に直交性があることで、PCAlikeな分析が可能 所感） ・やはり「次元の呪い」を解消できたのは強いのではないか？ ・最後のPCAlikeな分析ができるのも、「AIの説明性」が求められている中で強そう