Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験
Transformerを用いた AutoEncoderの設計と実験発表者：myxy ML集会
誰？ ● myxy（みきしぃ） ● 本業はプログラマ ● 機械学習は完全に趣味で勉強してるアバター作ったりもするアバターワールドの検索・表示システムとか作った
Transformer "Attention is All You Need"より引用 ● 自然言語処理で活躍 ● 言語・音声等系列データの処理 ● パラメータが増えるほど強いらしい
AutoEncoder ● 入力次元より低い次元に圧縮してから元のデータを復元する ● 入力と出力の誤差を最小化 ● データに対して低次元の特徴量が得られる英語版wikipedia "AutoEncoder"より引用 (CC-BY-SA)https://en.wikipedia.org/wiki/Autoencoder#/ media/File:Autoencoder_structure.png
動機通常のAutoEncoderは入出力次元数が固定されており長さが変化する系列データの処理はできない Transformerを使って系列データのAutoEncoderを作りたい
既存研究 "Masked Autoencoders Are Scalable Vision Learners"より引用 AutoEncoderと銘打っているがやってることはマスクしたパッチの補間
出力次元数を下げる ● 系列長は減らない ● あまり次元を下げると位置情報が保持できなくなる次元数を減らすのではなく系列長を減らせるだろうか？ナイーブな方法 Transformer Encoder 系列長n × 次元数256 ・・・・・・系列長n × 次元数128
V K Q Transformerに使われる Query-Key-Value型のAttentionでは Queryに入力した系列と同じ長さの系列が出力される系列長n ・・・系列長n ・・・
V K Q Transformerに使われる Query-Key-Value型のAttentionでは Queryに入力した系列と同じ長さの系列が出力される系列長n ・・・系列長n ・・・ Key-Valueの方に入力すれば系列長を圧縮できるのでは？
位置エンコーディング（潜在ベクトル用）・・・潜在ベクトル系列・・・ Encoder (Transformer Decoder) 提案手法 Decoder (Transformer Decoder) 入力ベクトル系列・・・位置エンコーディング（入力ベクトル用）・・・ + 位置エンコーディング（入力ベクトル用）・・・出力ベクトル系列・・・ Key-Value Key-Value Query Query 同じ位置エンコーディングを使用 x N x N 空間的な位置というより潜在ベクトルを識別するIDに近い
実験 ● CIFAR-10の画像データ（32x32）を 4x4のパッチに分割（64個x48次元） ● Encoder, Decoderはそれぞれ6層の TransformerDecoder ● 位置エンコーディングは正規分布で初期化して学習可能な位置埋め込みとした ● 詳しくはコード見て https://gist.github.com/myxyy/0e06c430652b35cd a4d56aaf21eb7fa9
潜在ベクトルが16個の16次元ベクトルの場合 ● 左から入力画像、潜在ベクトル、出力画像画像の位置埋め込み、潜在ベクトルの位置埋め込み ● 500epoch時点のvalidationのMSELossは0.00805
● 500epoch時点のvalidationのMSELossは0.00646 ● 16x16よりちょっと鮮明になった潜在ベクトルが32個の16次元ベクトルの場合
● 500epoch時点のvalidationのMSELossは0.00480 ● 32x16よりも性能が良い潜在ベクトルが16個の32次元ベクトルの場合
考察 ● なんで32x16より16x32の方が性能いいの？ ○ Transformerの系列は並び替えで変化しない ○ 16x16は256次元ベクトルより16!倍弱い ○ 系列長を倍にしても情報量が倍にならない ○ ベクトルの次元数を増やす方が効率が良い
今後の課題 ● 文字列等の本来やりたかった可変長系列の処理 ○ 画像をパッチ分割することで様々な解像度の画像を処理可能？ ● 潜在ベクトルから位置情報を分離したい ○ VAEのような正則化が必要？

Transformerを用いたAutoEncoderの設計と実験

Check these out next

Transformerを用いたAutoEncoderの設計と実験

Recommandé

Contenu connexe

Présentations pour vous(20)

Similaire à Transformerを用いたAutoEncoderの設計と実験(20)

Dernier(20)

Transformerを用いたAutoEncoderの設計と実験