[DL輪読会]Learning from Irregularly-Sampled Time Series: A Missing Data Perspective (ICML2020)
•Télécharger en tant que PPTX, PDF•
0 j'aime•526 vues
2020/09/11 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Learning from Irregularly-SampledTime Series
A Missing Data Perspective”
Jun Hozumi, Matsuo Lab](https://image.slidesharecdn.com/dlp20200911b-200916051213/85/DL-Learning-from-Irregularly-Sampled-Time-Series-A-Missing-Data-Perspective-ICML2020-1-320.jpg?cb=1600233575)
Recommandé
Recommandé
Contenu connexe
Plus de Deep Learning JP
Plus de Deep Learning JP (20)
Dernier
Dernier (8)
[DL輪読会]Learning from Irregularly-Sampled Time Series: A Missing Data Perspective (ICML2020)
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Learning from Irregularly-SampledTime Series A Missing Data Perspective” Jun Hozumi, Matsuo Lab
- 2. 書誌情報 • Title: Learning from Irregularly-Sampled Time Series A Missing Data Perspective • Author: Steven Cheng-Xian Li and Benjamin M. Marlin • University of Massachusetts Amherst • Conf.: ICML 2020 • Paper: https://arxiv.org/abs/2008.07599 • Slides: https://icml.cc/media/Slides/icml/2020/virtual(no-parent)-14-14-00UTC-6300- learning_from_i.pdf • スライド中の図表は主に上の2つから引用 2
- 3. 本資料の構成 • 手法のキモが2つに分けられるため、それぞれごとに実験を紹介します • 背景、目的 • 提案手法 1: 不規則にサンプリングされたデータの再構成法 • 実験 1 • 提案手法 2: 時系列の再構成法 • 実験 2 • 結論 3
- 4. 背景 • 実世界の時系列は一定周期でサンプリングできるとは限らない • ex. 患者の生体データなど • 複数の時系列を観測するとき、すべて同じタイミングで観測できるとは限らない • 観測時刻と観測回数 • すごくスパースになりがち • 時系列を取り扱うアルゴリズムの多くは、固定次元のデータを必要とする 4
- 5. 目的 • 今回考える問題: （固定長内で）不規則にサンプリングされた時系列から分布を学習する • 学習して、潜在変数の推定や分類を行う • この問題はデータ欠損問題と言い換えられる • 本研究の目的: 不規則にサンプリングされた時系列データから分布を学習するためのス ケーラブルなフレームワークを開発する • 最終的に既存手法を上回り、より高速に学習できる手法を示す 5
- 6. 凡例 • インデックスセットをIとし、𝑡 ⊂ 𝐼がインデックス、そこでの観測を𝑥とする 6
- 7. Partial Varational Autoencoder (P-VAE) • tを条件のように扱うVAEを設計する(P-VAE) 7
- 8. マスク関数 • 観測されない部分を0とするマスク関数𝑚を導入する • エンコーダへの入力は𝑞 𝜙 𝑧 𝑥, 𝑡 = 𝑞 𝜙 𝑧 𝑚(𝑥, 𝑡) = 𝒩(𝑧|𝜇 𝜙 𝑚 𝑥, 𝑡 , Σ 𝜙 𝑚 𝑥, 𝑡 )となる 8
- 10. Partial Bidirectional GAN (P-BiGAN) • P-VAEをGANの方法で学習する(P-BiGAN) • デコーダの出力が本物に近づくよう(𝑥, 𝑡, 𝑧)の組の識別機𝐷を学習させる 10
- 15. 実験 1-2 • マスク率を変えて復元実験を行い、FID(Fréchet Inception Distance)を比較 • P-VAEだと画像がぼやけてスコアが悪化しがちだが、P-BiGANだと高スコア 15
- 16. 手法2: 不規則にサンプリングされた時系列への対処 • [0, T]で不規則にサンプリングされた時系列でこれらを学習するにはどうすればいいか？ 16
- 17. デコーダ • デコーダからは一定間隔𝑢で出力 • それらをEpanechnikovカーネル 𝐾 によるスムーザを用いて補完したものを最終的な出力 とする 17
- 18. エンコーダ: 連続畳み込み層 • 1次のB-スプライン曲線による連続カーネル𝑤(𝑡)で入力を一定間隔𝑢に畳み込む • カーネルとマスク関数の相互相関をとる • それをCNNエンコーダに入れる 18
- 20. 実験 2 • MIMIC-IIIによる死亡予測（分類）タスク • 12種類の不規則にサンプリングされた生体時系列データ、平均死亡率8.10% • 提案手法によって高速かつ高精度の分類が実現している 20
- 21. 結論 • 不規則にサンプリングされた時系列データのモデリング手法を提案した • 欠損データに対するエンコーダ・デコーダのフレームワークを提案 • P-VAE • P-BiGAN • （連続）時系列データのモデリング手法を提案 • カーネルスムーザによるデコーダ • 連続畳み込み層 • 提案手法は既存手法に比べ高精度かつ学習時間を大幅に短縮できた 21