能動学習セミナー

•

36 j'aime•14,952 vues

Preferred Networks

xnext = arg min P✓ (ˆ1 |x)
y P✓ (ˆ2 |x)
y
x2U

xnext
U
✓
y
y1
ˆ
y2
ˆ

12 1 5

X
xnext = arg max P✓ (y|x) log P✓ (y|x)
x
y

12 1 5

x
Xn
ˆ 1 y
Rn = G(xi , yi ; ✓)
n i=1 ✓
{(xi , yi )} ⇠ p(x, y) p(x, y)
G(xi , yi ; ✓)

12 1 5

x
n
X p(xi , yi )
1 y
ˆ
Rn,q = G(xi , yi ; ✓)
B i=1 q(xi , yi )
✓
{(xi , yi )} ⇠ q(x, y) p(x, y)
G(xi , yi ; ✓)
q(x, y)

p(xi , yi ) p(xi )p(yi |xi ) p(xi )
= =
q(xi , yi ) q(xi )p(yi |xi ) q(xi )
12 1 5

ˆ
Ex⇠q [Rn,q (✓)] = Ex⇠p [Rn (✓)]

12 1 5

Recommandé

Active Learning 入門Shuyo Nakatani

CVPR2019読み会@関東CVTakanori Ogata

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

Recent Advances on Transfer Learning and Related Topics Ver.2Kota Matsui

機械学習による統計的実験計画（ベイズ最適化を中心に）Kota Matsui

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement LearningPreferred Networks

Active Learning と Bayesian Neural NetworkNaoki Matsunaga

Recommandé

Active Learning 入門Shuyo Nakatani

CVPR2019読み会@関東CVTakanori Ogata

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

Recent Advances on Transfer Learning and Related Topics Ver.2Kota Matsui

機械学習による統計的実験計画（ベイズ最適化を中心に）Kota Matsui

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement LearningPreferred Networks

Active Learning と Bayesian Neural NetworkNaoki Matsunaga

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku

最適輸送の解き方joisino

最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi

機械学習モデルのハイパパラメータ最適化gree_tech

Active Learning の基礎と最近の研究Fumihiko Takahashi

SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII

ブラックボックス最適化とその応用gree_tech

Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Preferred Networks

最適輸送の計算アルゴリズムの研究動向ohken

勾配降下法の最適化アルゴリズムnishio

GAN（と強化学習との関係）Masahiro Suzuki

強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe

最適輸送入門joisino

最適化超入門Takami Sato

強化学習その3nishio

[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP

【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP

不均衡データのクラス分類Shintaro Fukushima

機械学習を用いた異常検知入門michiaki ito

[DL輪読会]Pay Attention to MLPs （gMLP）Deep Learning JP

PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57Preferred Networks

Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...Preferred Networks

Contenu connexe

Tendances

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku

最適輸送の解き方joisino

最近のDeep Learning (NLP) 界隈におけるAttention事情Yuta Kikuchi

機械学習モデルのハイパパラメータ最適化gree_tech

Active Learning の基礎と最近の研究Fumihiko Takahashi

SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向SSII

ブラックボックス最適化とその応用gree_tech

Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Preferred Networks

最適輸送の計算アルゴリズムの研究動向ohken

勾配降下法の最適化アルゴリズムnishio

GAN（と強化学習との関係）Masahiro Suzuki

強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe

最適輸送入門joisino

最適化超入門Takami Sato

強化学習その3nishio

[DL輪読会]ドメイン転移と不変表現に関するサーベイDeep Learning JP

【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)Deep Learning JP

不均衡データのクラス分類Shintaro Fukushima

機械学習を用いた異常検知入門michiaki ito

[DL輪読会]Pay Attention to MLPs （gMLP）Deep Learning JP

Tendances (20)

Curriculum Learning （関東CV勉強会）

最適輸送の解き方

最近のDeep Learning (NLP) 界隈におけるAttention事情

機械学習モデルのハイパパラメータ最適化

Active Learning の基礎と最近の研究

SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向

ブラックボックス最適化とその応用

Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3

最適輸送の計算アルゴリズムの研究動向

勾配降下法の最適化アルゴリズム

GAN（と強化学習との関係）

強化学習と逆強化学習を組み合わせた模倣学習

最適輸送入門

最適化超入門

強化学習その3

[DL輪読会]ドメイン転移と不変表現に関するサーベイ

【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)

不均衡データのクラス分類

機械学習を用いた異常検知入門

[DL輪読会]Pay Attention to MLPs （gMLP）

Plus de Preferred Networks

PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57Preferred Networks

Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...Preferred Networks

深層学習の新しい応用と、それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...Preferred Networks

Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Preferred Networks

Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks

最新リリース：Optuna V3の全て - 2022/12/10 Optuna Meetup #2Preferred Networks

Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2Preferred Networks

スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演Preferred Networks

Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「融合情報学特別講義Ⅲ」）Preferred Networks

PFNにおける研究開発（2022/10/19 東大大学院「融合情報学特別講義Ⅲ」）Preferred Networks

自然言語処理を役立てるのはなぜ難しいのか（2022/10/25東大大学院「自然言語処理応用」）Preferred Networks

Kubernetes にこれから入るかもしれない注目機能！（2022年11月版） / TechFeed Experts Night #7 〜コンテナ技術を語るPreferred Networks

Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張Preferred Networks

PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会Preferred Networks

続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2Preferred Networks

Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...Preferred Networks

KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...Preferred Networks

KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...Preferred Networks

独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50Preferred Networks

Topology Managerについて / Kubernetes Meetup Tokyo 50Preferred Networks

Plus de Preferred Networks (20)

PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57

Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...

深層学習の新しい応用と、それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...

Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55

Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2

最新リリース：Optuna V3の全て - 2022/12/10 Optuna Meetup #2

Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2

スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演

Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「融合情報学特別講義Ⅲ」）

PFNにおける研究開発（2022/10/19 東大大学院「融合情報学特別講義Ⅲ」）

自然言語処理を役立てるのはなぜ難しいのか（2022/10/25東大大学院「自然言語処理応用」）

Kubernetes にこれから入るかもしれない注目機能！（2022年11月版） / TechFeed Experts Night #7 〜コンテナ技術を語る

Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張

PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会

続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2

Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...

KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...

KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...

独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50

Topology Managerについて / Kubernetes Meetup Tokyo 50

能動学習セミナー

1. 12 1 5

2. 12 1 5

3. 12 1 5

4. 12 1 5

5. 12 1 5

6. 12 1 5

7. 12 1 5

8. 12 1 5

9. 12 1 5

10. 12 1 5

11. 12 1 5

12. 12 1 5

13. 12 1 5

14. 12 1 5

15. 12 1 5

16. 12 1 5

17. 12 1 5

18. 12 1 5

19. 12 1 5

20. 12 1 5

21. 12 1 5

22. P (y|x) 12 1 5

23. 12 1 5

24. 12 1 5

25. xnext = arg min P✓ (ˆ1 |x) y P✓ (ˆ2 |x) y x2U xnext U ✓ y y1 ˆ y2 ˆ 12 1 5

26. 12 1 5

27. X xnext = arg max P✓ (y|x) log P✓ (y|x) x y 12 1 5

28. 12 1 5

29. 12 1 5

30. 12 1 5

31. 12 1 5

32. 12 1 5

33. 12 1 5

34. 12 1 5

35. 12 1 5

36. 12 1 5

37. 12 1 5

38. 12 1 5

39. 12 1 5

40. 12 1 5

41. 12 1 5

42. 12 1 5

43. 12 1 5

44. x Xn ˆ 1 y Rn = G(xi , yi ; ✓) n i=1 ✓ {(xi , yi )} ⇠ p(x, y) p(x, y) G(xi , yi ; ✓) 12 1 5

45. x n X p(xi , yi ) 1 y ˆ Rn,q = G(xi , yi ; ✓) B i=1 q(xi , yi ) ✓ {(xi , yi )} ⇠ q(x, y) p(x, y) G(xi , yi ; ✓) q(x, y) p(xi , yi ) p(xi )p(yi |xi ) p(xi ) = = q(xi , yi ) q(xi )p(yi |xi ) q(xi ) 12 1 5

46. ˆ Ex⇠q [Rn,q (✓)] = Ex⇠p [Rn (✓)] 12 1 5