Soumettre la recherche
Mettre en ligne
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
•
3 j'aime
•
2,864 vues
Yamato OKAMOTO
Suivre
ICML2019読み会in京都でのLT資料です。 IBM社によるFederated-Learningの論文紹介をします。
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 11
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Lightning Talks: Connecting with the Best Technology for Places in the Network
Lightning Talks: Connecting with the Best Technology for Places in the Network
エクストリーム ネットワークス / Extreme Networks Japan
インタークラウドシステムの実用化に向けて
インタークラウドシステムの実用化に向けて
Masaharu Munetomo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
クラウドビジネスをドライブする最後のピース「クラウドマイグレーション」! – OpenStack最新情報セミナー 2015年7月
クラウドビジネスをドライブする最後のピース「クラウドマイグレーション」! – OpenStack最新情報セミナー 2015年7月
VirtualTech Japan Inc.
Ia20120118 sekiya
Ia20120118 sekiya
Keisuke Ishibashi
de:code2018 登壇資料
de:code2018 登壇資料
Hiroshi Senga
ディペンダブルなクラウドコンピューティング基盤を目指して
ディペンダブルなクラウドコンピューティング基盤を目指して
Kazuhiko Kato
高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)
Naoto MATSUMOTO
Recommandé
Lightning Talks: Connecting with the Best Technology for Places in the Network
Lightning Talks: Connecting with the Best Technology for Places in the Network
エクストリーム ネットワークス / Extreme Networks Japan
インタークラウドシステムの実用化に向けて
インタークラウドシステムの実用化に向けて
Masaharu Munetomo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
クラウドビジネスをドライブする最後のピース「クラウドマイグレーション」! – OpenStack最新情報セミナー 2015年7月
クラウドビジネスをドライブする最後のピース「クラウドマイグレーション」! – OpenStack最新情報セミナー 2015年7月
VirtualTech Japan Inc.
Ia20120118 sekiya
Ia20120118 sekiya
Keisuke Ishibashi
de:code2018 登壇資料
de:code2018 登壇資料
Hiroshi Senga
ディペンダブルなクラウドコンピューティング基盤を目指して
ディペンダブルなクラウドコンピューティング基盤を目指して
Kazuhiko Kato
高速ネットワーク技術と周辺動向(特別講義)
高速ネットワーク技術と周辺動向(特別講義)
Naoto MATSUMOTO
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS Virtualized Infrastructure Operators group ARCHIVES
Device2Cloudコンテスト紹介
Device2Cloudコンテスト紹介
Noboru Watanabe
Aws summit tokyo 2016
Aws summit tokyo 2016
Shotaro Motomura
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
Atomu Hidaka
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Daiyu Hatakeyama
クラウド検討の進め方
クラウド検討の進め方
コシキ・バリューハブ株式会社/KOSHIKI ValueHub
Azure Antenna AI 概要
Azure Antenna AI 概要
Miho Yamamoto
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
bitbank, Inc. Tokyo, Japan
初心者向けデバイスドライバ講座 (2)
初心者向けデバイスドライバ講座 (2)
Study Group by SciencePark Corp.
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
IBM Analytics Japan
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
Midokura
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
Ryuichi Kubuki
コロナ禍での白井データセンターキャンパスの運用施策
コロナ禍での白井データセンターキャンパスの運用施策
IIJ
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
NISSHO USA
クラウド型次世代なんとか
クラウド型次世代なんとか
Showhey Kubo
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
NTT DATA Technology & Innovation
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Masanori KAMAYAMA
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
CLOUDIAN KK
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
CLOUDIAN KK
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
ssuser0b75ac1
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
Yamato OKAMOTO
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
Yamato OKAMOTO
Contenu connexe
Similaire à [ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS Virtualized Infrastructure Operators group ARCHIVES
Device2Cloudコンテスト紹介
Device2Cloudコンテスト紹介
Noboru Watanabe
Aws summit tokyo 2016
Aws summit tokyo 2016
Shotaro Motomura
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
Atomu Hidaka
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Daiyu Hatakeyama
クラウド検討の進め方
クラウド検討の進め方
コシキ・バリューハブ株式会社/KOSHIKI ValueHub
Azure Antenna AI 概要
Azure Antenna AI 概要
Miho Yamamoto
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
bitbank, Inc. Tokyo, Japan
初心者向けデバイスドライバ講座 (2)
初心者向けデバイスドライバ講座 (2)
Study Group by SciencePark Corp.
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
IBM Analytics Japan
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
Midokura
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
Ryuichi Kubuki
コロナ禍での白井データセンターキャンパスの運用施策
コロナ禍での白井データセンターキャンパスの運用施策
IIJ
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
NISSHO USA
クラウド型次世代なんとか
クラウド型次世代なんとか
Showhey Kubo
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
NTT DATA Technology & Innovation
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Masanori KAMAYAMA
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
CLOUDIAN KK
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
CLOUDIAN KK
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
ssuser0b75ac1
Similaire à [ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
(20)
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
VIOPS09: 圧倒的なコストパフォーマンスを実現するクラウドアーキテクチャの秘密
Device2Cloudコンテスト紹介
Device2Cloudコンテスト紹介
Aws summit tokyo 2016
Aws summit tokyo 2016
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
.NET GadgeteerでプロトタイピングするEnOceanエネルギーハーベスティングシステム
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
クラウド検討の進め方
クラウド検討の進め方
Azure Antenna AI 概要
Azure Antenna AI 概要
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
初心者向けデバイスドライバ講座 (2)
初心者向けデバイスドライバ講座 (2)
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
Db2 Warehouse on Cloud Flex テクニカルハンドブック 2020年3月版
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
ネットワーク仮想化ソフトウェアMidoNet ユースケースとユーザメリット
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
Cocos2d-xの深層〜Cocos2d-x組み込みによるピュアAndroid/iOSアプリの外科手術的統合
コロナ禍での白井データセンターキャンパスの運用施策
コロナ禍での白井データセンターキャンパスの運用施策
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
【日商USA】webinar 2023.7.7 NANOG88 フィードバック
クラウド型次世代なんとか
クラウド型次世代なんとか
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
JCBの Payment as a Service 実現にむけたゼロベースの組織変革とテクニカル・イネーブラー(NTTデータ テクノロジーカンファレンス ...
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Secure architecting on OCI (Oracle Cloud Infrastructure) 2021年3月16日
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
Cloudianを利用したソリューション (Cloudian Summit 2012)
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
「リスク検知とWebセキュリティ技術について」/iret tech labo #13
Plus de Yamato OKAMOTO
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
Yamato OKAMOTO
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
Yamato OKAMOTO
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
Yamato OKAMOTO
ICLR'2020 参加速報
ICLR'2020 参加速報
Yamato OKAMOTO
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
Yamato OKAMOTO
(SURVEY) Active Learning
(SURVEY) Active Learning
Yamato OKAMOTO
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
Yamato OKAMOTO
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning
Yamato OKAMOTO
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
Yamato OKAMOTO
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(4日目)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(3日目)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(2日目)
ICML2019@Long Beach 参加速報(2日目)
Yamato OKAMOTO
ICML2019@Long Beach 参加速報(1日目)
ICML2019@Long Beach 参加速報(1日目)
Yamato OKAMOTO
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
Yamato OKAMOTO
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
Yamato OKAMOTO
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
Yamato OKAMOTO
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
Yamato OKAMOTO
Plus de Yamato OKAMOTO
(20)
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
第七回全日本コンピュータビジョン勉強会 A Multiplexed Network for End-to-End, Multilingual OCR
部下のマネジメントはAI開発に学べ
部下のマネジメントはAI開発に学べ
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR2020 オンライン読み会 Deep Semi-Supervised Anomaly Detection
ICLR'2020 参加速報
ICLR'2020 参加速報
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
(SURVEY) Active Learning
(SURVEY) Active Learning
(SURVEY) Semi Supervised Learning
(SURVEY) Semi Supervised Learning
[ICML2019読み会in京都] Agnostic Federated Learning
[ICML2019読み会in京都] Agnostic Federated Learning
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(後編 ~本会議~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
CVPR2019@ロングビーチ参加速報(前編~Tutorial&Workshop~)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(5~6日目 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(最終日 Workshop)
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(4日目)
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(3日目)
ICML2019@Long Beach 参加速報(2日目)
ICML2019@Long Beach 参加速報(2日目)
ICML2019@Long Beach 参加速報(1日目)
ICML2019@Long Beach 参加速報(1日目)
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR2019 読み会in京都 ICLRから読み取るFeature Disentangleの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
ICLR'19 読み会 in 京都 [LT枠] Domain Adaptationの研究動向
CVPR2019 survey Domain Adaptation on Semantic Segmentation
CVPR2019 survey Domain Adaptation on Semantic Segmentation
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
ICLR'19 研究動向まとめ 『Domain Adaptation』『Feature Disentangle』
[ICML2019読み会in京都] (LT)Bayesian Nonparametric Federated Learning of Neural Networks
1.
ICML’2019 読み会in京都 [LT発表] Bayesian Nonparametric
Federated Learning of Neural Networks 2019/08/04 Yamato OKAMOTO
2.
What is Federated
Learning?? 機械学習を非集中環境で実行する技術(Google社が2017年に提唱) 1. クラウドに1つだけ親モデルを保有して、クライアント端末に配布 2. クライアントは端末上で自らのデータによる機械学習をする 3. クライアントは算出したモデル更新パラメタ(ΔW)をクラウドに送信 4. クラウドはΔWを集約してから、データ量に応じた重みを付けてモデル更新 引用元: https://proandroiddev.com/federated-learning-e79e054c33ef ④親モデルを更新 ①配布 ② 機械学習を 端末で実行 ③ΔWを集約 ※kはクライアント番号、nkはクライアントkのデータ数、Wはモデルパラメータ
3.
ICMLで発表された論文 Agnostic Federated Learning
(Google) クライアントの保有するデータ量やデータ分布に偏りがあると、 学習がうまくいかない場合があると指摘。そのような条件下で、 全クライアントに対してモデル性能を確保する学習方法を提案。 Bayesian Nonparametric Federated Learning of Neural Networks (IBM) Federated-Learningにおけるモデル更新パラメタの集約&更新を、 ノンパラメトリックな手法で”もっとええ感じ”にする手法。 Analyzing Federated Learning through an Adversarial Lens (IBM) 悪意あるパラメータ共有によってモデル汚染できることを証明した研究。 現存のアルゴリズムでは完全に汚染を防ぐことは難しいと問題提起した。 さっき 紹介した 論文 これから 紹介する 論文
4.
論文情報 IBM社のWatson AIチームによる論文 (最近どうやらIBM社がFederated Learningに注目している様子) 引用元:
https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
5.
どんな問題を解決しようとしたのか? モデル集約してそのまま「がっちゃんこ」って違和感ありませんか?? 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
6.
どんな問題を解決しようとしたのか? もう少し気を利かせながらモデルを統合した方がイイヨネ!!、という論文 引用元: https://icml.cc/media/Slides/icml/2019/halla(12-14-00)-12-15-15-4958-bayesian_nonpar.pdf
7.
Bayesian Nonparametric Federated
Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする Client1 Client2 Client3 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
8.
Bayesian Nonparametric Federated
Learning Hidden LayerにおけるNeuronの数を事前に固定しない 独自の特徴量を抽出していそうなNeuronは残して、 他Neuronと類似する特徴量を抽出するNeuronはマージする マージするかどうかの判断にはHungarian algorithmを利用 引用元: http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
9.
実験結果 全結合層のNeural Networkで、MNISTとCifer10で実験 モデルサイズ 学習回数学習回数 Accuracy 『(青)通常のFederated Learning』を『(赤)提案手法』が上回った 100neuronから スタートして 数が減っていく 引用元:
http://proceedings.mlr.press/v97/yurochkin19a/yurochkin19a.pdf
10.
まとめ (Hidden-LayerのNeuron数が)ノンパラメトリックのFL手法を提案 単純に各Clientのモデル更新パラメータを加算して学習するのではなく、 Hungarian-algorithmでNeuronをマージしながら学習 通常のFederated Learningよりも識別性能を上回り、 モデルパラメータ数も学習によって少なく効率よくできることを確認 (これって学習ミスったらneuron数が発散していくよなぁ・・・) CNN構造などへの適用が今後の課題
11.
さいごに ディスカッションは開催意義の1つと思っているので、 発表内容に質問のある方はTwitterでお願いします (発表資料は今夜くらいにアップロードします) 論文内容の質問でなくてもかまいません 仕事のコラボ相談でもOKです @RoadRoller_DESU 必ず返信します!! よっぽどのことが無い限り・・
Télécharger maintenant