Soumettre la recherche
Mettre en ligne
[DL輪読会] Residual Attention Network for Image Classification
•
17 j'aime
•
8,345 vues
Deep Learning JP
Suivre
2017/9/4 Deep Learning JP: http://deeplearning.jp/seminar-2/
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 21
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
Deep Learning JP
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models
Deep Learning JP
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
cvpaper. challenge
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
harmonylab
Recommandé
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩
Hiroto Honda
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
Deep Learning JP
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】Reward Design with Language Models
【DL輪読会】Reward Design with Language Models
Deep Learning JP
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
cvpaper. challenge
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
harmonylab
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
Contenu connexe
Tendances
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
Takumi Ohkuma
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Deep Learning JP
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Deep Learning JP
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Deep Learning JP
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
Tendances
(20)
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
深層学習によるHuman Pose Estimationの基礎
深層学習によるHuman Pose Estimationの基礎
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
[DL輪読会]Encoder-Decoder with Atrous Separable Convolution for Semantic Image S...
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
En vedette
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Masayoshi Kondo
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
Siddhartha Banerjee
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
Kenji Urai
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
Yuta Kikuchi
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
En vedette
(7)
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Linguistic Knowledge as Memory for Recurrent Neural Networks_論文紹介
Text Summarization Talk @ Saama Technologies
Text Summarization Talk @ Saama Technologies
最先端NLP勉強会2017_ACL17
最先端NLP勉強会2017_ACL17
LSTM (Long short-term memory) 概要
LSTM (Long short-term memory) 概要
A Neural Attention Model for Sentence Summarization [Rush+2015]
A Neural Attention Model for Sentence Summarization [Rush+2015]
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Similaire à [DL輪読会] Residual Attention Network for Image Classification
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
Kaoru Nasuno
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Learning JP
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
Hirokatsu Kataoka
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
cvpaper. challenge
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
Deep Learning JP
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
Yasushi Hara
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
Rei Takami
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
Deep Learning JP
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
Deep Learning JP
AIがAIを生み出す?
AIがAIを生み出す?
Daiki Tsuchiya
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Eric Sartre
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
Shion Honda
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
Kazuki Adachi
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
Takeba Misa
Similaire à [DL輪読会] Residual Attention Network for Image Classification
(17)
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
論文輪読資料「Multi-view Face Detection Using Deep Convolutional Neural Networks」
[DL輪読会]Deep Face Recognition: A Survey
[DL輪読会]Deep Face Recognition: A Survey
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
[DL輪読会]Training RNNs as Fast as CNNs
[DL輪読会]Training RNNs as Fast as CNNs
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
SciREX「ナショナルイノベーションシステムに係る定量データとその分析手法」WSシリーズ第6回「ネットワーク分析の方法+WSシリーズまとめ」
[論文紹介] Convolutional Neural Network(CNN)による超解像
[論文紹介] Convolutional Neural Network(CNN)による超解像
[DL輪読会]Attention Is All You Need
[DL輪読会]Attention Is All You Need
【DL輪読会】Reflash Dropout in Image Super-Resolution
【DL輪読会】Reflash Dropout in Image Super-Resolution
AIがAIを生み出す?
AIがAIを生み出す?
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
Twitterにおける即時話題推定技術「どたばたかいぎ」の開発
画像認識 6.3-6.6 畳込みニューラルネットワーク
画像認識 6.3-6.6 畳込みニューラルネットワーク
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
論文紹介:Facial Action Unit Detection using Active Learning and an Efficient Non-...
第3回enPiTシンポジウムBizApp分野代表発表
第3回enPiTシンポジウムBizApp分野代表発表
Plus de Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
Plus de Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Dernier
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Dernier
(9)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
[DL輪読会] Residual Attention Network for Image Classification
1.
Residual Attention Network for Image Classification Fei Wang, Mengqing Jiang, Chen Qian,
Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang 2017-09-04 輪読@松尾研究室 M1 ⽥村浩⼀郎
2.
Agenda 0. Information 1. Introduction 2. Related work & knowledges 3.
Proposed Model 4. Experiment & Result 5. Conclusion 6. *Squeeze-and-Excitation Networks
3.
0. Information • Author - Fei Wang,
Mengqing Jiang, Chen Qian, Shuo Yang, Cheng Li, Honggang Zhang, Xiaogang Wang, Xiaoou Tang • Submission date - Submitted on 23 Apr 2017 • Society - accepted to CVPR2017 - https://arxiv.org/abs/1704.06904 • About - Computer vision において,ResNet だけでなくAttentionも取り⼊れたも の - まだpaperは出ていないが,ILSVRC2017で優勝したSqueeze-and- Excitation networksの前⾝?のモデル
4.
1. Introduction - 背景 • Attentionモデルは時系列のモデルに対してはよく使われているが,画像 認識などのfeedforward networkに対しては使われてこなかった •
近年の画像認識の技術向上は,ResNetにより,層を深くすることが可能 になったことが⼤きい ResNetを利⽤した `深い` CNNに対して,attention機構を適⽤し,精度向上を図る
5.
1. Introduction - モデル構造と成果 1. Stacked network structure •
複数のAttention Moduleを積み⽴てたモデル構造.異なるAttention Moduleで異なる種類 のAttentionを導⼊できる 2. Attention Residual Learning • 単純にAttention Moduleを導⼊するだけでは精度が下がる.ResNetを⽤いて深 い(hundreds of layers)のネットワークを⽤いる 3. Bottom-up top-down feedforward attention • Bottom-up(背景の違いなどから)attention(注⽬)するアプローチ • Top-down(事前知識などから)attention(注⽬)するアプローチ 1. 安定して層を増やし精度向上(state-of-the-art@2017-04-23) 2. End-to-Endの深いネットワークに簡単に適⽤でき, 効率的な計算を⾏うことができる
6.
2. Related work & knowledge - Attention model • Attention機構が適⽤されるのは,多くの場合RNN Effective Approaches to Attention-based Neural Machine Translationの例 1.
RNNにより隠れ層ベクトルを計算 ℎ" = 𝑅𝑁𝑁(ℎ"'(, 𝑥) 2. ⼊⼒系列のどこに注⽬するかの重み𝑎"(𝑠)をscore関数により計算 𝑎" 𝑠 = exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") ∑ exp 𝑠𝑐𝑜𝑟𝑒(ℎ67, ℎ") 3. 重み𝑎" 𝑠 を⽤いて重み付き平均ベクトル𝑐"を計算 𝑐" = : 𝑎"(𝑠) ℎ67 4. 3.の平均ベクトルと1.の隠れ層ベクトルから新しい出⼒ベクトルを計算 ℎ;" = tanh ( 𝑊Aℎ" + 𝑊C 𝑐" + 𝑏) 5. 各単語の出⼒確率を計算 𝑦" = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥((𝑊IJ"ℎ;" + 𝑏IJ") • Computer visionにおいては,以下のような研究でsoft attention(みたいなも の)が使われている • Spatial Transformer Network[17] ->(⾯⽩いdemo: https://drive.google.com/file/d/0B1nQa_sA3W2iN3RQLXVFRkNXN0k/view) • Attention to scale: Scale-aware semantic image segmentation[3] [引⽤:Effective Approaches to Attention-based Neural Machine Translation]
7.
2. Related work & knowledge - ResNet • CNNにおいて層を深さは精度おいて⼤きく寄与する •
層が深すぎると勾配消失などの問題があった=>ResNet • ResNet • 出⼒を𝐻 𝑥 とすると,残差𝐹 𝑥 = 𝐻 𝑥 − 𝑥 を学習(最⼩化)する • 層が深くなると⼊⼒𝑥と出⼒𝐻 𝑥 はほとんど同じ値になる. 直接𝐻 𝑥 の値を𝑥に近づけることよりも,残差𝐹 𝑥 を0に近づける⽅が簡単である
8.
3. Proposal model - Residual Attention Network 1. Attention
residual learning 2. Soft mask branch 3. Special attention and channel attention
9.
3. Proposal model 3.1. Attention Residual Learning • 単純にAttention機構をCNNの出⼒に掛け合わせるだけでは,以下の問題か ら精度が下がる 1. 層が深くなるにつれて勾配が消失する 2.
CNNにおける重要な特徴量を弱めてしまう可能性がある • Attention Residual Learning • Soft mask branchの𝑀 𝑥 ∈ [0, 1]が以下の役割を果たしている 1. 特徴量選択 2. ノイズの抑制 Attention moduleの出⼒ Soft Attention Mask Convolutionの出⼒ ** i: spatial position, c: channel Residual
10.
3. Proposal model 3.1. Attention Residual Learning • Attention Residual Learningは良い特徴量を保持する⼀⽅で,mask branchが 特徴量を抽出する能⼒を弱めてしまう • Stacked Attention Modulesがそのトレードオフを補い,特徴量mapを洗練して いく •
Attention Moduleが異なる役割のattention 機構を持ち,層が深くすることを可 能にしている 複数のAttention Module
11.
3. Proposal model 3.1. Attention Residual Learning 異なるAttention Moduleで異なるattention maskを持つ. 層が浅いattention moduleでは背景の空の⻘⾊を消し,層が深いattention moduleでは気球を強調している
12.
3. Proposal model 3.2. Soft Mask Branch • Soft Mask Branch • 以下の2つの機能を畳み込み構造に 1.
Fast feed-forward sweep -> 画像全体の情報を捉える 2. Top-down feedback step -> 元の特徴量mapと画像全体の情報を組み合わせる
13.
3. Proposal model 3.3. Spatial Attention and Channel Attention • 活性化関数を変えることによって,attentionの制約を加えることができ る 1. Mixed attention => シグモイド 2.
Channel attention => 場所ごとに正規化 3. Spatial attention => channelごとに正規化
14.
4. Experiment & Result 4.1. CIFAR and Analysis 1. Attention Residual Learningの有効性を検証 • Attention Residual Learningを⾏わないナイーブなattention機構を⽤いたモデル(NAL: naive attention learning)をベースラインにする •
Attention Moduleのstageごとに出⼒の平均を取ったもの.NALではstage2で勾配が消えて いることがわかる
15.
4. Experiment & Result 4.1. CIFAR and Analysis 2. 他のmask branch構造との⽐較 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する
16.
4. Experiment & Result 4.1. CIFAR and Analysis 3. ラベルのノイズに対する耐性の検証 • ダウンサンプリングとアップサンプリングを⾏わない普通の畳み込みと精度を⽐較する ことで,mask branchの構造の優位性を検証する •
Training convolutional networks with noisy labels[31]に従って,以下のように確率を定義 r = 正しいlabelである確率,𝑞UV = 本当のlabelがjで実際のノイズつきlabelがiである確率
17.
4. Experiment & Result 4.1. CIFAR and Analysis 4. 他のstate-of-the-artのモデルとの精度⽐較
18.
4. Experiment & Result 4.2. ImageNet Classification 1. 精度が良くなっているだけでなく,モデルの効率性が優れる 1. より少ないパラメタで学習可能 2.
FLOPs(Floating-point Operations Per Second)が優れている 2. ResNetユニットについて⽐較すると, 1. 同程度の精度ならAttentionNeXt-56の⽅が効率的 2. 同程度の効率性ならAttentionNeXt-56の⽅が⾼精度 3. State-of-the-artのアルゴリズムと⽐べても⾼性能
19.
5. Conclusion • ResNetにattention機構を追加 • 異なるAttention Moduleで異なるattention機構を持つ •
Attention機構にbottom-up top-down feedforward convolutional structure を⽤いる • より安定して層を深くし,精度を向上 • より洗練された特徴量の選択とノイズへの耐性 • 既存のモデルに対して,要求されるモデルの複雑さ(パラメタ数や計算 量)が少なくて済む
20.
6. Squeeze-and-Excitation Networks • ILSVRC2017で優勝したモデル(まだpaperでてない) • Residual Attention Network for Image Classificationと⾮常に似ている •
違いはchannelごとにattentionを⾏なっていること [引⽤:https://github.com/hujie-frank/SENet]
21.
~資料参考⽂献~ **論⽂内引⽤⽂献を除く • Squeeze-and-Excitation networks (ILSVRC 2017 winner) at CVPR2017 https://photos.google.com/share/AF1QipNRXiNDP9tw- B_kyKk4hnXL_N283IaWNxSYH7jtAN1N0m62Uydh3MnpWFPh2GQYUw?key=STNBSU5XRkpKLXBSbm E2Um9GbGRUSm9aME1naFF3 • Convolutional Neural Networks のトレンド https://www.slideshare.net/sheemap/convolutional-neural-networks-wbafl2 •
Res netと派⽣研究の紹介 https://www.slideshare.net/masatakanishimori/res-net • Residual Network(ResNet)の理解とチューニングのベストプラクティス https://deepage.net/deep_learning/2016/11/30/resnet.html • Effective Approaches to Attention-based Neural Machine Translation, Minh- Thang Luong, Hieu Pham, Christopher D. Manning https://arxiv.org/abs/1508.04025
Télécharger maintenant