Submit Search
Upload
[Paper Review] Visualizing and understanding convolutional networks
โข
Download as PPTX, PDF
โข
1 like
โข
278 views
K
Korea, Sejong University.
Follow
Visualizing and understanding convolutional networks
Read less
Read more
Software
Report
Share
Report
Share
1 of 27
Download now
Recommended
Generative Adversarial Networks (GANs)
Generative Adversarial Networks (GANs)
Amol Patil
ย
Agile modeling
Agile modeling
Fahmi Hamdani
ย
CS8592 Object Oriented Analysis & Design - UNIT V
CS8592 Object Oriented Analysis & Design - UNIT V
pkaviya
ย
DEEP LEARNING BASED BRAIN STROKE DETECTION
DEEP LEARNING BASED BRAIN STROKE DETECTION
IRJET Journal
ย
MobileNet - PR044
MobileNet - PR044
Jinwon Lee
ย
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning Models
SigOpt
ย
์ฌ๋ฌ ์ปจ๋ณผ๋ฃจ์ ๋ ์ด์ด ํ ํฌ๋๊ณผ ๊ฒฝ๋ํ ๊ธฐ๋ฒ๋ค
์ฌ๋ฌ ์ปจ๋ณผ๋ฃจ์ ๋ ์ด์ด ํ ํฌ๋๊ณผ ๊ฒฝ๋ํ ๊ธฐ๋ฒ๋ค
Dongyi Kim
ย
Alexnet paper review
Alexnet paper review
์ค ํ๋ฆฐ
ย
Recommended
Generative Adversarial Networks (GANs)
Generative Adversarial Networks (GANs)
Amol Patil
ย
Agile modeling
Agile modeling
Fahmi Hamdani
ย
CS8592 Object Oriented Analysis & Design - UNIT V
CS8592 Object Oriented Analysis & Design - UNIT V
pkaviya
ย
DEEP LEARNING BASED BRAIN STROKE DETECTION
DEEP LEARNING BASED BRAIN STROKE DETECTION
IRJET Journal
ย
MobileNet - PR044
MobileNet - PR044
Jinwon Lee
ย
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning Models
SigOpt
ย
์ฌ๋ฌ ์ปจ๋ณผ๋ฃจ์ ๋ ์ด์ด ํ ํฌ๋๊ณผ ๊ฒฝ๋ํ ๊ธฐ๋ฒ๋ค
์ฌ๋ฌ ์ปจ๋ณผ๋ฃจ์ ๋ ์ด์ด ํ ํฌ๋๊ณผ ๊ฒฝ๋ํ ๊ธฐ๋ฒ๋ค
Dongyi Kim
ย
Alexnet paper review
Alexnet paper review
์ค ํ๋ฆฐ
ย
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
๋ดํ ์
ย
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
Jinwon Lee
ย
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
Jihwan Bang
ย
YOLO V6
YOLO V6
taeseon ryu
ย
Simulation of a Telephone system & Reliability Problem
Simulation of a Telephone system & Reliability Problem
Altafur Rahman
ย
I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)
Susang Kim
ย
Online Coreset Selection for Rehearsal-based Continual Learning
Online Coreset Selection for Rehearsal-based Continual Learning
MLAI2
ย
Ragam Model Proses Perangkat Lunak
Ragam Model Proses Perangkat Lunak
SMK Kartika XX-1 Makassar
ย
modeling concepts
modeling concepts
Minal Maniar
ย
Uml
Uml
Sulman Ahmed
ย
Mobilenetv1 v2 slide
Mobilenetv1 v2 slide
ๅจๆบ ้ป
ย
"From image level to pixel-level labeling with convolutional networks" Paper ...
"From image level to pixel-level labeling with convolutional networks" Paper ...
LEE HOSEONG
ย
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
ํ์ฝ ๊น
ย
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
taeseon ryu
ย
History of Vision AI
History of Vision AI
Tae Young Lee
ย
2019 5-5-week-i-learned-generative model
2019 5-5-week-i-learned-generative model
strutive07
ย
Learning how to explain neural networks: PatternNet and PatternAttribution
Learning how to explain neural networks: PatternNet and PatternAttribution
Gyubin Son
ย
Introduction toDQN
Introduction toDQN
Curt Park
ย
Image net classification with deep convolutional neural networks
Image net classification with deep convolutional neural networks
Korea, Sejong University.
ย
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
hkh
ย
HistoryOfCNN
HistoryOfCNN
Tae Young Lee
ย
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
CONNECT FOUNDATION
ย
More Related Content
What's hot
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
๋ดํ ์
ย
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
Jinwon Lee
ย
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
Jihwan Bang
ย
YOLO V6
YOLO V6
taeseon ryu
ย
Simulation of a Telephone system & Reliability Problem
Simulation of a Telephone system & Reliability Problem
Altafur Rahman
ย
I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)
Susang Kim
ย
Online Coreset Selection for Rehearsal-based Continual Learning
Online Coreset Selection for Rehearsal-based Continual Learning
MLAI2
ย
Ragam Model Proses Perangkat Lunak
Ragam Model Proses Perangkat Lunak
SMK Kartika XX-1 Makassar
ย
modeling concepts
modeling concepts
Minal Maniar
ย
Uml
Uml
Sulman Ahmed
ย
Mobilenetv1 v2 slide
Mobilenetv1 v2 slide
ๅจๆบ ้ป
ย
What's hot
(11)
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
Ndc2014 ์์ฆ 2 : ๋ฉํฐ์ฐ๋ ๋ ํ๋ก๊ทธ๋๋ฐ์ด ์ ์ด๋ฆฌ ํ๋๋์? (Lock-free์์ Transactional Memory๊น์ง)
ย
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
PR-108: MobileNetV2: Inverted Residuals and Linear Bottlenecks
ย
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
[CVPR2021] Rainbow Memory: Continual Learning with a Memory of Diverse Samples
ย
YOLO V6
YOLO V6
ย
Simulation of a Telephone system & Reliability Problem
Simulation of a Telephone system & Reliability Problem
ย
I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)
ย
Online Coreset Selection for Rehearsal-based Continual Learning
Online Coreset Selection for Rehearsal-based Continual Learning
ย
Ragam Model Proses Perangkat Lunak
Ragam Model Proses Perangkat Lunak
ย
modeling concepts
modeling concepts
ย
Uml
Uml
ย
Mobilenetv1 v2 slide
Mobilenetv1 v2 slide
ย
Similar to [Paper Review] Visualizing and understanding convolutional networks
"From image level to pixel-level labeling with convolutional networks" Paper ...
"From image level to pixel-level labeling with convolutional networks" Paper ...
LEE HOSEONG
ย
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
ํ์ฝ ๊น
ย
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
taeseon ryu
ย
History of Vision AI
History of Vision AI
Tae Young Lee
ย
2019 5-5-week-i-learned-generative model
2019 5-5-week-i-learned-generative model
strutive07
ย
Learning how to explain neural networks: PatternNet and PatternAttribution
Learning how to explain neural networks: PatternNet and PatternAttribution
Gyubin Son
ย
Introduction toDQN
Introduction toDQN
Curt Park
ย
Image net classification with deep convolutional neural networks
Image net classification with deep convolutional neural networks
Korea, Sejong University.
ย
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
hkh
ย
HistoryOfCNN
HistoryOfCNN
Tae Young Lee
ย
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
CONNECT FOUNDATION
ย
Review MLP Mixer
Review MLP Mixer
Woojin Jeong
ย
Imagination-Augmented Agents for Deep Reinforcement Learning
Imagination-Augmented Agents for Deep Reinforcement Learning
์ฑ์ฌ ์ต
ย
[์ปดํจํฐ๋น์ ๊ณผ ์ธ๊ณต์ง๋ฅ] 8. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ 5 - Others
[์ปดํจํฐ๋น์ ๊ณผ ์ธ๊ณต์ง๋ฅ] 8. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ 5 - Others
jdo
ย
Densely Connected Convolutional Networks
Densely Connected Convolutional Networks
Oh Yoojin
ย
VLFeat SIFT MATLAB application ํ ํฌ๋์ปฌ ๋ฆฌํฌํธ
VLFeat SIFT MATLAB application ํ ํฌ๋์ปฌ ๋ฆฌํฌํธ
Hyunwoong_Jang
ย
Refinenet
Refinenet
์ค ํ๋ฆฐ
ย
SAGAN_2024seminar announce_seoultech.pptx
SAGAN_2024seminar announce_seoultech.pptx
ssuser4b2fe7
ย
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-In...
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-In...
jungminchung
ย
Summary in recent advances in deep learning for object detection
Summary in recent advances in deep learning for object detection
์ฐฝ๊ธฐ ๋ฌธ
ย
Similar to [Paper Review] Visualizing and understanding convolutional networks
(20)
"From image level to pixel-level labeling with convolutional networks" Paper ...
"From image level to pixel-level labeling with convolutional networks" Paper ...
ย
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...
ย
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
๋ฅ๋ฌ๋ ๋ ผ๋ฌธ์ฝ๊ธฐ efficient netv2 ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
ย
History of Vision AI
History of Vision AI
ย
2019 5-5-week-i-learned-generative model
2019 5-5-week-i-learned-generative model
ย
Learning how to explain neural networks: PatternNet and PatternAttribution
Learning how to explain neural networks: PatternNet and PatternAttribution
ย
Introduction toDQN
Introduction toDQN
ย
Image net classification with deep convolutional neural networks
Image net classification with deep convolutional neural networks
ย
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
์ฐ๊ตฌ์ค ์ธ๋ฏธ๋ Show and tell google image captioning
ย
HistoryOfCNN
HistoryOfCNN
ย
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
[๋ถ์คํธ์บ ํ Tech Talk] ๋ฐฐ์ง์ฐ_Structure of Model and Task
ย
Review MLP Mixer
Review MLP Mixer
ย
Imagination-Augmented Agents for Deep Reinforcement Learning
Imagination-Augmented Agents for Deep Reinforcement Learning
ย
[์ปดํจํฐ๋น์ ๊ณผ ์ธ๊ณต์ง๋ฅ] 8. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ 5 - Others
[์ปดํจํฐ๋น์ ๊ณผ ์ธ๊ณต์ง๋ฅ] 8. ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง ์ํคํ ์ฒ 5 - Others
ย
Densely Connected Convolutional Networks
Densely Connected Convolutional Networks
ย
VLFeat SIFT MATLAB application ํ ํฌ๋์ปฌ ๋ฆฌํฌํธ
VLFeat SIFT MATLAB application ํ ํฌ๋์ปฌ ๋ฆฌํฌํธ
ย
Refinenet
Refinenet
ย
SAGAN_2024seminar announce_seoultech.pptx
SAGAN_2024seminar announce_seoultech.pptx
ย
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-In...
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-In...
ย
Summary in recent advances in deep learning for object detection
Summary in recent advances in deep learning for object detection
ย
[Paper Review] Visualizing and understanding convolutional networks
1.
Visualizing and Understanding Convolutional
Networks ๊น์์ฌ 2017๋ 11์ 21์ผ
2.
๋ชฉ์ฐจ ๏ง Abstract ๏ง Introduction ๏ง
Approach ๏ง Training Details ๏ง Convnet Visualization ๏ง Experiments ๏ง Discussion 1
3.
Abstract ๏ง Large Convolutional
Network model์ด ๋ฐ์ด๋ ๋ถ๋ฅ ์ฑ๋ฅ์ ๋ณด์ฌ์คฌ๋๋ฐ ์ ๊ทธ๊ฒ์ด ์ฑ๋ฅ์ด ์ ๋์ค๊ณ , ์ด๋ป๊ฒ ๊ฐ์ ๋์๋์ง ๋ช ํํ ์ดํด๊ฐ ์์. ๏ง ์์ ๊ฐ์ ๋ฌธ์ ๋ค๋ฃจ๊ธฐ ์ํด ์๊ฐํ ๊ธฐ์ ์๊ฐํจ. โข ์ค๊ฐ์ธต(intermediate feature)์ ๋ถ๋ฅ๊ธฐ์ ๋์์ ํต์ฐฐ๋ ฅ ์ค. โข ์๊ฐํ ๊ธฐ์ ์ ํตํด ๊ธฐ์กด (Krizhevsky et al 2012)์ ๋ถ๋ฅ๊ธฐ ์ฑ๋ฅ์ ๋ฅ๊ฐํ๋ ๋ชจ๋ธ ์ํคํ ์ณ๋ฅผ ์ฐพ์. ๏ง ๋ค๋ฅธ ๋ชจ๋ธ ๋ ์ด์ด๋ค๋ก๋ถํฐ ์ฑ๋ฅ ๊ธฐ์ฌ๋ฅผ ์ฐพ๊ธฐ ์ํ ์ฐ๊ตฌ๋ฅผ ํจ. ๏ง ๋ง๋ค์ด์ง ImageNet ๋ชจ๋ธ์ด ๋ค๋ฅธ ๋ฐ์ดํฐ ์ ์๋ ์ ์ผ๋ฐํ๊ฐ ๋ ๊ฒ์ ํ์ธํจ. 2
4.
Introduction ๏ง Convolutional Network
๋ถ๋ฅ๊ธฐ๊ฐ ์ฑ๊ณต ํ ์ ์์๋ ์ด์ โข 1) ๋ง์ training set โข 2) ๊ฐ๋ ฅํ GPU โข 3) Drop out ๏ง Convnet ๋ชจ๋ธ์ด ์ฑ๊ณต์ ์ด์์์๋ ๋ถ๊ตฌํ๊ณ ๊ทธ์ ๊ฐ์ ์ฑ๋ฅ์ ์ด๋ป๊ฒ ๋ง๋ค์๋์ง ๋๋ ๊ทธ ๋ณต์กํ ๋ชจ๋ธ ์ ํ๋์ด๋ ๋ด๋ถ ๋์ ๋ฑ์ ์ดํดํ๊ธฐ ํ๋ฆ. ๏ง ์ด ๋ ผ๋ฌธ์์๋ ๋ชจ๋ธ์ ์ด๋ค layer์์ ๊ฐ feature map์ ํ์ฑํ์ํค๋ input๋ค์ ๋ณด์ฌ ์ค ์ ์๋ ์๊ฐํ ๊ธฐ์ ์ ์๊ฐํจ. โข Training ๋์ feature๋ค์ด ์งํํ๋ ๊ฑธ ๋ณผ ์ ์์. โข ๋ชจ๋ธ์ด ๊ฐ์ง ์ ์ฌ์ ์ธ ๋ฌธ์ ์ ์ ๋ณผ ์ ์์. โข Multi-layered Deconvolutional Network (Zeiler et al. 2011)๋ฅผ ์ฌ์ฉํจ. ๏ง ์ด๋ฏธ์ง ์ผ๋ถ๋ถ์ ์จ๊น์ผ๋ก์จ Scene์ ์ด๋ค ๋ถ๋ถ์ ๋๋ฌ๋ด๋ ๊ฒ์ด ๋ถ๋ฅ๊ธฐ์์ ์ค์ํ์ง ์ฐ๊ตฌํจ. ๏ง ์๊ฐํ ๊ธฐ์ ์ ํตํด ๋ค๋ฅธ ์ํคํ ์ฒ๋ค์ ์ฐ๊ตฌํ๊ณ ๋ ๋ฅ๊ฐํ๋ ๋ชจ๋ธ ๋ฐ๊ฒฌํจ ๋ํ ์ด ๋ชจ๋ธ์ ๊ฐ์ง๊ณ ๋ค๋ฅธ ๋ฐ์ดํฐ ์ ์์ ๋ชจ๋ธ์ ์ผ๋ฐํ ๋ฅ๋ ฅ์ ์ฐ๊ตฌํจ. 3
5.
Approach (1) ๏ง Convnet
๋ชจ๋ธ โข (Krizhevsky et al. 2012)์์ ์ฌ์ฉ๋ standard fully supervised convnet models๋ฅผ ์ฌ์ฉํจ. โข ๋คํธ์ํฌ์ ์์ชฝ ๋ ์ด์ด๋ค์ conventional fully-connected network๋ฅผ ์ฌ์ฉํ๊ณ ๋ง์ง๋ง ๋ ์ด์ด๋ Softmax ๋ถ๋ฅ๊ธฐ๋ฅผ ์ฌ์ฉ, ์์คํจ์๋ Cross-Entropy ์ฌ์ฉํจ. 4
6.
Approach (2) ๏ง 2.1
Visualization with a Deconvnet โข Intermediate layers์์ Features activities๋ฅผ pixel space๋ก ๋งคํ์ํค๋ ๋ฐฉ์์ ๋ณด์ฌ์ค. โข Features map์ ์ ๋ ฅ ๊ฐ์ผ๋ก ์ ๋ฌํ๊ณ ์๋ 3๊ฐ์ง ์๊ณ ๋ฆฌ์ฆ์ ์ํํจ. ๏ Unpooling - Switch๋ผ๋ ๋ณ์๋ฅผ ์ฌ์ฉํ์ฌ ์๋์ poolingํ๊ธฐ ์ ํํ๋ก ๋ณต์ํจ. - Switch๋ ๊ฐ pooling region์์ local max์ ์์น ๊ฐ์ ๊ธฐ๋กํจ. ๏ Rectification - ReLU์ ํตํด Feature map์ด ํญ์ ์์๊ฐ ๋๋๋ก ํจ. ๏ Filtering - Convnet์ ์ฌ์ฉ ๋ Filter map์ ์ ์น(Transpose)๋ฅผ ์ํจ ํ๋ ฌ์ ์ฌ์ฉํจ. - Rectified map์ ์ ์ฉํจ. 5
7.
Training Details ๏ง (Krizhevsky
et al. 2012)์ ์ฐจ์ด์ โข (Krizhevsky et al. 2012)๋ 3,4,5 ๋ ์ด์ด์ sparse connections์ ์ฌ์ฉํ์ง๋ง ์ฌ๊ธฐ์ ์ฐ์ด๋ ๋ชจ๋ธ์ dense connection์. โข Layer1, 2๊ฐ ๋ค๋ฆ. (์ดํ์ ์ค๋ช ) ๏ง Training โข ImageNet 2012 training set ์ฌ์ฉํจ. โข Preprocessing ๏ 256*256 ์ฌ์ด์ฆ๋ก ์ค์๋ถ๋ถ์ ์๋ฅด๊ณ ๋ชจ๋ ํฝ์ ์ ํ๊ท ๊ฐ์ ๊ฐ์ง๊ณ ๋บ. ๊ทธ๋ฐ ํ 224*224 ์ฌ์ด์ฆ๋ก 10์ฅ์ ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค์ด๋. โข 128 ์ฌ์ด์ฆ์ Mini-batch ๋ฅผ ๊ฐ์ง Stochastic gradient descent๋ฅผ ์ด์ฉํ์ฌ parameter๋ฅผ ์ ๋ฐ์ดํธํจ. โข Layer 6,7์์ Dropout์ ์ฌ์ฉํจ. โข ๋ชจ๋ ๊ฐ์ค์น๋ 10^-2๋ก bias๋ 0์ผ๋ก ์ด๊ธฐํํจ. 6
8.
Convnet Visualization (1) ๏ง
Feature Visualization โข ์ค๋ฅธ์ชฝ ๊ทธ๋ฆผ์ Training ์๋ฃ ํ์ feature์ ๋ชจ์ต์. (Visualization ์์๋ ํด๋น image patch๋ฅผ ๋ณด์ฌ์ค) โข ๊ฐ์ฅ ๊ฐํ activation ๋์ ์ top 9 activation ์ ๋ณด์ฌ์ค. โข Pixel space๋ก projecting ํ๋ ๊ฒ์ ์ฃผ์ด์ง feature map์ excite ์ํค๋ ๋ค๋ฅธ ๊ตฌ์กฐ๋ฅผ ๋ง๋ค์ด๋. โข Image patch๋ visualization๋ณด๋ค ๋ณ์๊ฐ ๋ง์. Visualization์ ํน์ ๊ตฌ์กฐ์ ์ด์ ์ ๋ง์ถค. (Ex) Layer5 [1, 2]) โข ๋คํธ์ํฌ์์ ๊ฐ feature๋ค์ ๊ณ์ธต์ ํน์ฑ์ ์ง๋. ๏ Layer2 : corner, edge/color conjunctions ๏ Layer3 : similar textures ๏ Layer4 : significant variation, more class-specific ๏ Layer5 : entire objects with significant 7
9.
Convnet Visualization (2) ๏ง
Feature Evolution during Training โข ์ ๊ทธ๋ฆผ์ Feature map์ค์์ ๊ฐํ activation์ ํ๋ จํ๋ ๋์์ ์งํ์ Visualization์ ํจ. โข ๋ฎ์ layer์์๋ ์ ์ ์์ epochs๋ก ํ์ต์ด ๋์ง๋ง ๋์ layer๋ 40~50๊ฐ์ ์๋นํ ์์ epochs๊ฐ ํ์๋ก ํจ. 8
10.
Convnet Visualization (3) ๏ง
Feature invariance โข Sample Image 5๊ฐ๋ฅผ ๋ณํ(์ด๋, ํ์ , ํ๋์ถ์)์ ์์ผ ํด๋น feature vector์ untransformed feature vector์์ ์๋์ ์ธ ๋ณํ๋ฅผ ๋ด. โข ์์ ๋ณํ์ ๋ํด์๋ ์ฒซ ๋ฒ์งธ Layer๊ฐ ํฐ ์ํฅ์ ํฐ ํจ๊ณผ๋ฅผ ๊ฐ์ง์ง๋ง ๋ง์ง๋ง Layer์ ๋ํด์๋ ์ํฅ์ด ๋ฏธ๋ฏธํจ. โข ๋คํธ์ํฌ ์ถ๋ ฅ์ ์ด๋๊ณผ ์ค์ผ์ผ์ ๋ํด์๋ ์์ ์ ์ด์ง๋ง ํ์ ์ ๊ทธ๋ ์ง ์์. (๋์นญํ์ ์ ์ธ) โข ๋ค์ ์ฅ ๊ทธ๋ฆผ ๋ณ์ ๏ A : ์ด๋, B : ์ค์ผ์ผ, C : ํ์ ๏ Col1 : 5๊ฐ์ ๋ณํ๋ ์ด๋ฏธ์ง ๏ Col2 & 3 : Euclidean distance๋ฅผ ์ด์ฉํ feature vector ์ฐจ์ด. (2๋ Layer 1, 3์ Layer 7) ๏ Col4 : ๊ฐ ์ด๋ฏธ์ง์ True label์ ํ๋ฅ 9
11.
Convnet Visualization (4) 10
12.
Convnet Visualization (5) ๏ง
Architecture Selection โข Visualization์ ์ข์ architecture๋ฅผ ์ ํํ๋ ๋ฐ ๋์์ ์ค. โข (a)๋ feature scale clipping์ด ์๋ 1 Layer (b)์ (d)๊ฐ Krizhevsky et al์ 1 Layer์ 2 Layer (c)์ (e)๊ฐ ์ด ๋ ผ๋ฌธ์์ ๋ฐ๊พผ Layer โข Filter size๋ฅผ 11 * 11 ๏ 7 * 7 , Stride of convolution 4 ๏ 2 ๏ ์ ์ฉ ๊ฒฐ๊ณผ (b)์์ ์๋ a mix of extremely high and low frequency information์ด (c)์์๋ ๋ณด์ด์ง ์์. (d)์์ aliasing artifact๊ฐ ๋ณด์ด์ง๋ง (e)์์ ๋ง์ด ์ค์ฌ์ง. ๊ฒ๋ค๊ฐ ๋ถ๋ฅ๊ธฐ์ ์ฑ๋ฅ์ด ํฅ์๋จ. 11
13.
Convnet Visualization (6) 12
14.
Convnet Visualization (7) ๏ง
Occlusion Sensitivity โข ์ด ๋ชจ๋ธ์ด ์ ๋ง๋ก ์ด๋ฏธ์ง์์ ์ค๋ธ์ ํธ์ ์์น๋ฅผ ํ์ธํ๋์ง ๋๋ ์ฃผ๋ณ ํ๊ฒฝ์ ์ ํ์ฉํ๋์ง๋ฅผ ํ ์คํธ ํด๋ด. ๏ ์ด๋ฏธ์ง์ ์ผ๋ถ๋ถ์ ๊ฐ๋ฆผ(Occlusion)์ผ๋ก์จ ํ ์คํธ. โข ์คํ ๊ฒฐ๊ณผ ๏ ๋ชจ๋ธ์ ์ฌ์์ ๋ช ํํ๊ฒ ์ค๋ธ์ ํธ๋ฅผ ์ธ์งํจ. - ์ค๋ธ์ ํธ๋ฅผ ๊ฐ๋ ธ์ ๋ correct class ํ๋ฅ ์ด ๋จ์ด์ง. ๏ Visualization์ image structure์ ๋ค์ด ๋ง๋๊ฒ์ ๋ณด์ฌ์ฃผ๊ณ ๋ ๋ค๋ฅธ visualization๋ ์ ํจํ๋ค๋ ๊ฒ์ ์ ์ฆํจ. 13
15.
Convnet Visualization (8) 14
16.
Convnet Visualization (9) ๏ง
Correspondence Analysis โข Deep model์ ๊ธฐ์กด ์ธ์ง ์ ๊ทผ ๋ฐฉ์๋ค๊ณผ ๋ค๋ฅด๊ฒ ํน์ ํ ์ค๋ธ์ ํธ ๋ถ๋ถ๋ค ์ฌ์ด์ ๊ด๋ จ์ฑ์ ๋ง๋ค์ด๋ด๋ ๋ช ํํ ๋ฉ์ปค๋์ฆ์ด ์กด์ฌํ์ง ์์. ๏ Deep model์ด ์ด๊ฒ๋ค์ implicitly ํ๊ฒ ๊ณ์ฐํ๋์ง ์ฐพ์๋ด. โข ์คํ ๋ฐฉ๋ฒ ๏ 5๊ฐ์ ๊ฐ ์ด๋ฏธ์ง๋ฅผ ๊ฐ์ง๊ณ ๊ฐ ์ด๋ฏธ์ง ๋ง๋ค ์ผ์ชฝ ๋, ์ค๋ฅธ์ชฝ ๋, ์ฝ, ๋๋ค ํ ์์น๋ฅผ ๊ฐ๋ฆฌ๊ณ ์๋ณธ๊ณผ ๊ฐ๋ ค์ง ์ด๋ฏธ์ง์์ ๋ง๋ค์ด์ง ๊ฐ๊ฐ์ feature vector๋ฅผ ๋นผ์ค. - ๐๐ ๐ = ๐ฅ๐ ๐ โ ๐ฅ๐ ~๐ โข i : ์ด๋ฏธ์ง ์ธ๋ฑ์ค, l , ~l : Layer l์์์ ์๋ณธ, occlude ๋ ์ด๋ฏธ์ง์ feature map - โข H : hamming distance, sign() : ์์๋ 1 ์์๋ -1 0์ 0์ผ๋ก ์ธํ ํ๋ ํจ์. ๏ Layer5์ Layer7์์์ feature๋ฅผ ์ฌ์ฉํจ. โข ๋ฎ์ ๊ฐ์ผ์๋ก ์ด๋ฏธ์ง๋ค ์ฌ์ด์์ ๋ ์ผ๊ด์ฑ ์๊ณ ๋ ์ฐ๊ด์ฑ ์๋ค๋ ๊ฒ์. 15
17.
Convnet Visualization (10) 16
18.
Convnet Visualization (11) ๏ง
์คํ ๊ฒฐ๊ณผ โข Layer5์์๋ Random๊ณผ ๋น๊ตํ์ ๋ ์ค๋ฅธ์ชฝ ๋, ์ผ์ชฝ ๋, ์ฝ์ ์ ์๋ ์๋์ ์ผ๋ก ๋ฎ์ ๊ฒ์ผ๋ก ํ์ธ๋จ. โข ๋ฐ๋ฉด์ Layer7์์๋ Random๊ณผ๋ ๋ณ ์ฐจ์ด๊ฐ ์์. ๏ Layer7์์ ์ด๋ฐ ๊ฒฐ๊ณผ๊ฐ ๋์จ ์ด์ ๋ Layer7์์๋ ๊ฐ ์ข ์ ๊ตฌ๋ณํ๋ ค๊ณ ํ๋ ์ธต์ด๊ธฐ ๋๋ฌธ. 17
19.
5. Experiments (1) ๏ง
5.1 ImageNet 2012 โข Krizhevsky et al., 2012์ ์ํคํ ์ฒ๋ฅผ ๊ฑฐ์ ์ ํํ๊ฒ ๊ตฌํํจ (0.1% ์ค์ฐจ). โข ์์ Visualization์ ํตํด ๋ฌธ์ ๊ฐ ์๋ ๋ถ๋ถ์ ์ฐพ์์ ๋ณด์ํ ๋ฐฉ์์ ์ ์ฉํจ. โข ์ฌ๋ฌ๊ฐ์ง ๋ชจ๋ธ๋ค์ ๊ฒฐํฉํ์ฌ ์ต์ข ์ ์ผ๋ก 14.8% ๋ผ๋ ๊ฐ์ฅ ๋ฎ์ ์๋ฌ์จ์ ๋ง๋ค์ด ๋.(Test Top-5) 18
20.
5. Experiments (2) ๏ง
Varying ImageNet Model Sizes โข Krizhevsky et al. 2012 ์ํคํ ์ฒ์์ Layer ์ฌ์ด์ฆ๋ฅผ ๋ฐ๊พธ๊ฑฐ๋ ์ ๊ฑฐํด๋ณด๋ฉด์ ๊ตฌ์กฐ๋ฅผ ์ฐ๊ตฌํด๋ด. โข ๊ฒฐ๋ก ์ ์ผ๋ก ๋ชจ๋ธ์ ๊น์ด๊ฐ ์ข์ ์ฑ๋ฅ์ ์ป๋๋ฐ ์ค์ํ๋ค๋ ๊ฒ์ ์๊ฒ ๋จ. 19
21.
5. Experiments (3) ๏ง
5.2 Feature Generalization โข ๋ค๋ฅธ ๋ฐ์ดํฐ ์ ์๋ ์ผ๋ฐํ๊ฐ ์๋๋์ง ํ ์คํธ๋ฅผ ํด๋ด. ๏ ๋ฐ์ดํฐ ์ - Caltech-101 (Feifei et al. 2006), Caltech-256 (Griffin et al. 2006) - PASCAL VOC 2012 โข ๊ธฐ์กด์ ๋ง๋ค์ด์ง ๋ชจ๋ธ์์ Layer1~7๊น์ง ์ ์ง์ํค๊ณ ๋ง์ง๋ง์ softmax classifier๋ง ์๋ก์ด ๋ฐ์ดํฐ ์ ์ผ๋ก ๋ค์ ํ๋ จ ์ํด. โข ์๋ก์ด training ๋ฐ์ดํฐ ์ ์ด ImageNet์ด๋ ๊ฒน์น๋ ์ด๋ฏธ์ง๊ฐ ์์ ์ ์์ด์ normalized correlation์ ์ฌ์ฉํ์ฌ ๊ทธ๋ฐ ์ด๋ฏธ์ง๋ค์ ์ ๊ฑฐ ์ํด. โข Class๋น ์ด๋ฏธ์ง ๊ฐ์๋ฅผ ๋๋ ค๊ฐ๋ฉด์ ์ ํ๋๋ฅผ ์ธก์ ํจ. ๏ Caltech-101 : 15 or 30 image per class, 50 image per class ๏ Caltech-256 : 15, 30, 45, 60 image per class โข PASCAL 2012์ ๊ฒฝ์ฐ ์ด๋ฏธ์ง์ ์ฌ๋ฌ ๊ฐ์ ์ค๋ธ์ ํธ๊ฐ ์กด์ฌํด์ ์์ ๋ค์ด ๋ง๋ ๋ชจ๋ธ๊ณผ ์ข ๋ง์ง ์๋ค๊ณ ์ค๋ช ํจ. 20
22.
5. Experiments (4) ๏ง
์คํ ๊ฒฐ๊ณผ (1) 21 Caltech-101 classification accuracy Caltech-256 classification accuracy Caltech-256 classification performance
23.
5. Experiments (5) ๏ง
์คํ ๊ฒฐ๊ณผ (2) โข [A] : (Sande et al. 2012), [B] : (Yan et al. 2012) โข ๊ธฐ์กด์ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ๋๋ ๋ชจ๋ธ๋ณด๋ค ํ๊ท ์ฑ๋ฅ์ด 3.2% ๋ฎ๊ฒ ๋์ด. ๊ทธ๋ฌ๋ 5๊ฐ class์์ ๋ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์ค. 22
24.
5. Experiments (6) ๏ง
Feature Analysis โข ImageNet-pretrained model์ด ๊ฐ Layer๋ง๋ค ์ผ๋ง๋ feature๋ค์ ์ ๊ตฌ๋ณํด๋ด๋์ง ์คํ์ ํด๋ด. โข Layer์ ์์ ๋ณํ๋ฅผ ์ฃผ์๊ณ ๋ถ๋ฅ๊ธฐ๋ฅผ linear SVM์ด๋ softmax๋ฅผ ์ฌ์ฉํจ. โข ๋ฐ์ดํฐ ์ ์ Caltech-101, Caltech-256 ์ฌ์ฉํจ. โข ์คํ ๊ฒฐ๊ณผ 23
25.
6. Discussion ๏ง Convolutional
neural network model์ ๋ํด Visualizeํ๋ ๋ฐฉ์์ ์ ์ํจ. ๏ง Visualize ๋ฐฉ์์ ํตํด ๋ชจ๋ธ์ ๋๋ฒ๊น ํจ์ผ๋ก์จ ๋ ๋์ ๊ตฌ์กฐ๋ฅผ ์ฐพ๋ ๊ฒ์ ๋ณด์ฌ์ค. ๏ง Occlusion ์คํ์ ํตํด ๋ถ๋ฅ ํ๋ จ ๋์ ์ด๋ฏธ์ง์์ ์์น ๊ตฌ์กฐ์ ๋ํด ๋งค์ฐ ๋ฏผ๊ฐํ๋ค๋ ๊ฒ์ ์๊ฒ ๋จ. ๏ง ๋ชจ๋ธ์์ ๋ ์ด์ด ์ ๊ฑฐ ์คํ์ ํตํด ์ต์ํ์ ๊น์ด๊ฐ ์๋ ๊ฒ์ด ๋ชจ๋ธ ์ฑ๋ฅ์ ์ข๋ค๋ ๊ฒ์ ์๊ฒ ๋จ. ๏ง ์ฐ๋ฆฌ๊ฐ ๋ง๋ ๋ชจ๋ธ์ด ๋ค๋ฅธ ๋ฐ์ดํฐ ์ ์๋ ์ผ๋ฐํ๊ฐ ์ ๋๋ค๋ ๊ฒ์ ๋ณด์ฌ์ค. 24
26.
Thank you 25
27.
Reference ๏ง Visualizing and
understanding convolutional networks (2014), M. Zeiler and R. Fergus ๏ง https://qiita.com/knao124/items/fdb47674ada389e70c6e ๏ง http://ferguson.tistory.com/5 26
Download now