[부스트캠프 Tech Talk] Structure of Model and Task 발표자료입니다. 발표자 : 배지연 캠퍼

1. Structure of Model and Task
#cliche #state-of-the-Art #goal
배지연

2. Contents
1. Intro
2. Computer Vision
3. Review
4. Representation of Model
2

3. 1. Intro
3
P stage Routine
>> EDA → Model Search
→ Experiment → Ensemble
다양한 성능 좋은 모델을 앙상블함으로써 일반화 성능을 높인다

4. 4
Semantic Segmentation Competition
Backbone 대입 시 성능 향상 Backbone 대입 시 성능 하락

5. 5
As a Result
왜 성능이 좋지 않을까?
== 왜 다른 과제에서는 좋은 성능을 보였던 모델이
이 과제에는 적합하지 않을까?

6. 2. Computer Vision
6
사람의 시각을 모방하다 ≒ 시각 정보를 인식하다
feature map으로 표현되는 정보를 저장하고 전달하는 과정
그림 © NAVER CONNECT Foundation
Train
그림 © NAVER CONNECT Foundation

7. 7
Bias / Specific
모델의 성능을 향상하다
>> 모델의 정보에 대한 반응을 넓히다
>> 시각의 보편적인 특징(color, shape, texture)을 반영한다
>> 인간의 시각을 모방하다
Task Metric에서의 성능을 향상하다
>>>> color, texture bias를 줄이고 shape bias를 늘리다

8. 3. Review
8
그림 © NAVER CONNECT Foundation
Object Detection Semantic Segmentation
>> mAP50 >> mIoU

9. 9
CNN
[https://arxiv.org/abs/1512.03385]
Convolution과 Sub Sampling을 반복하여 Feature을 찾고 연결하는 구조
ResNet
Skip Connection Bottle Neck

10. 10
RNN
Sequential data를 입력으로 받기 위해 과거의 정보를 요약하는 hidden state를 포함하는 구조
그림 © NAVER CONNECT Foundation
>> RNN은 입력 데이터가 일부 탈락되거나 순서가 바뀌면 모델이 처리하기 어려움
>> vanishing/ exploding gradient issue

11. 11
Vision Transformer
[https://openreview.net/forum?id=YicbFdNTTy]

12. 12
Object Detection
전체로부터 Object의 영역을 찾고 해당 영역을 classification
>> Receptive field와 object가 어디에 존재하는지 판단하는 것이 중요
Fast R-CNN (2-stage Detector)
그림 © NAVER CONNECT Foundation

13. 13
Object Detection
YOLO (1-stage Detector)
그림 © NAVER CONNECT Foundation

14. 14
Semantic Segmentation
Pixcel 단위로 각 픽셀이 속하는 Object의 classification
>> Receptive field와 object를 복원하는 성능이 중요
DeepLabv3
그림 © NAVER CONNECT Foundation

15. 15
Semantic Segmentation
U-Net
그림 © NAVER CONNECT Foundation

16. 4. Representation of Model
16
>> Visualization
>> Diagnosis
>> Disentangling
>> Interpretation
>> Evaluation metric
>> For middle-to-end Learning
[Visual Interpretability for Deep Learning : a Survey]
모델을 표현하는 6가지 관점
도표가 제시하는 해석 방향성을 참고하여 모델의 이해 및 활용 방법을 찾을 수 있다

17. 17
Diagnosis
1 Analyze CNN feature from a global view
>> filter의 의미와 전달력을 분석
2 Extracts image regions that directly contribute the network output
>> network output에 가장 민감하게 반응한 이미지 영역을 추출
3 The estimation of vulnerable points in the feature space
>> feature space의 bias를 진단하고 추정
4 Refine network representations based on the analysis of network feature spaces
>> 학습한 model이 놓친 부분을 찾기
5 Discover potential, biased representations
[Visual Interpretability for Deep Learning : a Survey]

18. 18
Disentangling
각 filter로부터 시각 정보가 어떻게 연결되는지 파악하기 위한 질문
[Visual Interpretability for Deep Learning : a Survey]
Q. 각 filter는 얼마나 많은 정보를 외우고 있는가?
Q. 해당 패턴이 특정 영역이나 질감을 설명할 수 있는가?
Q. 공동으로 활성화된 패턴의 관계는 어떠한가?
Q. 개체를 설명하기 위해서 어떤 패턴이 활성화 되는가?

19. 감사합니다
19