2. AUTOMATIC PHOTO POP UP 1 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Automatic Photo Pop Up Research Paper 는 한장의 2D 영상을 Geometric Cues 를 기반으로 영상 인식 후 , 3D 로 복원하는 어플리케이션 What is Automatic Photo Pop Up
3. AUTOMATIC PHOTO POP UP 2 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Automatic Photo Pop Up’s STEP 위의 단계 중 Multiple Segmentation (Constellations) 단계부터 Image Labeling (Labeling) 단계까지가 2D 영상 분석이며 , Geometric Cues 를 이용하여 영상 분석을 실행하고 있습니다 .
4. AUTOMATIC PHOTO POP UP 3 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Automatic Photo Pop Up’s STEP Input Ground Vertical Sky Geometric Labels Image Learned Models Cut’n’Fold 3D Model
5. AUTOMATIC PHOTO POP UP 4 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com What is Segmentation 컴퓨터 비전에서는 세그먼트를 여러 세그먼트 픽셀 ( 세트 ) 에 디지털 이미지를 파티션 과정 ( 또한 superpixels 라고도 함 ) 를 말합니다 .
6. AUTOMATIC PHOTO POP UP 5 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com What is Geometric Cues? Geometric Cues Comments Color surface 구성요소를 인지하는데 유용하다 . 예를들어 sky 는 일반적으로 blue 또는 white 색상을 가지고 있으며 , ground 는 green (grass) 또는 brown (dirt) 등의 색상을 가지고 있다 . Texture surface 구성요소에 대한 추가적인 정보를 제공한다 . 예를들어 , texture 는 white sky 와 water 를 구별하는데 도움이 되며 , green tree 와 grass 를 구별하는데 도움이 된다 . Texture 는 oriented Gaussian filters 및 Berkeley segmentation dataset [Martin et al. 2001] 를 이용하여 구할 수 있다 . Location ground (image 의 아랫부분 ), vertical structures 및 sky (image 의 윗부분 ) 를 구별하는 중요한 정보를 제공한다 . 3D Geometry surface 의 3 차원 방향을 결정하는데 도움을 준다 . 평면상의 소실선은 바라보는 사람의 3 차원 방향에 의해 결정되지만 [Hartley and Zisserman 2004], 이러한 정보는 쉽게 얻을 수 있는 것이 아니다 . Straight lines 의 통계 및 그들의 교차점을 계산함으로써 , 본 논문은 surface 의 소실점에 대한 정보를 얻는다 . 본 논문은 [Kosecka and Zhang 2002] 방식을 이용하여 이미지 상의 long and straight edges 를 찾고 물체의 중점을 계산함으로써 texture 기울기 정보를 알아낸다 . 덧붙여 본 논문은 모든 교차점으로부터 정해진 최소 거리 내에 존재하는 수평선의 교차점을 이용하여 horizon position 을 계산해내고 있다 .
7. AUTOMATIC PHOTO POP UP 6 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com What is Geometric Cues? Color Location Texture Perspective
8. AUTOMATIC PHOTO POP UP 7 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 1. Superpixels Effective Graph-Based Image Segmentation 알고리즘을 이용하여 , 한장의 2D 영상을 Segmentation 하는 작업을 진행합니다
9. AUTOMATIC PHOTO POP UP 8 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 2. Multiple Segmentation (Constellation) Geometric Cues 중 Color, Texture, and Location 정보를 이용하여 , Superpixels 로 나누어진 영역을 하나의 영역으로 재구성 Single Segmentation 이 아닌 Multiple Segmentation 작업을 진행하는 이유는 오차율을 줄이고자 실시하는 것으로 논문에서 언급하고 있습니다 .
10. AUTOMATIC PHOTO POP UP 9 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 3. Image Labeling (Labeling) Multiple Segmentation 의 결과로 나온 영상들에 적용하여 , 영상 분석이 완성된 하나의 이미지를 만들어내는 과정입니다 .
11. AUTOMATIC PHOTO POP UP 10 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 3. Image Labeling (Labeling) Multiple Segmentation 의 결과로 나온 영상들에 적용하여 , 영상 분석이 완성된 하나의 이미지를 만들어내는 과정입니다 .
12. AUTOMATIC PHOTO POP UP 11 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 4. Cut and Fold (3D construction) Image Labeling 을 통해 Constellations 가 단계별로 구분된 한장의 2D Image 를 3D 로 Modeling 하기 위해 Fold and Cut 를 실행하는 과정입니다 .
13. AUTOMATIC PHOTO POP UP 12 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com 5. Construct 3D Model Cut and Fold 가 끝난 이미지를 기준으로 3D Model 을 생성 후 2D Image 를 Texture Mapping 함으로써 3D Model 을 아래와 같이 생성할 수 있습니다 .
14. AUTOMATIC PHOTO POP UP 13 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Weakness ⑴ 복잡한 장면 ex) 수많은 나무나 사람이 포함된 장면 -> 일일이 레이블하기 어려움 ⑵ 경사진 면에 대한 고려 부재 ⑶ 다중의 Ground-Parallel 면에 대응하기 어려움 ex) 계단 ⑷ 레이블 오류 ⑸ 수직 영역으로 표기된 부분의 중복 ⑹ 수평선 추청 오류
15. AUTOMATIC PHOTO POP UP 14 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Example
16. AUTOMATIC PHOTO POP UP 15 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Example
17. AUTOMATIC PHOTO POP UP 16 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Example
18. AUTOMATIC PHOTO POP UP 17 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Example
19. AUTOMATIC PHOTO POP UP 18 CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com Example
20. T H A N K Y O U CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:skyline1@nate.com
Notes de l'éditeur
안녕하십니까 저는 일반대학원 영상콘텐츠과 2 학기 재학중인 성기영 입니다 . 반갑습니다 . 제가 이시간에 발표할 내용은 지금 공부중인 automatic photo pop up 이라는 논문내용에대해 말씀드리고자 합니다 .
Automatic photo pop up 이란 무엇인가 ? 그림으로 보시다시피 2D 이미지를 3D 이미지로 바꿔서 보여주는 것입니다 . Geometric cues 라는 방법을 이용해서 하는건데 뒤에서 보여드리겠습니다 .
automatic photo pop up 의 과정을 말씀드리겠습니다 . 첫번째 이미지를 불러와서 superpixels 라는 과정을 거칩니다 . Superpixels 란 이미지의 필셀들의 값의 범위를 모아서 하나의 값으로 바꾸는 과정인데요 Segmentation.. 즉 분할을 하는것입니다 . 그리고 3 번째 이 분할을 여러 번 다중분할을 하면서 값을 축적하고 라벨링한후 완성이 됩니다 .
간단하게 과정을 설명드리자면 이미지를 불러온후 segmentation 과정을 거친후 3 영역으로 나눕니다 . 땅과 객체 그리고 하늘… 3 부분으로나눈뒤 자르고 접어서 3d 모델로 나오게 되는것입니다 .
여기서 segmentation 이란 .. 컴퓨터 비전분야에서 사용되는 용어입니다 . 보시면 여러 세그먼트 ( 조각 ) 필셀에 디지털 이미지를 파티션 .. 즉 나누는 작업 이란 뜻입니다 .
그리고 geometric cues 라는 방법이 있는데요 지금은 제가 공부하는 중이라서 이부분에대해 많이 부족합니다 . 그래서 이부분은 넘어가도록 하겠습니다
automatic photo pop up 의 과정의 첫번째 단계인 superpixels 의 단계를 말씀드리겠습니다 . Effective Graph-Based Image Segmentation 알고리즘을 상용 하여 한장의 2D 영상을 Segmentation 하는 작업을 진행합니다 .
두번째로는 이 Segmentaion 과정을 여러 번…다중 분할 작업을 하게됩니다 . 그 이유는 오차율을 줄이고자 실시한다고 논문에서 언급하고 있습니다 .
3 번째로 라벨링인데요 이그림은 라벨링이 된 완성이미지 입니다 .
라벨링 하는 과정을 보여드리면 처음 Segmentation 을 하고 이미지를 저장합니다 . 그리고 또 하고 또하고 여러 번 해서 마지막엔 3 부분으로 나눠진 이미지를 만들어 냅니다 .
네번째로 cut and fold 작업입니다 . 이미지를 자르고 접는 작업인데요 라벨링된 구역을 기준으로 하늘 부분은 버리고 중간 객체부분은 나눠서 접어버리는 과정입니다 .
마지막으로 끝난 이미지를가지고 자르고 접어버리면 이와 같이 완성된 3D 이미지를 볼수있습니다 .
장점으로는 2D 를 수비게 3D 로 표현해 재미있는 효과를 낼수있다는 것이지만 단점은…복잡한장면… 나무가 많다거나 사람이 많이 포함된 그런 이미지는 표현하기가 힘듭니다 . 그리고 다중 그라운드 평행면에 대응하기 어렵다는것입니다 . 계단같은 것은 자르기가 많이 힘듭니다 . 한마디로 땅 객체 하늘 이렇게 크기 젤 구분 되는 그런 이미지를해야 잘 표현이 됩니다 .
