1.
서 종 훈
Jonghoon.seo@msl.yonsei.ac.kr
Research Works

2.
2
목차
• 연구실 소개
• 개인 연구분야 소개
• 수행 연구 소개

3.
3
연구실 소개

4.
4
개인 연구 분야 소개

5.
5
개인 연구 분야 소개
Smart
Space
1. NUI
Technologies
과학재단 (2007~2008)
LG전자 미래기술연구소 (2013)
한국연구재단 (2012~2015)
2. Interaction
Frameworks
3. UX
Design
서울시정개발연구원 (2008~2009)
한국연구재단 (2012~2015)
과학재단 (2007~2008)
AKO 엔터테인먼트 (2010~2012)
삼성 SDS (2011~2012)
삼성전자 DMC (2012)
KIST (2013~2015)

6.
6
수행 연구 과제
NUI Technologies
Image-based Codes
• 연구원, 2006-2007, 과학재단 특정기초 연구,
“차세대 PC환경 지원을 위한 영상인식 및 표현 기술에 대한 연구”
• Team Leader, 2008, 삼성전자 종합기술원,
“Perceptive Display 상에서의 Object Recognition을 위한 Visual/IR Tag 기술 연구”
Augmented Reality
• PL, 2009-2010, (주) 아코엔터테인먼트,
“증강현실 및 멀티터치 요소기술개발”
• Team Leader, 2011, 삼성전자 DMC 연구소,
“비전 기능의 CPU/GPU 혼합 가속 기법 연구 및 검증”
• PL, 2013-2015, KIST
“시각기반 지도 인식 모듈 개발”
Hand Gesture Interface
• PL, 2011, 삼성SDS,
“고성능 Vision 기반 Motion 인식 기술”
Interaction Framework
• 연구원, 2008-2009, 서울시정개발연구원 산학연 협력사업,
“모바일 컴퓨팅 기반 상황 인지 서비스 프레임워크”
• PL, 2012-2015, 연구재단 중견연구자지원사업
“Smart space 공간 제어를 위한 Natural User Interface 기술 연구”
UX Design
• 연구원, 2013, LG전자 전자기술원,
“360 프로젝션 및 인터렉션 기술 개발”
• 연구원, 2007, LG전자 DTV 기술 연구소
“차세대 스마트 홈 환경을 위한 DTV 기반 사용자 인터페이스 설계”
• 연구원, 2005, LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽,
“모션 벡터를 사용한 모바일 스크린 콘트롤 인터페이스”
총 12건, 1,511,392,000원 | 프로젝트/팀 관리 7건, 721,792,000

7.
7
NUI Technologies
Interaction Frameworks
UX Design
1. Image-based Codes
2. Augmented Reality
3. Hand Gesture Interaction

8.
8
NUI Technologies
Image-based Codes
QR 코드와 유사한 형태의 카메라 기반의 바코드 인식 기술
인식에 강인한 코드 설계 및 에러 보정 기술 개발
다양한 조명 및 환경에서 인식 가능하도록 영상 향상 기술 개발
비가시 도료 기반의 태그 인식 기술 개발
Augmented Reality
현실 세계에 디지털 정보를 Seamless하게 제공하는 기술
마커 기반 증강현실 엔진 개발 및 교육 필드에 상용화
비마커 기반 증강현실 엔진 개발 및 모바일 가속화 기술 개발
프로젝터 기반의 Spatial AR 기술 개발
Hand Gesture Interface
손 인식을 통한 사용자 중심의 상호작용 기술
컬러-깊이 영상을 혼용한 강인한 손 분리 기술 개발
손 인식 및 이를 통한 제스처 상호작용 기술 개발
다양한 포즈의 손 인식 및 상호작용 기술 개발

9.
9
▶ 정철호, 서종훈, 한탁돈, "추적조건 분석에 의한 개선된 외곽선 추적 기법들," 한국정보과학회 2006년 추계학술대회, vol. 33, No. 2(B), pp.431 - 436, 한국정보과학회, Oct. 2006.
▶ Dong-Chul Kim, Jong-Hoon Seo, Cheolho Cheong, Tack-Don Han, "Tag Interface for Pervasive Computing," Signal Processing and Multimedia, pp. 356-359, 2006.
▶ Jonghoon Seo, Ji Hye Choi and Tack-don Han, “Image based Codes Performance Comparison for Mobile Environments”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6761/2011, pp. 653-659, July 2011.
▶ 국내특허, 출원 10-2009-0099284, 서종훈, 한탁돈, 김동철, 신해준, 윤형민, 최창규, “바코드 인식 장치 및 방법”, 2009.10.19.
▶ 국내특허, 출원 10-2009-0084289, 한탁돈, 윤준영, 신해준, 김동철, 서종훈, 등 “퍼셉티브 디스플레이 장치와 휴대용 단말기 간의 상호작용을 위한 장치 및 방법”, 2009.09.08.
SKTelecom Lotte Members IBK KOLON Sport
Pictorial Image Code
• 색상을 사용하는 새로운 형태의 2D 바코드
• 1999년 미디어시스템연구실에서 개발
• 2004년 ColorZip Media로 Spin-off
• 색상 정보를 이용하여 데이터 저장
• 다양한 조명에서 인식 가능한 색상 분리 기법 연구
• 조명 및 환경 변화에 강인한 코드 검출 기법 연구
• 개선된 Contour Tracing 기법 개발
연구원, 2006-2007, 과학재단 특정기초 연구,
“차세대 PC환경 지원을 위한 영상인식 및 표현 기술에 대한 연구”
Team Leader, 2008, 삼성전자 종합기술원,
“Perceptive Display 상에서의 Object Recognition을 위한 Visual/IR Tag 기술 연구”
• Invisible IR Ink 특성 조사
• Invisible IR 환경에 강인한 Tag 구조 설계
• 영상 향상을 통한 근적외선 영역에서의 마커 인식 기술 개발
– 노이즈 제거 기술 개발
– 개선된 이진화 방법 개발
– 히스토그램 기반 영상 향상 기법 개발
<IR Invisible Code>
Image-based Code

10.
10
Augmented Reality
Marker-based AR
▶ Jonghoon Seo, Jinwook Shim, Ji Hye Choi, James Park and Tack-don Han, “Enhancing Marker-based AR Technology”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6773/2011, pp. 97-104, July 2011.
▶ Jinwook Shim, Jonghoon Seo and Tack-Don Han, “MSL_AR toolkit: AR Authoring tool with Interactive features”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6773/2011, pp. 105-112, July 2011.
▶ Jinwook Shim, Minje Kong, Yoonsik Yang, Jonghoon Seo, Tack-Don Han, “Interactive features based augmented reality authoring tool”, ICCE(International Conference on Consumer Electronics) 2014, pp. 47-50, Jan. 2014.
▶ 심진욱, 공민제, 김하영, 채승호, 정경호, 서종훈, 한탁돈, “마커 및 제스처 상호작용이 가능한 증강현실 저작도구”, 멀티미디어학회논문지, 제16권, No. 6, pp. 720-734, 2013년. (Link)
▶ 손원성, 한재협, 최진용, 서종훈, 최윤철, 한탁돈, 임순범, “차세대 디지털교과서를 위한 기반기술 및 적용에 관한 연구”, 정보교육학회논문지, 제14권, No. 2, pp. 165-174, 2010년 6월. (Link)
▶ 서종훈, 한탁돈, “증강현실에서의 마커 시스템 비교”, 2010년 멀티미디어학회 춘계학술대회, 2010년 5월.
▶ 서종훈, 한탁돈, "간단한 증강현실 환경을 위한 사용자 작성 마커", 2010년도 한국컴퓨터정보학회 동계학술대회 논문집 제18권 1호, p277-279, 2010년 1월 21일
▶ 국내특허, 출원번호 10-2011-0081456, 한탁돈, 서종훈, 최지혜, 박제희, 심진욱, “마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법”, 2011.08.17.
▶ 국내특허, 출원번호 10-2011-0077703, 한탁돈, 서종훈, 최지혜, 박제희, 심진욱, “포즈 예측 방법과 장치 그리고 증강 현실 시스템”, 2011.08.04.
• 2D 바코드인 ColorCode와 증강현실을 접목하는 기술 연구
• 색상을 사용하므로 셀의 크기가 상대적으로 크기 때문에 기존 2D 바코드에 비하여 뛰어난 트레킹 제공
• Pictorial Image Code를 통한 심미성 강조
장점 단점
2D 바코드 충분한 ID 개수
• ColorCode: 43억개
• QRCode: 1만개~
제한된 트레킹 품질
• 정면, 근접 인식에 타겟
AR 마커 뛰어난 트래킹 품질
• 거리, 각도 변화에 강인
부족한 ID 개수
• ARToolKit: ~100개
• ARTag: 2,002개
• ARToolKit+: 4,096개
• PL, 2009-2010, (주) 아코엔터테인먼트, “증강현실 및 멀티터치 요소기술개발”
• 콘텐츠 개발 업체인 ㈜ 아코엔터테인먼트의 증강현실 사업을 위한 마커 기반 증강현실 툴킷 개발
• 교육, 전시, 마케팅 등으로 사업화 됨
ColorCodeAR
교육용 AR

11.
11
▶ Heeseung Choi, Jonghoon Seo, Seungho Chae, Yoonsik Yang, Ig-Jae Kim, “Real-time tour map recognition and tracking for mobile tour guide systems”, KJMR(Korea-Japan Workshop on Mixed Reality) 2014.
▶ Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015
Augmented Reality
Marker-less AR
GP-GPU 기반 마커리스 증강현실 가속화 연구
• Team Leader, 2011, 삼성전자 DMC 연구소, “비전 기능의 CPU/GPU 혼합 가속 기법 연구 및 검증”
• CPU와 GPU를 혼용하여 마커리스 증강현실 가속화 기술 연구
• 삼성 Galaxy S에서 GLSL을 이용한 GP-GPU 프로그래밍
최종목표 진행사항
환경 Tracking 성능 환경 Tracking 성능
알고리즘 개발 팀 QVGA
8개 DB
6개 동시추적
10 FPS
(모바일 환경에서 가속 이전)
Intel Q-8600
2.4Ghz, 4GB RAM,
QVGA
29~31 FPS
모바일 최적화 팀
15 FPS
(모바일 환경에서 가속화 적용 후)
Galaxy S2 16~17 FPS
모바일 지도 인식을 위한 증강현실 엔진 개발
• Project Leader, 2013-2014, KIST 영상미디어연구센터, “시각기반 지도 인식 모듈 개발”
• 16개 지도 DB 인식 및 추적 기술 개발
• 특징점 필터링 기반 가속 기술 개발
• Reference 영상의 학습 시에 특징점들을 평가하여 좋은 특징점만을 학습함으로써 속도를 증가시키면서도
인식율 향상
• 3가지 조건 제안
• 재현 가능 특징점 (Repeatability)
• 동 특징점 근사 매칭 (Similarity)
• 타 특징점 비 매칭 (Separability)
상세 설명
K_50 K_100 K_300 K_500
K_all
(conventional)
Time(ms) 23.36 27.23 45.16 63.04 196.59
Speed (fps) 42.80 36.73 22.14 15.86 5.09
Precision 60.3 62.4 58.1 55.0 50.2
상세 설명

12.
12
Augmented Reality
• Smart Space 구현을 위한 Steerable Projection 기술 개발
- Team Member, 2013, LG CTO 미래융합IT연구소, “360 프로젝션 및 인터랙션 기술개발”
- Pan-Tilt 에 따른 프로젝션 정규화 기술 개발
Pervasive AR
Dongchul Kim, Jonghoon Seo, Seungho Chea, Jinwook Shim and Tack-Don Han, “Real-time Plane Detection and Selection in an Unknown Environment for Projector-Camera Augmented Reality”, Submitted to Sensors, 2015.

13.
13
Hand Gesture Interface
예상 Application Prototype
– Large-amount Data Browsing
– Photo Stream Navigation (참고. Cooliris 등)
– Web Browsing
– Medical Chart Navigation
PL , 2011~2012, 삼성SDS, “고성능 Vision 기반 Motion 인식 기술”
과제 목표
• 깊이 인식 카메라 환경에서 GPU를 활용한 손 인식 및 추적 기술 연구
– 조명 및 배경 변화에 강인한 피부 색상 모델 기반 손 검출 기법 개발 및 GPU 가속화 연구
– 깊이 인식 카메라 환경에서 색상 정보를 혼용한 검출 기법 개발
– 연속된 프레임에서 손을 추적하는 기법 개발 및 GPU 가속화 연구
• 손 추적 Application 검증 Prototype 개발
– 손 추적을 활용하는 Interaction Application 제안
– 개발된 알고리즘 적용하여 Application 검증
제안 알고리즘 상세 설명

14.
14
Hand Gesture Interface
손 동작 인식 기술
- Kinect (Depth + Color) 환경
- 0.8~2m 인식 가능
- 2 개의 Posture(일반 / 선택),
- 인식 인원 제한 없음
제스처 인식 기술
- 4개의 제스처 인식 (좌/우/시계/반시계) 지원
- 이를 통한 프레젠테이션 시연 Application 개발
스마트 환경 제어 기술
- 포인팅 제스처: 제어 기기 선택
- 손바닥 포인팅: 기기 제어
- 연구재단 중견연구자지원 (2012.05.~2015.04)

15.
15
NUI Technologies
Interaction Frameworks
UX Design
1. Context-aware Middleware
2. OpenNUI Framework

16.
16
Context-aware Middleware
Communication
Layer
Context Discovery
Request
Context Discovery
Reply
Context Transfer
Request
Context Transfer
Reply
Interface
Layer
Service #2
Service #1
Service #3
Service #N
Core Layer
Context Discovery
Context Transfer /
Receiver
Service Consumer
Repository
Task
Manager
Database
Manager
Service Consumer Controller
Log Manager
Service List
Manager
XML Message
Parser Service Manager
Location Detection
Manager
Service API
Context Discovery
Request
Context Discovery
Reply
Context Transfer
Request
Context Transfer
Reply
Context Provider
Context DiscoveryContext Transmitter
Register
Scheduler
Context Provider Controller
Sensor ID
Message ParserSensor Manager
Context DB
Context Database
Manager
Log ManagerSensor #3
Sensor #N
Sensor #2
Sensor #1
서비스 API를 통한
상황정보 요청
Discovery 프로토콜로
주변의 Context Provider 검
색
Context Provider로부터 상황정
보 수집– Service Consumer(SC)
• 각 서비스가 필요한 상황정보를 API를 통해 요구하면 CP로부터 제공받아 상황정보 전달
– Context Provider(CP)
• 센서를 통하여 상황정보 수집 및 관리하며 요청 시 SC로 상황정보 제공
– SC와 CP를 구분함으로써 상황정보 관리 단과 서비스 제공 단을 구분하여 서비스 및 상황정보 양 단의 확장을 용이하게 함.
연구원, 2008-2009, 서울시정개발연구원 산학연 협력사업,
“모바일 컴퓨팅 기반 상황 인지 서비스 프레임워크”

17.
17
OpenNUI Platform
OpenNUI
Platform
Device
Layer
Kinect
Leap Motion
Phone/Pad
Myo
Wiimote
Brain Sensor
Home
Appliances
Space
Controller
etc
Other Sensors
Interaction
Layer
Input
Layer
Body Motion
Hand Gesture
Touch
Voice
Face
Tracking
etc
Output
Layer
Device Control
Markerless AR
Mobile
Display
HMD AR
Sound
etc
Interconnection
Layer
Support
Layer
OpenCV
PCL
Kinect SDK
OpenNI
Arduino
OpenGL
CUDA
OpenCL
etc
Application
Layer
Smart Home Smart ClassSmart Office Smart Car
UI Abstraction
Interface
Management

18.
18
NUI Technologies
Interaction Frameworks
UX Design
1. NUI based Interaction Design
2. Smart Contents Sharing

19.
19
UX Design
NUI-based Interaction Design
증강현실이나 손동작 인터페이스를 활용하여 새로운 상호작용 기기를 제안
이러한 기기를 이용한 새로운 상호작용 방식 제안
이를 활용하여 기존의 디자인, 교육, 건축 등의 다양한 환경에서의 문제 해결
Smart Contents Sharing
기기 간의 컨텐츠를 편리하게 주고받을 수 있도록 하기 위한 상호작용 기술 개발
스마트 기기 간, 멀티 디스플레이, 퍼베이시브 디스플레이 등 다양한 디바이스 환경에서의 적합한 상호작용 기술 개발

20.
20
NUI-based Interaction Design: for Creative Designer
▶ Hark-Joon Kim, Hayoung Kim, Seungho Chae, Jonghoon Seo, Tack-Don Han, “AR pen and hand gestures: a new tool for pen drawings”, CHI Extended Abstracts 2013: 943-948.
▶ Hark-Joon Kim, Jonghoon Seo, Hayoung Kim, Seoungho Chae, Tack-Don Han, “AugGesture Pen: Using non-dominant hand gestures for augmenting pen-based tasks”, DIS(Designing Interactive Systems) 2012, 2012,
▶ Jeongyun Kim, Jonghoon Seo, Tack-Don Han, “AR Lamp: interactions on projection-based augmented reality for interactive learning”, IUI(Intelligent User Interfaces) 2014, pp. 353-358.
▶ 김학준, 채승호, 서종훈, 김하영, 한탁돈, “증강현실 인터페이스를 위한 실시간 손 인식 방법”, 2013년 한국 HCI 학술대회, pp. 837-839, 2013년 1월. (Link)
• Projection 펜 인터페이스를 이용한 디자인 보조 기술 개발
- 소형 프로젝터를 이용하여 Projection 펜 인터페이스 개발
- 손동작 인식을 이용하여 정의된 몇 가지 시나리오 제공
NUI-based Interaction Design

21.
21
▶ Jonghoon Seo, Seungho Chae, James Park, Dongchul Kim, Jinwook Shim, and Tack-Don Han, “Enhanced Port3DAr: Combining 3D Interactive Smart Space and Mobile Computing for Construction Collaboration”, Journal of Information Science
and Engineering, (to be appeared)
• 휴대용 프로젝터 기술을 이용한 Smart 건축 시공 인터페이스 개발
- 건축 시공 현장에서 건축 도면의 정보에 쉽게 접근하고, 이를 현장에서 즉시 수정하거나 정보 질의
- Portable Dual Screen 생성 기술 개발
- Multi-Modal Interaction
- 간단한 BIM(Building Information Management) 기술 적용
- 프로젝션 기반의 Shared Workspace와 모바일 기기를 이용한 Personal Workspace 제공 및 정보 동기화 기술 개발
NUI-based Interaction Design: for Smart Construction
NUI-based Interaction Design

22.
22
NUI-based Interaction Design
▶ 김동철, 서종훈, 한탁돈, “Motion Vector를 이용한 모바일 스크린 콘트롤 인터페이스", 2005 LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽, 2005.
• 모션 벡터를 사용한 모바일 스크린 콘트롤 인터페이스 개발
- 연구원, 2005, LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽
- 모바일 기기의 작은 화면을 극복하기 위한 연구
- 후방 카메라를 이용하여 손의 움직임을 계산하고 이를 화면 이동에 반영
- 영상 분석을 통한 손의 이동 추정 기법 개발
- 특징점 추출(Extraction) 및 추적(Tracking) 기법 연구
- Motion Vector 추출 기법 연구
NUI-based Interaction Design
웨어러블 기기에서의 제스처 인식 기반 문자 입력 방법
• 웨어러블 기기에서의 제스처 인식 기반 문자 입력 방법
- 현재 진행 중 프로젝트
- 갤럭시 기어와 같은 손목 착용형 웨어러블 기기에서의 문자 입력 기술 개발
- 가상의 키보드가 증강되었다고 가정하고, 착용된 웨어러블 기기의 센서 정보를 이용하여
가상 키보드에서의 손의 움직임을 계산하고 이를 문자 선택에 반영
- 센서 인식을 통한 손의 이동 추정 기법 개발
- 센서 퓨전 기법 연구
- 단어 모델 기반의 센서 데이터 정제 기술 연구

23.
23
Smart Contents Sharing
Feature
• 가족과 여행하면서 찍은 사진을 공유하려는데, SNS, Cloud, Talk 등 다양
한 커뮤니케이션 수단이 있으나 매우 불편함. (4 터치 이상 소요)
• Smart Space 환경에서의 심플한 콘텐츠 공유 상호작용 기법 개발
• 노크, Drag, Flick 등 다양한 상호작용 기법을 이용한 직관적이로 편리한 상
호작용 기법 개발
• 심플하게 한쪽 디바이스에서 다른 쪽 디바이스로 파일을 공유 할 수 있음.
• 다양한 기기 기반의 상호작용 방법 개발
DragShare
Just drag & drop
KnockingShare
FlickShare
Distinguish multiple devices
Up flicking :
Send contents
Down flicking :
Get contents
Interact with simple flicking

24.
24
Merits

25.
25
Merits
Creativity
사용자 중심의 기술 이해를 바탕으로 UX, NUI 분야의 다양한 기술 개발
증강현실, 모션인식 등의 요소기술 개발에서부터 이를 응용한 UX 설계까지 경험
Experienced
7년간 총 12건 17억여원의 연구과제 수행 경력
이 중 7건 7억여원의 연구과제에서 과제 생성부터 진행 및 종결까지 관리 경험
Insightful
새로운 기술 트렌드 예측과 사업 기회 창출 등에 대한 탁월한 정리 능력을 인정받아 모션인식 및 웨어러블 컴퓨팅 관련 주제로 7건의 외부 세미나 경험
삼성SDS, ETRI 등의 사내 세미나 뿐만 아니라, K모바일, 한국미래기술교육연구원 등의 상업 세미나에서의 발표 경험

26.
26
감사합니다.
@jonghoonseo
https://github.com/jonghoonseo
http://linkedin.com/in/jonghoonseo

27.
27
Supplements

28.
28
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)
증강현실 모바일 가속화 연구
1. Tracking 구조 개선 방법 개발 : n-Detection Thread, 1-Tracking Thread
2. Matching 방법 개선 : LSH 기반 approximated matching 적용

29.
29
Tracking 구조 개선
n-Detection Thread, 1-Tracking Thread
• Tracking Thread의 통합으로 인한 속도 증가 효과
• 조건에 따른 선택적인 수행이 아니라 모든 Thread가 연속적으로 수행됨
T0 T1
Tracking
Thread
T2 T3 T4 T5 T6
Detection
Thread 1 D1
D0
Detection
Thread n D1
…
…
…
…
Image
Frame
D0
Detection
Result
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

30.
30
Tracking
Thread
Tracking 구조 개선
Tracking
Thread
Detection
Thread 1
Detection
Thread 2
Detection
Thread N…Detection
Thread 3
1. Update Image-coord. Points to track
Detection Result
Previous Tracked Result
Ø …
𝑇𝑡
𝑘
=
𝐷𝑡
𝑘
(𝐷𝑡
𝑘
𝑖𝑠 𝑒𝑥𝑖𝑠𝑡)
𝑇𝑡−1
𝑘
𝑇𝑡−1
1
𝐷𝑡
2
𝐷𝑡
𝑁
𝑇𝑡−1
𝑁
𝑇𝑡
1
𝑇𝑡
2
𝑇𝑡
3 𝑇𝑡
𝑁
Ø
n-Detection Thread, 1-Tracking Thread
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

31.
31
Tracking
Thread
Tracking 구조 개선
Tracking
Thread
2. Merge each point vector into one integrated point vector
…Ø
𝑇𝑡 =
𝑘
𝑇𝑡
𝑘
𝑇𝑡
1
𝑇𝑡
𝑁
𝑇𝑡
2
𝑇𝑡𝑇𝑡
3
n-Detection Thread, 1-Tracking Thread
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

32.
32
Tracking
Thread
Tracking 구조 개선
Tracking
Thread
3. Track points given consequent images 𝑇𝑡+1 = 𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔(𝑇𝑡)
𝑇𝑡 𝑇𝑡+1
n-Detection Thread, 1-Tracking Thread
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

33.
33
Tracking
Thread
Tracking 구조 개선
Tracking
Thread
4. Split into points vector for each database w.r.t error vector
…Ø
𝑇𝑡+1
1
𝑇𝑡+1
𝑁
𝑇𝑡+1
2
𝑇𝑡+1𝑇𝑡+1
3
𝑇𝑡+1
1
, 𝑇𝑡+1
2
, … , 𝑇𝑡+1
𝑁
= 𝑠𝑝𝑙𝑖𝑡(𝑇𝑡+1)
n-Detection Thread, 1-Tracking Thread
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

34.
34
Tracking 구조 개선
T0 T1
Tracking
Thread T2 T3 T4 T5 T6
Detection
Thread 1 D1
D0
Detection
Thread n D1
…
…
…
…
Image
Frame
D0
Detection
Result 𝑇𝑡
𝑘
=
𝐷𝑡
𝑘
(𝐷𝑡
𝑘
𝑖𝑠 𝑒𝑥𝑖𝑠𝑡)
𝑇𝑡−1
𝑘
T
n-Detection Thread, 1-Tracking Thread
• Problem
• Detection ~ Tracking Thread 간 이격 문제
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

35.
35
Tracking 구조 개선
Detection Thread
영상 입력
Keypoint 검출
Tracking Thread
Descriptor 생성
Training DB와 비교
Keypoint 저장
검출?
Keypoint 병합
Homography 계산
3차원 추정
적절?
(개수, 오차)
증강
추적 대상 KeyPoints
새로운 영상에서 Tracking
Keypoint 추적
Before
(n-Detect Thread,
n-Track Thread)
After
(n-Detect Thread,
1-Track Thread, k-NN)
12~15 FPS 20~23 FPS
n-Detection Thread, 1-Tracking Thread
• Solution
• Detection 이 성공했을 시에 추가 Tracking 수행함으로써 이격 현상 줄임
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

36.
36
LSH 기반 approximated matching 적용: Idea [Indyk98]
• L 개의 random hash 함수 g1, g2, … gL 를 이용하여 L 개의 hash table 생성
• Query feature P가 들어 왔을 때, g1(P), g2(P)… gL(P) 버킷 에서 Linear 검색
Query Point
g1
g2
g3
g4
g1(Query Point)
g2(Query Point)
g3(Query Point)
g4(Query Point)
Linear/Binary Search
Hash Projection
O(dL)
Linear/Binary Search
O(C) or O(logC)
Brute-force k-NN
O(dN)
Matching 방법 개선
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

37.
37
Locality Sensitive Hashing vs. k-Nearest Neighbor
k-Nearest Neighbor LSH
성능 결정 요인 • Feature 개수
• Feature Dimension
• Hashing Table(Function) 개수
• Feature Dimension
• 같은 Bucket에서 찾은 Feature 결과
성능 예측 O(dN) O(dL)
성능 향상 (FPS)
1-DB, Detection 22~24 30~31
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

38.
38
Result
• 8 Image DB
• 8 동시 추적
• 29-31 FPS (환경: Intel Q-8600 2.4Ghz, 4GB RAM, VGA)
Before
(n-Detect Thread,
1-Track Thread,
Bruteforce)
After
(n-Detect Thread,
1-Track Thread, LSH)
20~23 FPS 29~31 FPS
증강현실 모바일 가속화 연구 (2011~2012, 삼성DMC과제)

39.
39
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
모바일 환경에서 Multi DB 영상 인식 및 추적 기술 개발
• 16개 지도 DB 인식 및 추적
• 특징점 필터링 기반 가속 기술 개발
• Reference 영상의 학습 시에 특징점들을 평가하여 좋은 특징점만을 학습함으로써 속도를 증
가시키면서도 인식율 향상
• 3가지 조건 제안
• 반복 검출 조건(Repeatability)
• 동일점 유사 서술 조건 (Similarity)
• 상이점 배타 서술 조건 (Separability)
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

40.
40
Keypoint Filtering Algorithm
…
…
학습 DB
…
…
…
DB 영상 1
DB 영상 2
H1
H2
검색
모든DB영상에대해
DB 영상 획득
키포인트 검출(Detection)
서술자(Descriptor) 계산
근사(Approximation) 매칭 구조 생성
카메라로 영상 획득
키포인트 검출(Detection)
서술자(Descriptor) 계산
특징점 매칭
포즈 계산
오프라인 학습
실시간 매칭
이 두 단계는 독립적으로 수행됨.
 따라서, 검출(detect)된 키포인트가 잘
구분(distinguish)될 것이라는 보장을
할 수 없음
따라서 검출된 키포인트의 구분도를 측정
하는 함수를 제안함
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

41.
41
1. 반복 검출 조건(Repeatability): 다양한 영상 변환(블러, 회전, 크기 변화)에서도 계속적으로 특징점으로 검출이 가능하여야 함.
2. 동일점 유사 서술 조건(Similarity): 다양한 영상 변환에도 같은 점끼리는 매칭 거리가 짧아야 함.
3. 상이점 배타 서술 조건(Separability): 서로 다른 특징점 끼리는 영상 변환에도 매칭 거리가 길어야 함.
이에 따라 좋은 특징점은 아래 스코어 함수에 의하여 정의됨
키포인트 필터링 조건
Keypoint Filtering Algorithm
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

42.
42
• 실험 영상
• 서울 관광 지도 16장
• 크기, 회전, 블러 변환 적용한 영상 32,256장
• 학습 영상: 16,128 장
• 실험 영상: 16,128 장
• 실험 설계
1. 학습 영상을 이용하여 특징점 검출
𝐾𝑖 = 𝑑𝑒𝑡𝑒𝑐𝑡(𝑖𝑖)
2. 매칭 구조 계산 과정에서 좋은 특징점 스코어 함수 계산하고 내림
차순 정렬
𝑠𝑖,𝑝 = 𝑔𝑓 𝑘𝑖,𝑝
𝑠𝑖,𝑝
′
= 𝑠𝑜𝑟𝑡(𝑠𝑖,𝑝)
3. 좋은 특징점 점수에 따라 상위 (50, 100, 300, 500)개의 특징점
만 이용하여 학습 DB 구성
𝐾𝑖,𝑛 = 𝑓𝑖𝑙𝑡𝑒𝑟(𝐾𝑖, 𝑛)
𝐷𝐵𝑛 = ∪𝑖 𝐾𝑖,𝑛
4. 실험 영상과 학습 DB 간의 매칭 수행 후 매칭 성능 측정
실험 설계
Keypoint Filtering Algorithm
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

43.
43
필터링된 특징점 개수
ProcessingTime(ms)
수행 시간 비교
K_50 K_100 K_300 K_500 K_all
Time(ms) 23.36 27.23 45.16 63.04 196.59
Speed (fps) 42.80 36.73 22.14 15.86 5.09
Ratio 841% 722% 435% 312% 100%
Keypoint Filtering Algorithm
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

44.
44
영상 매칭 성능
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Truepositiverate
False positive rate
Match ROC curve
all
500
300
100
50
DB Size
60.3%
62.4%
58.1%
55.0%
50.2%
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
K_50 K_100 K_300 K_500 ALL
PRECISION
특징점 매칭 정확도(Precision)
DB Size 50 100 300 500 All
Precision 60.3 62.4 58.1 55.0 50.2
Keypoint Filtering Algorithm
시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)
Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

45.
45
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)
Multi-user 환경을 고려한 손동작 인식 인터페이스 개발
• Kinect 를 이용한 Multi-user 지원 손동작 인식 인터페이스 개발
• 강인한 손 검출을 위하여 깊이-색상 혼용한 손 검출 기법 개발
• 컬러 영상을 이용하여 복잡한 배경 영역에서도 손 후보 영역 검출
• 깊이 영상을 이용하여 조명에 강인한 손 영역 검출
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)

46.
46
Skin-Depth Hybrid Hand Segmentation Method
손 분리 기술
- 영상에서 손 후보 영역을 분리하여 손 인식 모듈로 넘기기 위한 사전 단계
- 기존 알고리즘은 조명 변화에 취약하거나 복수 사용자 인식에 한계가 존재하였음
Skin-Depth Hybrid Hand Segmentation Method
- Calculate seed point from skin image  robust to clutter background
- Retrieve hand region from the depth image  robust to lighting change
- Adaptively re-train skin-model with segmented hand region  adjust seed point to lighting change
Hand Segmentation Result Conventional algorithm was weak to lighting change
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)

47.
47
Skin-Depth Hybrid Hand Segmentation Method
• 피부색상-깊이 영상 혼용 손 분리 기법
• 한계 영역 재설정
• 범람(Flood-fill) 알고리즘 적용 대상 한계 영역을 정의
• 조명 변화에도 손 영역을 복원하기 위한 영역
Refined Bound Rect.
Original Bound Rect.
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)

48.
48
• 실험 환경
• 거리: 130cm~150cm(~800 frames)
• 조명 환경
• 100 Lux ~ 800 Lux 단순/복잡한 배경, 카메라 상향
• 역광 환경
• 손 인식율을 측정
• 다수 사용자 인식 환경에 대하여 Kinect SDK와 비교
Skin-Depth Hybrid Hand Segmentation Method
B.H. Oh, et al., “Mobile User Interface Using a Robust Fingertip Detection Algorithm for Complex Lighting and Background Conditions”, 2012 International Conference on Information and Computer Networks (ICICN 2012) IPCSIT vol. 27 (2012) © (2012)
IACSIT Press, Singapore.
* Modified Version of Farhad Dadgostar and Abdolhossein Sarrafzadeh. 2006. An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods. Pattern Recogn. Lett. 27, 12 (September 2006), 1342-1352.
** Conaire, C.O.; O'Connor, N.E.; Smeaton, A.F.; , "Detector adaptation by maximising agreement between independent data sources,"Computer Vision and Pattern Recognition, 2007. CVPR '07. IEEE Conference on , vol., no., pp.1-6, 17-22 June 2007
적응적 피부색상 모델 (Dadgostar
and Sarrafzadeh 2006)
베이지안 모델 (Conaire, O”Connor,
and Smeaton 2007)
범람 알고리즘만 적용 범람 알고리즘 + 적응적 피부색상 DB
• OpenCV 2.4.1 부터 구현된 피부
색상 모델 기법
• 영상 모션 영역에서 피부색상 영역
을 적응적으로 학습
• CVPR 2007
• IR 센서를 이용하여 자동으로 학습함
으로써 모델의 정확도를 높임
• 범람 알고리즘을 이용하여 깊이 영
상과 피부색상 영상 영역 혼용
• 적응적 피부색상 학습 방법 적용 X
• 제안하는 방법의 전체 버전
• 범람 알고리즘을 이용하여 깊이 영
상과 피부색상 영상 영역 혼용
• 인식된 피부색상 영역을 적응적으로
학습
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)

49.
49
Skin-Depth Hybrid Hand Segmentation Method
단순 배경 복잡한 배경 상향조명
500 lx 700 lx 800 lx 100 lx 500 lx 400 lx
Adaptive*
(Modified ver. For
OpenCV
Implementation)
97.4 %
(150 / 154)
98.7 %
(152 / 154)
98.0 %
(151 / 154)
97.3 %
(185 / 190)
91.2 %
(178 / 195)
84.0 %
(495 / 589)
Bayesian**
97.4 %
(150 / 154)
97.4 %
(150 / 154)
97.4 %
(150 / 154)
98.9 %
(188 / 190)
89.7 %
(175 / 195)
55.2%
(325 / 589)
Flood fill 단독
98.7 %
(152 / 154)
98.7 %
(152 / 154)
98.0 %
(151 / 154)
98.4 %
(187 / 190)
98.9 %
(193 / 195)
96.7 %
(570 / 589)
Floodfill +
Adaptive
98.7 %
(152 / 154)
98.7 %
(152 / 154)
98.7 %
(152/ 154)
98.9 %
(188 / 190)
98.9 %
(193 / 195)
98.6 %
(582 / 589)
Detection Rate
Adaptive Bayes Floodfill 단독 Floodfill + Adaptive
인식율(%) 28.2 0 71.7 89.1
역광 환경
Kinect SDK
2명까지만 인식이 가능하거나
잘린 사람은 인식이 불가
Multi-person Condition
Vs.
손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)