인벤게임컨퍼런스 2015 (Inven Game Conference) 에서 VR 및 AR 기술 현황과 미래에 대해 발표한 자료입니다. 기계학습 기술의 게임 적용에 대해서도 간단히 언급합니다. 관련 기사 : http://www.inven.co.kr/webzine/news/?news=144046

1. VR? AR?
차세대 게임의 기반 기술
Smilegate iO Studio
김용하

2. 강연자 소개
스마일게이트 : 큐라레 마법 도서관 PD
넥슨 : 마비노기 TD, NDC 기획/TF장
컴퓨터공학 전공
학부 : VR Lab.
대학원 : Neural Network Lab.

3. 가상 현실 (Virtual Reality)

4. 증강 현실 (Augmented Reality)

5. VR ? AR ? (~2010년)
꿈에 부풀어 이런 저런 성과를 냈지만
연구실 밖으로 나오지 못했음

6. 2015년이나 됐으니 달라졌을까요?

7. 가상 현실 (Virtual Reality)

8. 20년 전 상용 VR
1995, Nintendo
3D Graphics
Stereo Vision / Parallax

9. 20년 전 상용 VR
단색, 좁은 시야, 저해상도, 낮은 퀄리티의 그래픽
Red Alarm Mario Tennis

10. 20년 전 상용 VR
무겁고 불편
멀미, 두통
6개월만에 시장 철수

11. 20년이 지났습니다
강산이 두 번 변함

12. 현재의 VR

13. 가능해진 이유
디스플레이 기술의 극적인 발전
15배 이상의 화소
잔상 없는 디스플레이
100도 이상의 시야 (FOV)
90Hz

14. 가능해진 이유
모션 센서와 컴퓨팅 파워의 발전
칩 형태의 자이로/가속계
모션 인식/처리 기술
3D 렌더링 기술

15. 새로운 장난감?
기술적으로 그럴듯해 보이네요
하지만…
“불편해 보이는데요”
“요즘 콘솔겜 비주얼도 충분히 좋잖아요”
“돈을 지불할 가치가 있을까요?”

16. VR의 셀링 포인트
https://www.youtube.com/watch?v=INDKNA7kXoo

17. VR의 셀링 포인트
프레즌스 (Presence) 내가 실제로 거기에 있는 것 처럼 느껴짐
직접 체험해봐야
실감할 수 있습니다
VR MAGIC !

18. 프레즌스
높은 FOV + 프레임레이트 + 고해상도 + 헤드트래킹 = 프레즌스
뇌를 속이기에 충분한 시각적 존재감
기존 미디어에서 체험할 수 없는 ‘마법 같은’ 경험을 제공
엔터테인먼트로서 큰 가능성
VR 업계가 최근 3년간 급 생성됨

19. VR의 약점
멀미
- 앞의 롤러코스터 게임을 계속 플레이 하면 멀미 일어남
- 시각적 자극과 다른 자극(가속도, 평형 감각 등)의 불일치
장시간 플레이시 피로
- 헤드셋 무게
- 수렴-조절 불일치에 의한 3D 피로
accommodation-convergence conflict

20. 멀미를 잡아라
가이드 라인
- 프레임레이트를 유지할 것
- 카메라를 움직이지 말 것 (!)
- 카메라를 움직이더라도 가속 감속 부분을 없애거나 최소화
- 플레이어 근처에 고정된 물체를 표시 (계기판, 코 등)
- 부유물, 환경효과(비) 등을 사용해 공간감 유지
더 자세한 내용은 다음 링크 참고
https://developer.oculus.com/documentation/intro-vr/latest/concepts/bp_intro/
http://www.gamasutra.com/blogs/JesseSchell/20150626/247113/Making_Great_VR_Six_Lessons_Learned_From_I_Expect_You_To_Die.php

21. 어떤 게임을 만들면 되나
현장감, 박진감을 표현할 수 있는 게임
SEGA feat. HATSUNE MIKU Project: VR Tech DEMO

22. 어떤 게임을 만들면 되나

23. 어떤 게임을 만들면 되나
현장감, 박진감을 표현할 수 있는 게임
Summer Lesson (Bandai Namco)

24. 어떤 게임을 만들면 되나
3인칭 액션 게임
Chronos (Gunfire games)

25. 어떤 게임을 만들면 되나
고정 위치 슈팅
Bullet Train (Epic)

26. 어떤 게임을 만들면 되나
레일 슈터
Vanguard V (Justin Moravetz)

27. 프레즌스를 지속 시키는 것이 중요
프레즌스가 깨지는 요인
- 패드로 인물 이동 : 인지부조화를 일으킴
(플레이어는 앉아있는데) 패드 조작으로 걸어 다니는 게임
- 물리적으로 불가능한 반응
- 소리가 나야 하는 반응인데 나지 않음
- Kitchen 플레이중 의자에서 일어남

28. 프레즌스를 지속 시키는 것이 중요
위치를 이동하지 않아도 되는 고안
KITCHEN (Capcom)

29. 프레즌스를 지속 시키는 것이 중요
몰입을 깨지 않는 상호작용 방식 고안
Summer Lesson (Bandai Namco)

30. 그런거 없고 그냥 정면돌파
멀미 따위 적응하면 OK
RIGS (Guerrilla Cambridge)

31. 증강 현실 (Augmented Reality)

32. 10년전 AR 게임
Eye of judgement (SCE Japan Studio)
별도의 장비 필요
시야와 플레이 공간 불일치
마커 잃어버리면 안됨;
화상 처리 딜레이

34. 가능해진 이유
깊이(depth) 센서의 발전
배경과 전경의 분리
평면 / 벽 검출
인간의 자세 검출

35. 이제야 도달한 미래
포터블 컴퓨팅의 발전
포터블 컴퓨팅 파워
초소형 프로젝터
See-through Projection Display

36. 가능해진 이유
마커 없이 가상의 물체를 시야 앞에 올릴 수 있게 되었다 !

37. AR의 셀링 포인트
망상 구현화 내 주변에 그것이 있는 것 처럼 인지됨

38. VR과 비교하면
장점
- 멀미가 나지 않는다
- 가상 세계의 ‘나’를 구현할 필요가 없다
단점
- 실제 공간, 주변 환경에 제약 받음
(가상의 물체가 실체를 움직일 수는 없다)
- 실물과 구분할 수 없는 수준의 렌더링은 곤란

39. 아직 해결해야 할 기술적 난점
좁은 시야 (FOV)
VR에 비해 덜 치명적
차차 해결될 것

40. 기술적 난점
수렴-조절 불일치
VR 보다 불리한 단점
가상 물체의 거리 감각이 실체와 비교되어 어색
Magic Leap은 해결했다고 함
accommodation-convergence conflict

41. 어떤 게임을 만들면 되나
https://www.youtube.com/watch?v=9jpWiTVR0GA
펫, 가상 캐릭터와 상호작용하는 게임

42. 어떤 게임을 만들면 되나
망상 구현계 슈팅

43. 어떤 게임을 만들면 되나
일상 소품을 게임 아이템화

44. 어떤 게임을 만들면 되나
Gamification

45. 어떤 게임을 만들면 되나
멀티플레이 / Telepresence

46. AR과 인공지능
주변 세계를 컴퓨터가 인지할 필요가 있다
테이블, 의자, 냉장고
여기는 음식점
5년 전만 해도 불가능했음
현재는 모바일에서도 가능해짐

47. AR과 인공지능

48. 이상의 내용 정리

49. VR ? AR ?
실용적으로 보급 가능한 수준에 도달
내년부터 순차적으로 출시예정
게임 플레이의 영역을 확대할 것
- 기존 장르의 이식 보다는 새로 생길 장르에 기대

50. 과연 이게 대중화 될까요?
충분히 매력적인 상품 : 새롭고 강력한 체험
주요 업체에서 경쟁적으로 개발중
차세대 플랫폼으로 대두될 가능성이 상당히 높음

51. 새로운 플랫폼 = 새로운 기회
엔터테인먼트 플랫폼 홀더는 VR 쪽에
소프트웨어 플랫폼 홀더는 AR 쪽에 더 투자하는 경향
VR 진입 장벽(구매 비용)이 좀 더 높을 수 있음
엔터테인먼트에 보수적인 한국 상황을 고려하면
한국 시장에서는 AR쪽이 좀 더 가능성이 있을지도

52. 마치며
스마트폰 시대를 맞아 게임계 대격변이 있었듯,
머지 않아 다시 대격변이 올 가능성이 높습니다.
새로운 플랫폼과 게임 환경에 대비합시다.

53. Q & A

54. APPENDIX

55. 인공 지능의 발전

56. 과거의 인공 지능
다양한 경우의 수를 파악하여 최적화
방대한 DB에서 간단한 추론 규칙을 통한 질의
구문 분석을 통한 문장 구조화

57. 구조화가 어려운 문제에 대한 AI
해결을 위한 규칙이나 구조를 찾기 어려운
문제들을 어떻게든 해보려고 40년간 삽질

58. 인공 신경망
• m
뉴런의 기작을 간략한 수식으로 모델링
가능성이 어느 정도 보였지만,
2단계 이상의 학습이 어렵고 느려서
20년간 답보 상태였다가…
시냅스 어떻게든 2단계 내에 넣어 보려고
별의 별 전처리를 하는 것 부터가 삽질이었음;

59. 딥 러닝 (deep learning)
신경망 학습 방법 혁신
방대한 데이터세트
빠른 연산장치(GPU)
기존 방법의 한계를 뚫고!
지난 3년간 급속도로 발전
http://deview.kr/2013/detail.nhn?topicSeq=39

60. 구글의 이미지 인식 연구 (2012)
Youtub
e
Video
예전엔 입력(사진)과 분류 결과 세트를 일일이 가르쳐야 했지만,
딥러닝에서는 결과를 가르쳐주지 않아도 자동으로 분류. 추상적인 ‘개념’을 형성함

61. 이후, 인식 성능이 급속도로 향상

62. 적용 분야의 확장 (음성 번역)
오인식률이 확 떨어짐 = 인식률이 확 올라감
최근 음성 인식 성능도 급격하게 향상
핸드폰에서 구글 음성인식 써보세요
3년 전만 해도 상상할 수 없던 수준
근데 지금보다도 더 나아질 것
http://deview.kr/2014/session?seq=26

63. 적용 분야의 확장 (자동 번역)
현재 구글 번역기
7월에 로이터가 언급했듯, 좌석 구성이 바로
최신 장치들 사이에서의 다툼의 연료가 되고 있다
딥러닝(LSTM) 번역
7월에 로이터가 언급했듯, 좌석의 구성이 바로
최신 비행기들 사이에서의 다툼을 벌이고 있는 분
인간 번역
7월에 로이터가 언급했듯, 좌석 배치가 바로
최신 제트기들이 다툼을 벌이고 있는 분야이다
맥락에 맞는, 자연스러운 문장을 구성

64. 인간이 0.1초 (뉴런이 10번 동작하는 시간)
이내에 할 수 있는 것이면
(그게 무엇이든)
컴퓨터도 10단계 정도의
인공신경망으로 해낼 수 있다!

65. 최근의 인식 성능
‘개념’을 일반화하여 분류하거나
비일상적인 사물도 인식함

66. 최근의 인식 성능
객체 인식 뿐 아니라
복합적인 상황을
문장으로 설명

67. 인간 성능을 초월하기 시작
작년부터 뇌의 특화 부분(얼굴 인식) 성능을 능가
https://research.facebook.com/publications/480567225376225/deepface-closing-the-gap-to-human-level-performance-in-face-verification/

68. 게임을
스스로 배우는
인공지능
http://www.nature.com/nature/journal/v518/n7540/full/nature14236.html

69. Elon Musk
테슬라 모터스 / SpaceX 사장
Ray Kurzweil
미래학자, 발명가(미국 명예의 전당)
인공지능 연구 뿐 아니라
특이점에서 인류를 보호할
연구를 하는 재단에도 출연
최근 인공지능 발전 상황을 보고 구글에서 데려감
인공지능 개발 지휘
(Director of Engineering)
특이점은 SF가 아니라 현업 일선에 있는 아저씨들이 진심으로
승부하고 있는, 실현 가능성이 높은 미래 (앞으로 20-30년 정도 앞)

70. 게임에서의 인공지능?
AR의 경우, 주변 환경의 인식
인간적인 반응을 하는 NPC
- 플레이어를 더 영웅처럼 만들어 줌
- 인공지능 미소녀!
컨텐츠 개발 파이프라인의 개선
- 자동 선따기, 컬러링
- 정교한 레벨 자동 생성