라이트브레인 UX Discovery 메타버스
•
4 likes•10,395 views
라이트브레인의 UX 트렌드 리포트 ‘UX Discovery - Metaverse’ 요약본 공개 Metaverse is Coming 다가올 새로운 미래상, 현실과 디지털화된 가상세계가 공존하는 세상인 메타버스를 라이트브레인 CX 컨설팅 그룹에서 분야별 주요 사례와 주목할만한 사례들을 세분류로 나누어 소개해 드립니다. 해당 자료는 세미나용으로 제작된 요약 버전이며 Rightbrain lab 독자분들 대상으로 별도의 다운로드 과정 없이 바로 보실 수 있도록 슬라이드쉐어를 통해 공개합니다. 1. 가상정보를 통해 사용자에게 새로운 경험 가치를 제안 - 시공간을 초월하는 상호작용하는 몰입감 높은 엔터테인먼트 - 현장에 있는 것처럼 실재감 높은 안전한 교육/훈련 - Tech + 실재감, 몰입감 경험 2. 가상 세계의 초월성에 기반해 새로운 삶의 방식을 제안 - 무한한 공간에서 제약 없이 모이고, 교류하고, 살아가는 사회 - Tech + 사용자 트래킹, 상호작용, 프라이버시 3. 기존 현실의 삶과 새로운 가상세계의 연결로 새로운 가치를 창출 - 현실과 가상세계를 부드럽게 연결해주는 Physital Retail & Digital Twin - Tech + Digital Twin, 현실과 가상의 상호작용 기술 --------------------------------- * 공개해드린 자료는 요약 버전으로 메타버스 관련 아래 본 자료는 유료 판매 예정입니다. - Metaverse commerce - Metaverse tech 시청 촉각 기술 - Metaverse tech 트래킹 기술 ----------------------------------- * UX 트렌드 리포트 구독 문의 : jkl@rightbrain.co.kr * UX 디자인 및 CX 컨설팅 프로젝트 문의 : support@rightbrain.co.kr * 라이트브레인 ‘UX Discovery’는 라이트브레인의 등록상표입니다.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 라이트브레인 UX Discovery 메타버스
Similar to 라이트브레인 UX Discovery 메타버스 (20)
More from RightBrain inc.
More from RightBrain inc. (15)
라이트브레인 UX Discovery 메타버스
- 1. Seminar
- 2. 다가올 새로운 미래상, 메타버스 “메타버스의 시대가 오고있다 (Metaverse is Coming)”, (Economist, ’20.10) “메타버스가 인터넷의 뒤를 잇는 가상현실 공간이 될 것”, (젠슨 황, ‘20.10) “메타버스는 인터넷(Web)의 다음 버전”, (팀스위니, ‘20.10) “가상현실 Horizon안에 일단 1,000만명을 모으겠다.”, (마크 저커버그, ‘19.10) “우리의 핵심 Social Hub가 될 메타버스가 오고있다”, (Wired, ‘21.1)
- 3. Augmented Reality Lifelogging Mirror World Virtual World Metaverse? 현실과 디지털화된 가상세계가 공존하는 세상 증강현실(Augmented Reality) 현실 공간 위에 2D나 3D 물체 혹은 정보 표현을 겹쳐 보이게 제공하는 형태 라이프로깅(Lifelogging) 현실의 일상적인 경험과 정보를 가상공간에 기록하고 저장하며, 공유하는 형태 거울세계(Mirror world) 가상 공간에 실제 세계를 있는 그대로 구현하되, 환경정보를 함께 제공하는 형태 가상세계(Virtual world) 가상 공간에 현실세계와 유사할 수 있으나 완전히 다른 대안적 세계를 구축한 형태 Augmentation Simulation External Intimate 미국 기술연구 단체 ASF(미래가속화 연구재단)에 의하면 메타버스를 구현되는 공간(증강현실과 시뮬레이션), 정보의 성격(내적인 것과 외적인 것)이라는 두 축을 기준으로 4가지 유형으로 구분
- 4. 4 Minecraft x BTS 누적 가입자 3억 5천만명, 월 활성 이용자 수 8천만명(21년) 미국 청소년 40%가 25%의 여가시간 트레비스 스콧 콘서트 동시접속자 1230만명 Augmented Reality Fortnite
- 5. 5 월간 활성 이용자수 1억 9900만명(21년) 미국 16세 미만 청소년의 55%가 로블록스 가입 하루 4800만명 접속, 유투브보다 3배 많은 시간 20, 125만명 크리에이터, 3억 3천만달러 수익 18년 이후 현재까지, 950만명 개발자가 7억 6천만 달러 수익을 얻고 있음 Virtual World Roblox
- 6. 6 싸이월드 Z 이프랜드 제페토 크리에이터 이용자 2억 5천만명(21년) 해외 이용자 비중 90%, 10대 이용자 비율이 80% 제페토 제작 콘텐츠 9억건 돌파, 월수익 300만원 제페토 크리에이터 수 70만명 제출된 아이템은 200만개, 전업 크리에이터도 등장 Virtual World Zepeto
- 7. 7 호라이즌 월드는 오큘러스 퀘스트2를 착용해 아바타로 VR 세상을 체험하는 형태로, 22년 내 모바일 버전 출시 예정 이용자가 직접 커뮤니티 공간을 만들 수 있음 국적, 인종, 나이 등을 초월해 친구를 만나고 소통이 가능해짐 Virtual World Horizon Worlds 200-220도 시야각을 구현, 다수의 센서와 카메라, 스피커 등이 내장 된 훨씬 더 몰입감 있는 경험을 제공하는 AR 글라스 연구 중 증강현실에서는 나의 현실에 가상의 친구와 시간을 보낼 때 물리적으로 함께 있는 것 같은 실재감을 느낄 수 있게 됨 Augmented Reality Project Nazare
- 8. 8 현재까지 가장 성공적인 증강현실 모바일 게임 2016년 출시 직후 첫 달 1억3천만 다운로드 기록, 현재(22년)까지도 월 평균 8천만명이 사용 Augmented Reality Pokemon Go
- 9. 누적다운로드 100만 건 (21년) 현실의 내 모습과 생활을 디지털 공간에 기록하고 공유 인스타그램, 유투브 Vlog도 비슷한 사례 '부캐’문화와도 결을 같이함
- 10. 세계 전역의 위성 이미지를 3D로 재현해 공간 정보를 제공 시간별로 공간의 변화나 지형 및 기후 자료의 수집을 지원하여 현실세계의 모습을 그대로 반영하면서도 추가 정보를 더한 확장된 가상세계
- 11. 메타버스의 궁극적 의미, 물리적 공간의 탈 물질화 많은 사람들이 메타버스를 우리를 둘러싸고 있는 3D 공간으로 생각함 그러나 메타버스는 3D나 2D가 아니며, 반드시 그래픽일 필요도 없음 이는 물리적 공간, 거리 및 객체의 끊임없는 탈물질화에 관한 것
- 12. ICT 패러다임의 변화와 메타버스 12 포스트 모바일로써 새로운 패러다임이 될 것, 특정 타겟이 아닌 모든 사람에게 공유될 새로운 문화의 차원이며 환경임 이동의 자유를 넘어, 시공간의 초월성에서 가질 수 있는 의미 있는 시간과 경험을 함께 즐길 친구가 있는 메타버스 XR Device의 미성숙, 스마트폰 중심의 메타버스 서비스 장기화 예상 인터넷 모바일 인터넷 메타버스 + 이동성 + 초월성 초고속 인터넷 4G LTE 5G (wifi, airlink) Platform 서버-클라이언트 클라우드 엣지컴퓨팅 (블록체인, NFT) Paradigm Search SNS Social party Killer App Mouse Touch Gesture, NUI Input device PC 스마트폰 XR device Device
- 13. 현실의 맥락과 연동된 가상세계와의 지속 가능한 융합 Third life 현실세계 First Life 가상세계 Second Life Data Value Communication Play Create 산업혁명과 메타버스 13 아날로그와 디지털의 융합 현실의 맥락과 연동된 가상 세계와의 지속 가능한 융합, 데이터와 가치의 순환 아날로그 세상 디지털 세상 아날로그 세상과 디지털 세상의 융합 1,2차 산업혁명 3,4차 산업혁명
- 14. Metaverse 유형의 융합 과거 각각의 유형은 독립적으로 발전되었지만 , 현재 상호작용을 통한 융·복합적 형태로 진화 중이며 기술 및 서비스의 발전에 따라 유형의 구분이 무의미해질 것 Virtual World Augmented Reality Lifelogging Mirror World Augmented Reality Mirror World Lifelogging Virtual World Augmented Reality Lifelogging Mirror World Virtual World
- 15. 메타버스 서비스 분포 15 B2C 분야 커뮤니케이션, 게임, 쇼핑, 공연, 관광 등 소셜, 엔터테인먼트 분야 중심 로블록스 VR 패션쇼 AR 쇼핑, 쇼룸 제페토 줌 spatial MS 홀로렌즈 BMW 가상공장 시뮬레이션 B2B 분야 원격 회의, 체험형 교육, 증강현실, 시뮬레이션 등 생산성 분야 중심
- 16. AR/VR AI Metaverse Technology 메타버스 주요 기술요소인 AR/VR기기, 인터랙션 방식, AI에 집중된 기술 사례를 소개함 Meta 손목밴드 근전도 측정으로 움직이려는 생각을 감지 HaptX Gloves DK2 미세 유체 액추에이터 기술 기반 전문가용 VR 장갑 Interaction Meta Half Dome 헤드셋 가변 초점 조절 디스플레이로 선택적 고화질 렌더링 Meta Codec Avatar 3차원 프로필 캡쳐와 AI로 세밀한 아바타 구현 아마존 티처블 AI 사용자 명령에서 답을 추론해 역으로 질문이 가능해짐 Meta 오디오 빔포밍 AR 글라스 특정 사용자나 사물의 소리에 집중할 수 있는 액티브 노이즈 캔슬링 기술
- 17. 자유롭게 표현할 수 있는 가상공간 Imagination 메타버스의 심화 활용을 통해 현실공간의 한계를 허물고 새로운 공간을 제공해 신체적인 제약 및 상황적 제약을 뛰어넘는다. 메타버스의 경험가치 4I 메타버스 세계는 AR/VR, Interaction, AI 기술의 융합과 메타버스 디바이스/기술의 발전을 통해 시공간을 초월한 새로운 경험 가치 4I (Immersion, Interaction, Imagination, Intelligence)의 전달이 가능 AR/VR Interaction AI Metaverse Technology Metaverse 실제처럼 느끼는 몰입감 Immersion AR/VR, Sensor/Tracking, AI 기술의 융합을 통해 인간의 감각을 극대화하여 가상 공간에 현실감을 부여하고 몰입감을 높인다. 경험가치 4I 실제처럼 교감하는 상호작용 Interaction AR/VR 디바이스와 Sensor/Tracking, AI 에이전트를 통한 상호작용, 곧 사용자의 개입에 의해 콘텐츠의 접점이 감상/전달형에서 새로운 경험 창출로 확장된다. 사용자-현실-가상세계를 학습하고 고도화시키는 인공지능 Intelligence AI 기술은 현실세계를 이해 및 학습해 메타버스 세계를 고도화하고, 디바이스에 탑재되어 확장된 가상정보를 현실 경험에 구현한다
- 18. Intelligence 사용자-현실-가상세계를 학습하고 고도화시키는 인공지능 메타버스의 경험가치 구현 각 경험가치를 구현하는 분야별 주요 사례와 주목할만한 사례를 아래 세 분류로 나누어서 소개함 시공간을 초월하는 상호작용하는 몰입감 높은 엔터테인먼트 > 전시, 공연, 축제, 스포츠, 몰입감 게임 현장에 있는 것처럼 실재감 높은 안전한 교육/훈련 > 미군 교육, 재난 체험, 의료 시뮬레이션 실재감, 몰입감을 주는 기술 현실과 가상세계를 부드럽게 연결해주는 Physital Retail & Digital Twin > 매장, 뷰티, 쇼핑, 부동산, 자동차, 디지털트윈 Digital Twin, 현실과 가상의 상호작용 기술 무한한 공간에서 제약없이 모이고, 교류하고 살아가는 사회 > 소셜 네트워크, 가상인간, UGC, NFT, 샌드박스 게임, 디지털 패션, 디지털 인테리어 사용자 트래킹, 상호작용, 프라이버시 기술 Immersion 실제처럼 느끼는 몰입감 Interaction 실제처럼 교감하는 상호작용 Imagination 자유롭게 표현할 수 있는 가상공간 1. 가상정보를 통해 사용자에게 새로운 경험 가치를 제안 2. 가상 세계의 초월성에 기반해 새로운 삶의 방식을 제안 3. 기존 현실의 삶과 새로운 가상세계의 연결로 새로운 가치를 창출
- 19. 가상정보를 통해 사용자에게 새로운 경험 가치를 제안 시공간을 초월하는 상호작용하는 몰입감 높은 엔터테인먼트 1-1.
- 20. UX DISCOVERY Seminar SOURCE : 20 Tribeca Film Festival, VR 영화제 TRIBECA FILM FESTIVAL #VR #1인칭 #영화제 # Tribeca Film Festival은 Oculus를 활용해 무료로 영화를 감상할 수 있는 VR 형식의 영화제를 개최하여 외부와 차단된 몰입 경험을 제공함 사용자의 선택에 따라 다른 결말을 맺는 인터랙티브 영화나 관람 공간에 따른 콘텐츠의 구분을 통해 맞춤형 콘텐츠를 제공할 수 있을 것 상세
- 21. UX DISCOVERY Seminar SOURCE : 21 Fashion VR, 나를 위한 패션쇼 THE NEIGHBOR MAGAZINE #VR #1인칭 #패션쇼 Fashion VR 콘텐츠는 패션쇼장에 가지 않아도 1인칭 시점으로 패션쇼를 관람할 수 있으며, 모델들이 나와 눈을 맞추는 등 나를 위해 패션쇼를 진행하는 것과 같은 경험이 가능함 VR 콘텐츠의 경우 각도와 방향 조절은 물론 확대와 축소를 통해 거리감을 조절할 수 있기 때문에 제품에 대해 보다 상세한 관람이 가능하며, 눈을 마주치는 경험 요소는 사용자를 더 몰입할 수 있도록 함 상세
- 22. UX DISCOVERY Seminar SOURCE : 22 시공간을 초월한 가상현실 패션쇼, 쇼핑엔티 ODV 파리 컬렉션 VA Corporation #VR #AR #시공간초월 ODV 파리 컬렉션은 LED월 기반 In camera VFX기술을 사용하여 가상의 프랑스 파리 오페라 라그니에 하우스 공간을 배경으로 제작되었고, 홈쇼핑 방송에서 상품을 소개함 국내 최초로 홈쇼핑에 Virtual Production을 적용한 사례이며 이를 통해 시간, 공간, 비용 등의 문제를 해결하여 어디서든 누구나 패션쇼를 즐길 수 있도록 함 상세
- 23. UX DISCOVERY Seminar SOURCE : 23 AR Runway Show, Three UK multi-sensory fashion show Dimension Studio #VR #AR #시공간초월 영국의 통신회사 Three UK가 5G기술을 시연하기 위해 AR 패션쇼인 Multi-Sensory fashion show를 진행, AR 기술을 통해 현실과 가상을 연결 실제 모델의 런웨이 워킹이 끝난 후 피날레에서 미리 촬영된 모델의 워킹을 참석자들의 휴대폰 안에서 보여지는 연출을 하고, 실제 모델은 런웨이 옆에서 그 장면을 함께 관람하는 미래적인 컨셉의 패션쇼 상세
- 24. UX DISCOVERY Seminar SOURCE : 24 Disney 크루즈 AR 콘텐츠, Disney Unchartered Adventure Disney #AR Disney는 22년 여름 디즈니 크루즈선인 Disney Wish에서 즐길 수 있는 AR 콘텐츠 Disney Unchartered Adventure를 공개할 예정 크루즈 여행객들은 앱을 통해 모아나, 피터팬, 니모 등 디즈니 IP가 주인공인 AR 콘텐츠를 즐길 수 있으며 모험, 퍼즐 풀기, 퀘스트 등 크루즈 특화 콘텐츠를 체험할 수 있음 상세
- 25. UX DISCOVERY Seminar SOURCE : 25 실재감을 극대화한 Half-Life:Alyx #VR #물리법칙 #실재감 #몰입감 하프라이프 : 알릭스는 기존 VR 게임에서 제대로 구현하지 못했던 주변 사물과의 상호작용을 극한으로 끌어올린 게임임 게임 내 모든 물체들은 특유의 재질이나 강도, 기능이 마치 실제와 같이 적용되며 관성과 중력, 반작용 등 사실적인 물리 법칙을 따르기 때문에 높은 몰입감을 줌 상세
- 26. UX DISCOVERY Seminar SOURCE : 26 VR 전신 몰입형 운동, Supernatural OCULUS #VR #게임형 #피트니스 Supernatural은 Oculus Quest용 피트니스 앱으로 VR 환경에서 제공하는 색다른 공간에서 펼쳐지는 게임형 콘텐츠이며, 새로운 자극 속에서 전신 몰입형 운동을 즐길 수 있는 서비스임 매일 새로운 운동 콘텐츠를 통해 개인화된 전신운동을 제안하며, 다른 공간에 와있는 실감나는 경험을 제공 상세
- 27. UX DISCOVERY Seminar SOURCE : 27 실제 사물을 VR 환경 속 디지털 모델로 자동 변환하는 특허, Microsoft Microsoft, 미국 특허청 (공개번호 : US11009716B2) #VR #현실공간렌더링 사용자가 VR을 이용하는 공간 내에 있는 현실의 벽이나 사물을 실시간으로 렌더링하여 가상의 장애물로 등장시키며, 반려동물처럼 움직이는 장애물은 이동 방향을 계산하여 실물 그대로 VR에 구현함 VR 공간 내에서 사용자의 공간에 따라 변화되는 개인화된 경험을 제공할 수 있고, 스토리텔링과 결합해 특별한 경험을 제공할 수 있음 상세
- 28. UX DISCOVERY Seminar SOURCE : 28 실제 목적지로 이동하면서 안전하게 VR을 체험, Microsoft DreamWalker Microsoft Research #VR #현실공간렌더링 #GPS DreamWalker는 VR HMD를 착용한 채 장거리를 이동하는 연구로, 현실의 장애물은 실시간으로 VR 콘텐츠와 어울리는 사람이나 사물로 렌더링되며 내비게이션으로 목적지까지 안전하게 이동이 가능함 실제로 걷거나 달리면서 VR을 체험할 수 있기 때문에 최상의 몰입감을 제공할 뿐만 아니라 공간의 제약을 해결할 수 있음 상세
- 29. 가상정보를 통해 사용자에게 새로운 경험 가치를 제안 현장에 있는 것처럼 실재감 높은 안전한 교육/훈련 1-2.
- 30. UX DISCOVERY Seminar SOURCE : 30 AR 재해 시뮬레이션으로 현실감 있는 재난 안전 교육, Disaster Scope® Prof.Tomoki Itamiya's Laboratory, 인터뷰 가나가와 치과 대학의 이타미야 토모키 교수가 직접 Unity를 사용해 재난 상황 시뮬레이션 제작, 화재나 쓰나미 상황을 사용자가 현재 있는 장소에서 바로 체험할 수 있음 학교나 지자체에 교육용으로 사용하고 있으며, 추후 촉각 체험도 발전시킬 예정 몰입감 VR로 제작한 쓰나미 드라이빙 시뮬레이터 초등학교 AR 화재 체험 상세
- 31. UX DISCOVERY Seminar SOURCE : 31 AR 솔루션을 통한 업무 지원 및 현장 교육, VIRNECT VIRNECT #AR #비대면 #업무지원 #교육 AR 가이드와 디지털 트윈을 활용해서 커뮤니케이션의 오류를 감소시키고 직관적인 정보 전달과 작업 정확도를 향상시킨 솔루션 작업 주기가 길어 암기하기 어려운 메뉴얼의 숙지나 해외의 미숙련자 업무 훈련 등 물리적 제약에서 벗어난 환경을 제공함 상세
- 32. UX DISCOVERY Seminar SOURCE : 32 미군을 위한 훈련 시뮬레이션, Microsoft AR 헤드셋 MICROSOFT #AR #훈련 #몰입감 마이크로소프트는 홀로렌즈 증강현실 기술을 사용하여 미군을 위한 증강현실 시스템을 구축하여 현장에서의 상황인식과 현장 배치 시 의사 결정을 도움 실시간 매핑과 같은 AR 기술을 통한 3D 훈련 시나리오를 구축해 변수에 따른 훈련 상황을 시뮬레이션하고, 실제와 같은 가상 현실 교육 환경을 구현하는데 유용 상세
- 33. UX DISCOVERY Seminar SOURCE : 33 시각 장애인의 가상 세계 이용을 위한 지팡이, Microsoft VR White Cane Microsoft #VR #시각장애인용 VR 지팡이 #공간화 음향전달 기술 #Force Feedback 실제 시각 장애인용 지팡이의 형태와 사용 방식을 그대로 재현한 VR용 지팡이 시각 장애인이나 저시력자들도 VR 환경을 자연스럽게 경험할 수 있고, 지팡이를 처음 쓰는 사람들이 사용법을 안전하게 익힐 수 있는 훈련용으로도 사용이 가능함 보이스 코일 액추에이터 상세
- 34. 가상정보를 통해 사용자에게 새로운 경험 가치를 제안 Tech + 실재감, 몰입감 경험 1-3.
- 35. UX DISCOVERY NO.12 SOURCE : 35 Tech + 실재감, 몰입감 경험 사용자의 동작, 시선, 맥락에 더해 공간의 사물, 위치, 움직이는 객체까지 실시간으로 인지해 더 자유롭고 더 몰입감 있게 느낄 수 있는 트래킹 기술 빛, 재질감, 물리법칙적용으로 실재감을 주는 고해상도 3D 그래픽 렌더링 AR/VR 기기 디스플레이 구조의 박형화/경량화와 함께 동공추적 디스플레이 기술로 높은 해상도, 넓은 시야각 구현 실시간 환경/객체/사용자 변화를 반영하는 초개인화된 공간 음향기술 진동자극, 온도변화 등 복합감각 촉각전달기술 및 장비 경량화 화학물질, 초음파등 촉각 전달기술 다양화 장갑형 외 피부, 의류 등 신체 전반에 걸친 촉각 전달 기술 연구
- 36. UX DISCOVERY Seminar SOURCE : 36 인공지능 기술 결합 3D 그래픽 제작 기술, NVIDIA Modulus NVIDIA #VR #AI #3D 그래픽 현실 세계 물리법칙을 학습하는 인공지능(AI)을 이용해 물의 흐름, 빛의 반사, 공기의 움직임과 같은 물리 현상을 실감 나게 적용해 가상 3D 영상을 제작하고 뛰어난 압축 기술로 빠른 렌더링이 가능한 기술 메타버스 세상에서 보다 현실적으로 구현할 수 있고, 디지털 트윈 세상에서 가상 시뮬레이션을 진행할 때 이러한 물리법칙 기술을 이용해 정확한 시뮬레이션이 가능할 것 상세
- 37. UX DISCOVERY Seminar SOURCE : 37 물리학& AI 학습 기반 시청각 인터랙션 제공, ThreeDWorld(TDW) MIT #VR #PI #Psi #공간음향 #적응형 바이노럴 렌더링 물리학 기반 실제와 같은 빛의 변화와 사물의 물질 특성에 따른 움직임/사운드 연출로 실재감 연출의 신뢰도를 높여 사용자가 더욱더 몰입할 수 있도록 함 ThreeDWorld는 범용화 데이터 제공을 목표로 하고 있으며 이는 고품질의 AI 학습 기반 인터랙션 시뮬레이션이 적용된 서비스들의 확장에 큰 도움이 될 것으로 기대 Visual Modality Physical Scene Interaction Auditory Modality 상세
- 38. UX DISCOVERY Seminar SOURCE : 38 3D그래픽을 실사처럼 보정해주는 AI Cornell University #AI #3D 그래픽 실제 풍경을 학습한 AI를 기반으로 3D 그래픽 영상을 실사처럼 보정해 주는 기술 3D 그래픽 특유의 느낌을 없애 VR 게임이나 VR 콘텐츠 소비 과정에서 더 실재감 있는 몰입 경험을 할 수 있음 Rendered images from GTA V Enhancement by our method (trained to mimic Cityscapes) 상세
- 39. UX DISCOVERY Seminar SOURCE : 39 동공위치 추적 직접 망막 프로젝터가 탑재된 VR HMD/스마트글라스 특허, Apple Apple, 미국 특허청 #VR #해상도(PPI,PPD) #시야각(FOV) #VRD #시선 추적 Apple은 시선 추적 시스템으로 사용자 동공 위치를 추적해 정확한 위치에 영상을 반사시키는 기술 특허 등록, AR/VR에 모두 적용 가능함 사람의 망막에 직접 상을 맺기 때문에 초점-수렴 불일치로 인한 눈의 피로감이나 어지러움 현상을 해결해 장시간 착용에 부담을 낮추고, 선명한 화질과 넓은 시야각으로 몰입감 있는 경험을 제공함 AR/VR에 맞는 구현 다이어그램 상세
- 40. UX DISCOVERY Seminar SOURCE : 40 눈동자의 움직임을 추적하는 망막 디스플레이 연구, Meta Optic express, Reality labs #VR #AR #해상도(PPI,PPD) #시야각(FOV) #시선 추적 Meta Reality Labs는 사용자의 동공 움직임을 정확하게 추적하고 따라 움직일 수 있는 최적의 디스플레이 움직임을 제공하는 기술을 연구 중 안구의 빠른 움직임을 제대로 추적하고 움직임에 맞춰 디스플레이가 빠르게 움직일 수 있다면 디스플레이의 사이즈를 획기적으로 줄일 수 있을 것으로 예상됨 Zemax optical setup_눈동자 조절 망막 디스플레이 모델링 Pupil steering of a small exit pupil 상세
- 41. UX DISCOVERY Seminar SOURCE : 41 가변 초점 광학 기기, Meta VR, AR 최신 기술 동향-건국대학교 연구원, 주간기술동향, 2020 #VR #광경로 폴딩 #초점 조절 Meta에서 개발 중인 Half dome3 디스플레이 모듈은 폴디드 광학 기술을 사용하여 부피를 줄이면서 가변 초점 조절이 가능한 HMD 프로토타입 사용자의 초점에 따라 선택적인 고화질 렌더링을 제공해 실제 사람의 눈이 작동하는 방식과 비슷한 시각적 경험을 제공할 수 있으며, 경량화된 기기를 통해 보다 높은 몰입감을 줄 수 있음 Half dome- 기계식 초점 조절 디스플레이 모듈 Half dome 3- 폴디드 광학 기술을 사용한 정적 초점 조절 디스플레이 모듈 상세
- 42. UX DISCOVERY Seminar SOURCE : 42 실시간 사운드 햅틱 피드백, 헤드셋 The Past, Present, and Future of VR Technology-Weekly Technology Trends, Serial No.1749, 2016 / The Study on the Development of Virtual System Associated with stereo Graphic-Korea Design Forum, Vol. 13, 2006 #VR #PI #공간음향 #햅틱피드백 햅틱 피드백과 공간 음향 기술로 섬세한 실재감을 전달해 가상현실 콘텐츠의 몰입감을 높임 고화질 VR 콘텐츠 및 HMD, 무손실 음원과 햅틱 피드백, 햅틱 글러브와 같은 실재감 재현 기술이 적용된 시각, 촉각 웨어러블 디바이스와 함께 사용한다면 극대화되는 몰입감이 기대됨 상세
- 43. UX DISCOVERY Seminar SOURCE : 43 HRTF 매개변수 측정 및 공간 오디오 사용자 개별화 기술 Apple, 미국 특허청 (공개번호 : US 11115773B1) #AR #VR #공간음향 #HRTF #개인화음향 스마트폰과 이어폰으로 손쉽게 사용자의 어깨 위 신체 특징에 따라 간섭, 회절 하는 HRTF 매개변수를 측정해 개인화된 공간 음향을 제공함 현실에서 듣던 소리 그대로 연출되어 인공 음향의 이질감을 최소화함으로써 사용자가 가상 세계 속에 실재하는 것처럼 느끼고, 증강현실 콘텐츠가 실제 환경에 존재하는 것처럼 느끼는 경험을 제공함 상세
- 44. UX DISCOVERY Seminar SOURCE : 44 Active noise cancelation(ANC), Meta 오디오 빔포밍 AR 글라스 Meta, KISA #AR #액티브노이즈캔슬링 사용자가 바라보는 특정 사용자의 목소리와 사물의 소리에 집중할 수 있는 액티브 노이즈 캔슬링 기술로 증강 오디오가 증강 콘텐츠 사운드뿐만 아니라 현실의 커뮤니케이션까지 증진시킴 사람마다 다른 귀의 형상에 따라 반사되는 음파의 굴절을 계산해 최적화된 사운드를 제공하고 실시간 환경을 분석/확인하는 기술을 통해 현실과 증강 현실의 사운드 간에 자연스러운 어우러짐을 극대화 상세
- 45. UX DISCOVERY Seminar SOURCE : 45 미세 유체 액추에이터 기술 기반 전문가용 VR 장갑, HaptX Gloves DK2 HaptX / ICT R&D 동향 착용형 글러브-정보통신기획평가원, 주간기술동향, 2021 #VR #미세 유체 기술 #햅틱 #Tactile Feedback #Force Feedback 미세 유체 기술을 활용한 전문가용 VR 장갑으로 산업용 시뮬레이션 및 교육에 활용되며, 현실에서 훈련 혹은 시제품 제작 시 드는 시간과 비용을 절감할 수 있어 효과적임 큰 부피와 복잡한 제품 구조는 사용성과 내구성 측면에서 우려가 있으나 아직 제품의 태동기임을 감안하여 앞으로의 발전 가능성을 기대함 Microfluidic skin Force feedback exoskeleton 상세
- 46. UX DISCOVERY Seminar SOURCE : 46 열감과 진동 자극을 동시에 느낄 수 있는 UNIST AR/VR 장갑 UNIST #AR #VR #열감 #진종 자극 #액체 금속 프린팅 #Tactile Feedback 진동 자극과 함께 가상현실 속 뜨거운 감각을 느낄 수 있는 AR/VR 장갑으로 다양한 촉각 자극을 복합적으로 제공하여 몰입감을 한층 더 높임 자체 개발한 액체 금속 프린팅 기법으로 부품을 만들어 가볍고 유연한 특징도 가지고 있음 상세
- 47. UX DISCOVERY Seminar SOURCE : 47 햅틱 피드백 STRATOS Explore Ultraleap #AR #햅틱 피드백 #초음파 #Tactile Feedback 비접촉 햅틱 기술로 코로나 시대에 새롭게 주목받은 햅틱 피드백 인터페이스 손바닥에 초음파를 쏘아 생긴 압력점들이 패턴을 만들고 사람들이 인지할 수 있을 만큼의 압력을 전달해 이를 느끼고 공중에서 조작할 수 있는 인터페이스 방식 Click Lightning 상세
- 48. UX DISCOVERY Seminar SOURCE : 48 화학물질을 통해 물리적 자극 전달, Chemical Haptics Human Computer Integration Lab #VR #피부감각 #온도 #화학물질 #실재감 #몰입감 #웨어러블 화학물질을 통해 온도, 촉감 등 피부감각을 전달하는 햅틱 디바이스 시카고 대학 HCI Lab에서 진행한 Chemical Haptics는 기계적 자극으로는 줄 수 없는 저림, 마비와 같은 감각을 화학물질을 통해 전달하여 진동·압력 외에 또 다른 접근을 보여줌 상세
- 49. UX DISCOVERY Seminar SOURCE : 49 호흡 조절 의류를 만들 수 있는 로봇 섬유, OmniFibers MIT #AR #VR #운동감각 #압력 #실재감 #몰입감 #착용감 개선 #유연성 #웨어러블 OmniFiber은 유체를 방출해 섬유 구조를 제어하여 근육의 움직임을 조절하고, 이를 통해 움직임이나 자세 등 운동 감각을 제공함 유연성을 갖춰 다양한 형태로 변형이나 적용이 가능하여 트레이닝이나 교정 분야 등 다양한 분야에서 활용이 가능함 상세
- 50. UX DISCOVERY Seminar SOURCE : 50 뇌의 운동 신호와 피부의 감각 신호를 전달하는 비침습형 양방향 신경 우회 기술 Battelle Memorial Institute #EEG #TMS #BMI #IMU 뇌 신호로 마비된 몸을 움직이는 것과 동시에 몸의 감각을 뇌로 전달하는 비 침습형 양방향 기술로, 인공감각으로 발달시키면 AR/VR환경에서 아바타의 감각을 동기화하는 몰입감을 줄 수 있음 현재는 시각, 청각, 촉각 범위에서 이뤄지는 감각 경험도 후각, 미각까지 확장되는 인공감각을 통해 가상세계에서 음식을 맛보고 구입하는 등 오감 전달 메타버스가 가능하게 될 것 상세
- 51. 가상 세계의 초월성에 기반해 새로운 삶의 방식을 제안 무한한 공간에서 제약 없이 모이고, 교류하고, 살아가는 사회 2-1.
- 52. UX DISCOVERY Seminar SOURCE : 52 의 Microsoft #AR #VR #협업툴 마이크로소프트의 AR 디바이스인 홀로렌즈2를 활용하여 가상현실과 현실 세계를 융합해 시각과 청각 등의 새로운 정보를 만들어 내는 혼합현실(MR) 기술 가상현실 속에서 홀로그램으로 구현된 설계도, 목업 등을 직접 조작하고 움직이는 등 직관적인 방식으로 다양한 업무를 공유할 수 있어 비대면 업무에 어려움을 겪고 있는 세대도 빠르게 적응할 수 있을 것 상세
- 53. UX DISCOVERY Seminar SOURCE : 53 사우스 바이 사우스웨스트(SXSW), 온라인 XR 축제 SXSW #VR #가상공간축제 콘텐츠 축제인 사우스 바이 사우스웨스트(SXSW)는 XR공간에서 라이브 패널, 밋업, 스페셜 이벤트, 가상 시네마 프로그램의 360도 비디오 등을 이용하는 축제를 개최 SXSW처럼 네트워킹을 목적으로 하는 가상공간은 디지털 명함 정보를 주고받는 과정, 스킨쉽, 문화적 차이에 대한 도움 등 적절한 피드백과 UI 설계가 중요해질 것 상세
- 54. UX DISCOVERY Seminar SOURCE : 54 로몽 XVERSE #VR # 블록체인 #NFT 로몽은 아바타를 통해 제 2의 삶을 펼칠 수 있는 메타버스 서비스로 블록체인 기술을 적용해 디지털 자산의 위·변조 여부를 확인할 수 있고, 디지털 자산에 대한 소유권도 증명할 수 있음 가상공간에서의 신뢰성 확보와 소유권 보장으로 경제활동의 범위가 넓어지고 활발해질 수 있을 것이며, 암호화폐는 그를 위한 필수적 요소로 빠르게 성장할 것 상세
- 55. UX DISCOVERY Seminar SOURCE : 55 의 가능성 에이펀 인터랙티브, 신한라이프 #VR #가상인간 블룸버그 통신에 따르면 2025년 가상인간 시장 규모가 14조원을 기록하며 실제 인간 인플루언서를 추월할 것으로 예상되며, 국내에서도 광고에 가상인간 모델을 등장하고 있음 시공간의 제약이나 사생활 문제 등 이슈에 대한 위험도가 없는 가상인간이 광고에 활용되는 수준을 넘어서 MZ와 공감대를 형성하는 사회구성인으로서 자리매김할 수 있을지 기대가 됨 에이펀 인터랙티브, 르샤(Lechat) @ 이니스프리 신한라이프 로지(Rozy) 에이펀 인터랙티브, 아뽀키 상세
- 56. UX DISCOVERY Seminar SOURCE : 56 게임과 콜라보레이션하는 명품 패션 브랜드, D2A시장의 성장 FORTNITE, BALLENCIAGA, LOUISVUITTON, 블랭코스 블록파티. aparelnews #VR #D2A #룩덕 게임 캐릭터 외형을 꾸미며 자기만족을 느끼는 룩덕을 중심으로 게임 내 아바타를 통한 자기 표현 니즈는 지속적으로 유지되고 강해질 것이므로 메타버스 서비스와 명품브랜드를 포함한 패션 브랜드의 콜라보나 디지털 패션 크리에이터 경제활동 가능성이 커질 것 상단 Burberry, 블랭코스 블록파티, 하단 Luis vuitton BALENCIAGA, 포트나이트 상세
- 57. UX DISCOVERY Seminar SOURCE : 57 Physical Fashion vs. Digital Fashion, dressX.com dressX #AR #디지털패션 환경오염이나 빠르게 변하는 트렌드와 같은 피지컬 패션의 한계를 넘어서 디지털 환경에서만 생산 및 소비되는 디지털 패션 현실에서 불가능한 연출이 가능한 디지털 효과나 자동으로 Fit되는 사이즈, 사진이지만 움직이는 옷 등 특별한 경험을 소구하는 MZ 패션 인플루언서들의 관심이 높을 것 상세
- 58. UX DISCOVERY Seminar SOURCE : 58 Digital Interior, Resinger Studio Resinger Studio #VR # 3D렌더링 #디지털인테리어 Resinger Studio는 3D 렌더링 아트 기술을 통해 사막 어딘가에 존재할 것만 같은 석조 인테리어나 시계가 가득한 인테리어 등 초현실적인 공간을 실제보다 더 실제 같은 디지털인테리어로 표현. 물리적 환경에서 갖는 인테리어 구현의 한계를 뛰어넘어 상상하는 만큼 표현할 수 있는 자유가 있는 디지털 인테리어는 아바타 코스튬 디자인처럼 새로운 직업의 장으로의 가능성도 보임 상세
- 59. UX DISCOVERY Seminar SOURCE : 59 AR Filter, AR Creator Dior, PRADA, GUCCI #AR #SNS #Creator Economy 패션 브랜드들이 SNS서비스에서 사진 촬영에 활용해 재미있는 연출이 가능한 AR Filter를 출시해 사용자들에게 브랜드 감성을 전달하고 사용자들은 재미있는 경험과 함께 스스로 SNS에 공유함. 숏폼 영상으로 재밌는 연출을 즐기는 MZ세대의 니즈에 맞춰서 손쉽게 만들수 있는 Studio기능 제공과 수익을 창출할 수 있는 장을 마련하는 Creator Economy 생태계 형성이 더욱 중요해질 것 PRADA Instagram Filter GUCCI App AR Try on 랄프로렌 Bitmoji @ snapchat Lenslist, AR Creator’s Filter 상세
- 60. UX DISCOVERY Seminar SOURCE : 60 를 한 블록체인 게임, 더 샌드박스 THE SANDBOX #NFT #블록체인 #UGC게임 #Creator Economy 블록체인과 NFT기술을 접목한 더 샌드박스는 사용자가 게임 내 아이템, 캐릭터, 맵 등 자신만의 콘텐츠를 만들고 게임을 플레이하는 UGC(User Generated Content)형 게임 아이템 등록, 판매 수수료도 창작자가 아닌 구매자가 지불하도록 하여 크리에이터의 적극적인 참여를 유도해 Creator Economy 생태계 발전을 이룰 것 상세
- 61. UX DISCOVERY Seminar SOURCE : 61 게이머의 NFT 패션 창작품 거래, The Icon BusinessWire, Icon #NFT #Creator Economy 게이머가 게임 내에서 생성한 가상 에셋에 NFT를 생성할 수 있도록 하는 Epik Prime의 기술을 사용하여 게이머가 한정판 디지털 패션 컬렉션을 만들고 판매할 수 있음 게임과 가상 환경에서의 NFT적용은 나만의 컬렉션을 창작하고, NFT로 이에 대한 소유권을 인정받으면서 판매까지 할 수 있어 창작자들의 가상 경제활동을 확장시킬 것 상세
- 62. UX DISCOVERY Seminar SOURCE : 62 개인의 콘텐츠 크리에이션을 지원하는 플랫폼과 크리에이터 이코노미 #Creator Economy #NFT #Creator Economy #NFT NFT로 창작IP에 대한 보호가 가능해지고, 콘텐츠 크리에이션을 위한 투자가 늘어나면서 MZ세대가 주요 소비자면서 핵심 공급자로 떠오르고 있음 하지만 크리에이터 이코노미의 지속 성장을 위해서는 소수의 스타 크리에이터가 이끌어가는 시장에서 다수가 양질의 콘텐츠를 위해 경쟁하는 구조로 변화해야 할 필요가 있음 ZEPETO Creator, 렌지, 월 1,500만원의 수익을 올리고 있으며 유투브에서도 활동 Roblox Creator, MeganPlays, 유투브/틱톡 등에서도 활동 상세
- 63. 가상 세계의 초월성에 기반해 새로운 삶의 방식을 제안 Tech + 사용자 트래킹, 상호작용, 프라이버시 2-2.
- 64. UX DISCOVERY NO.12 SOURCE : 64 Tech + 사용자 트래킹, 상호작용, 프라이버시 표정 트래킹으로 3D 아바타에 개개인의 특성을 반영하고 더욱 리얼한 표현을 위한 3차원 휴먼 복원 기술 사용자의 시선을 기반으로 실제로 주시하는 부분만 고해상도로 처리하고 그 외 영역은 저해상도로 처리하는 효율적인 고품질 그래픽 경험 사용자의 시선을 아바타에 투영시킴으로써 감정을 실감나게 전달하여 더 정확한 커뮤니케이션 물리적 사물의 디지털화와 AR/VR 환경을 오가는 기술로 현실과 가상세계의 경계를 좁혀 자유롭게 오가는 공존을 추구 메타버스 세상에서 사용자 간 인터랙션에서 예상되는 개인 정보 유출 및 영역 침범 문제 방지를 위한 기술적 연구
- 65. UX DISCOVERY Seminar SOURCE : 65 눈·입술·얼굴·전신 추적 헤드셋, Pimax 12K OLED VR 헤드셋 Pimax #VR #아이트래킹 #전신트래킹 헤드셋에 트래킹을 위한 총 11개의 카메라가 탑재되어 시선과 표정, 손 움직임, 전신 움직임까지 추적할 수 있고, 빠르고 지연 없는 스트리밍을 위한 Wi-Fi 6E 기술(WiGig module)을 갖춤. 사람의 시야각과 매우 유사한 시야각을 제공하여 진짜 눈으로 보는 것과 같은 몰입감으로 가상세계에서의 활동을 현실 활동과 동일하게 할 수 있는 가능성을 보여줌 상세
- 66. UX DISCOVERY Seminar SOURCE : 66 혼합 현실 제작 앱, Volograms Volu Volograms #AR #현실의가상화 #혼합현실 #딥러닝 #모션캡처 딥 러닝 알고리즘과 3D 볼류메트릭 모델 재구성, 다중 뷰 텍스처 매핑, 마커 없는 모션 캡처, 일관된 시퀀스 등 여러 기술의 조합으로 AR컨텐츠를 만들 수 있음 사물이나 사람을 촬영하면 배경을 잘라내고 피사체와 동작이 3D로 변환되며, 필터를 적용하거나 다른 배경에 자연스럽게 합성하고 공유를 통해 재밌는 2차 창작도 가능함 상세
- 67. UX DISCOVERY Seminar SOURCE : 67 공간 인식 LiDAR 스캐너로 연출하는 가상효과, Apple AR spaces in Clips Apple #AR #LiDAR #공간인식 #오클루전 3D 거리를 파악하는 LiDAR와 가상의 물체를 실제 사물 뒤에 숨겨 AR효과의 이질감을 줄이는 오클루전을 활용하여 공간을 인식, 디바이스의 위치와 상관없이 사실감이 높은 AR 효과를 매핑가능 LiDAR가 스마트폰에 탑재되면서 퀄리티 높은 AR콘텐츠를 손쉽게 만들 수 있는 환경이 마련되어 AR이 광고, SNS, 커머스 등 일상의 콘텐츠로 들어오게 되는 계기가 될 것 상세
- 68. UX DISCOVERY Seminar SOURCE : 68 실제 인간의 모습을 똑같이 구현, Meta Codec Avatar & Cloth Simulation Apple #AR #VR #IMU #AI #모션캡처 캡처스튜디오의 다량의 카메라를 활용해 모공까지 세밀하게 스캔하여 사용자 개개인의 정체성과 감정, 개성 등 미묘한 표정과 동작의 특징까지 표현할 수 있는 아바타를 생성하고자 함 리얼한 만큼 필요한 데이터용량과 시간이 소요되는 만큼 AI활용이 필수적이며, HMC(헤드마운트 캡처 시스템)로 간소화된다면 트래킹과 아바타의 리얼함으로 보다 몰입된 경험이 가능해질 것 상세
- 69. UX DISCOVERY Seminar SOURCE : 69 근전도(EMG)를 활용한 움직임 감지, Meta 손목밴드 Apple #AR #VR #모션캡처 #EMG 근전도 센서로 실제 움직이기 전 근육의 움직임을 인식해 동작을 전달함으로써 빠르고 정확한 트래킹이 가능해 화면 스크롤이나 가상 키보드, 핸드라이팅과 같이 더 자연스러운 인터랙션이 가능해짐 손목에 착용함에도 손가락 움직임을 감지할 수 있어 신경 인터페이스의 가능성을 보여주며, 글라스와 사용했을 때 몰입감과 실재감이 높아져 더 자유롭게 AR/VR 환경을 누리는 미래도 기대할 수 있을 것 상세
- 70. UX DISCOVERY Seminar SOURCE : 70 실제 행동을 가상현실에서 선택적으로 연동, Apple Physical Muting Apple, 미국특허청 (공개번호 : US 20210325974A1) #VR #현실의가상화 VR을 사용하는 중에 Physical Muting모드를 켜면 현실에서의 사용자의 움직임을 복제하지 않아 개인적인 동작을 노출하지 않을 수 있으며, 가상현실과의 연동성을 사용자가 주도적으로 조절할 수 있음 가상 환경에서의 활동 시간이 늘어날수록 동기화가 되는 요소가 더 많아짐에 따라 프라이버시에 대한 니즈 또한 높아질 것으로 3D가상 환경에서의 프라이버시 보호를 위한 방법이 필요해질 것 Physical Muting이 활성화 된 상태에서는 실제 시계를 보는 행동이 동기화되지 않음 Physical Muting이 활성화 된 상태에서는 자리를 비우더라도 아바타에 변화가 없음 Virtual meeting Physical Setting Virtual meeting Physical Setting 상세
- 71. UX DISCOVERY Seminar SOURCE : 71 사용자를 인식해 디스플레이 프라이버시 보호, Apple Face ID & Privacy Eyewear Apple, 미국특허청 (공개번호 : US20210350769A1) #모바일기기 #카메라센서 #생체인식 #FaceID 스마트폰과 프라이버시 안경을 연동하여 사용자의 시력에 따라 연동된 그래픽을 출력해줄 뿐만 아니라, 별도의 안경으로 주변 사람들에게만 그래픽이 흐릿하게 처리되어 스마트폰 화면의 노출을 보호함 생체 인식으로 사용자를 식별하고 안경디스플레이와 스마트폰 디스플레이를 구분하는 스마트한 콘텐츠 이원화로 사용자들은 손쉽게 스스로 사생활을 보호할 수 있게 될 것 상세
- 72. 기존 현실의 삶과 새로운 가상세계의 연결로 새로운 가치를 창출 현실과 가상세계를 부드럽게 연결해주는 Physital Retail & Digital Twin 3-1.
- 73. UX DISCOVERY Seminar SOURCE : 73 디지털 네이티브를 위한 패션 놀이터, Fassker Joongang, Fassker Instagram #AR #VR #fashion Fassker는 새로운 패션 아이템을 360 3D 뷰를 통해 살펴보고 AR 기술을 이용해 가방을 연출해보거나 신발과 함께 재미있는 사진을 찍는 등 개성 있는 콘텐츠를 제작할 수 있음. 또한 옷을 입고 걸을 때 바지의 모양이나 주름 등을 재현해줘 실제로 매장에서 보지 않고도 제품을 체험하고 경험할 수 있음 상세
- 74. UX DISCOVERY Seminar SOURCE : 74 App이 필요 없는 Web AR 기반 AR 쇼핑, Emersya Emersya #AR #fashion Emersya의 AR 솔루션은 제품의 실사이즈를 기반으로 실제 공간에 배치해보거나 다양한 옵션을 적용해보고, 작동 방식도 체험해 볼 수 있음 어느 쇼핑몰 웹이나 앱에 내장될 수 있는 AR 솔루션으로 온라인 쇼핑 경험에서 AR 서비스 보급화를 빠르게 앞당겨 올 것으로 예상 상세
- 75. UX DISCOVERY Seminar SOURCE : 75 3D 아파트 단지로 매물 확인-정보 조회-상담-계약하는 비대면 부동산 거래, 직방 직방 #Digital twin #비대면중개 아파트 단지를 가상 공간 안에 옮겨두고 특정 매물을 선택하면 현관문을 시작으로 집안 곳곳을 살펴볼 수 있도록 제공하는 비대면 부동산 거래 서비스로 창밖의 뷰 뿐만 아니라 시간대별 일조량도 확인이 가능하며 온라인으로 부동산 정보 조회, 계약, 매매까지 가능함. 실제 매물을 기반으로 하기 때문에 허위매물에 대한 위험이 줄며, 매수자들은 좀 더 꼼꼼하게 보고 안전하게 거래가 가능해 질 것으로 예상 상세
- 76. UX DISCOVERY Seminar SOURCE : 76 AR 차량정보를 통한 중고차 온라인 거래 서비스, Carvana Carvana #AR #Phygital Retail 미국의 중고차 판매 기업 Carvana는 3D 컴퓨터 비전 기술 및 AR기술을 기반으로 디지털 투어 솔루션을 개발해 360도 AR로 차량 외부와 내부를 확인하고 주문하면 배달 또는 매장에서 자동차를 찾아 갈 수 있도록 하는 비대면 판매를 적용. 직접 눈으로 확인하더라도 놓칠 수 있는 부분조차 3D컴퓨터 비전기술과 AR을 기반으로 한 디지털 투어 솔루션으로 정확하게 확인할 수 있도록 해 비대면임에도 오히려 신뢰를 바탕으로 중고차 거래를 성공적으로 가상화 시킴 상세
- 77. UX DISCOVERY Seminar SOURCE : 77 실제 매장 경험을 가상화, VR스토어 NU SKIN, VR판교랜드, 삼성 디지털프라자 VR스토어 #Phygital Retail #AR 삼성 VR 스토어와 VR 판교랜드는 디지털 트윈 기술을 구현하여 실제 매장과 똑같은 쇼핑 환경을 조성해 사용자가 가상 공간을 돌아다니면서 제품을 자세히 살펴보거나 정보를 확인,구매 할 수 있도록 함. 경험의 연장을 위해 비대면 화상 상담 서비스가 연계되거나 전체 여정을 케어할 수 있는 서비스가 확장되고 있음 현대백화점의 VR 판교랜드 삼성 디지털프라자의 삼성 VR 스토어 상세
- 78. UX DISCOVERY Seminar SOURCE : 78 Phygital Bank, 은행의 디지털 복합점포화 KB국민은행, 신한은행, Capital one # Phygital Retail #Phygital bank KB국민, 신한 은행 등 주요 은행들이 오프라인 창구를 온라인으로 전환하여, 화상상담 창구, 디지털 데스크를 확대하고 있음. HSBC는 디지털 융복합 금융 점포인 Digital Hub를 설치하여 메타버스 시대에 최적화된 디지털 점포를 운영 중으로 Express Banking구역(Self service), 컨설팅 구역, 디지털 체험 구역 등 다양한 체험과 고객 상담에 특화된 복합 공간으로 구성함 KB국민은행 화상상담창구 신한은행의 디지택트 브랜치 1호점(서소문) Capital One의 AR기반 자동차 대출 앱 ‘Auto Navigator’ 상세
- 79. UX DISCOVERY Seminar SOURCE : 79 가상쇼룸에서 이뤄지는 매장 내 제품 탐색, Dyson Demo VR Dyson #VR # Phygital Retail 다이슨은 제품을 경험하고 구매할 수 있는 데모 스토어를 온라인 상에 구축. 오큘러스 퀘스트와 web을 통해서 사용자들이 데모 VR 앱을 통해 가상 환경에서 제품을 테스트하고 커스터마이징 할 수 있으며 상품에 대한 기술적 설명, 정보 등을 볼 수 있음 상세
- 80. UX DISCOVERY Seminar SOURCE : 80 차량 고장을 미리 알려주는 사전 감지, Porsche Digital Twin Porsche #Digital Twin 포르쉐는 실제 자동차와 디지털로 복제한 사본을 일치시키는 알고리즘을 통해 부품이 완전히 고장 나기 전에 차량 스트레스를 예측하는데 활용. 차량에 내장된 센서를 통해 차량과 운전자의 운전 스타일 을 데이터로 수집하여 부품 고장이나 손상이 발생하기 전 운전자에게 알려주는 서비스로 사고와 결함을 미리 감지하여 예방하고 유지보수 비용을 절약할 수 있음 상세
- 81. 기존 현실의 삶과 새로운 가상세계의 연결로 새로운 가치를 창출 Tech + Digital Twin, 현실과 가상의 상호작용 기술 3-2.
- 82. UX DISCOVERY NO.12 SOURCE : 82 Digital Twin, 현실과 가상의 상호작용 기술 #시선추적 #Photo-grammertry #AR과VR의 연동 #Digital Twin 기술 AR/VR 간의 자유로운 전환이 가능하여 현실과 가상 세계의 경계를 좁히는 기술 실제 오브젝트를 가상 환경으로 전환시키는 Photo-grammetry 기술 GIS, CAD, BIM, 드론 등 3D 모델링 기술을 통해 현실세계를 가상세계에 구축 IoT, 5G, DT/AI, XR 등 ICT 기술의 유기적 연동을 통해 스마트 증강 도시를 구축하고 통합적으로 모니터링, 관리, 예측/검증, 시뮬레이션하며 현실과 양방향 상호작용하며 협력 IoT센서와 빅데이터, AI 기술을 통해 데이터를 수집하고 분석 가상 시뮬레이션과 AR/VR/MR 기술을 통해 일어날 일을 미리 예측하고 최적화 방안 도출 현실 가상 실시간 정보 수집 확실하게 피드백
- 83. UX DISCOVERY Seminar SOURCE : 83 모바일 환경의 음성 에이전트 경험 향상을 위한 사용자 시선 추적, WorldGaze Future Interfaces Group #시선 추적 #트래킹 #래이캐스팅 WorldGaze는 스마트폰 전, 후면 카메라를 이용해 사용자의 머리를 추적하고 사용자가 보고 있는 오브젝트를 추적해 현실 맥락을 디지털 정보로 자연스럽게 연결해 줌 현실 정보를 바탕으로 디지털 정보를 자연스럽게 매칭해 줄 수 있는 기술이며, AR 글라스에 적용할 경우 카메라를 항상 들고 있어야 하는 제약을 줄여 심리스 한 사용 경험을 제공할 수 있을 것임 상세
- 84. UX DISCOVERY Seminar SOURCE : 84 실내 내비게이션 & AR 정보 제공 플랫폼 MAXST # Phygital Retail #AR #VPS MAXST의 공간기반 AR 플랫폼은 자체 영상인식기술 MAXST VPS기술로 GPS 보다 정밀하며 GPS가 없는 실내 공간에서도 위치 측위를 통해 네비게이션, 매장정보 및 이벤트 정보를 제공 또한 Vision 기술을 통해 실제 크기와 동일한 3D map을 생성하고, 사용자의 3D 공간상 위치와 자세(6DoF)를 빠른 속도로 정확하게 추정하여 몰입형 AR을 제공 현실의 데이터를 기반으로 디지털 정보를 제공하여 증강현실 공간을 만들어내고 데이터간 상호작용을 통해 가상과 현실을 연결해줘 더욱 몰입감 있고 즐거운 쇼핑 경험을 제공함 MAXST 이벤트 정보 제공 MAXST 위치 기반 콘텐츠 노출 MAXST 사용자별 각 위치에서 지속적인 AR 콘텐츠의 다양한 모습 확인 상세
- 85. UX DISCOVERY Seminar SOURCE : 85 실제 오브젝트를 쉽게 가상 데이터화, Apple Object Capture Apple, Unity, Maxon #AR #VR #Photogrammetry #현실의가상화 일상에 존재하는 실제 사물을 사진만으로도 쉽고 상세하게 3D 객체로 만들어주는 Object Capture 기술 아직은 전문가가 다루는 영역에 있으나 곧 누구나 쉽고 정밀하게 현실을 가상으로 옮길 수 있게 함 물리적인 사물을 빠르고 쉽게 디지털화하고 가상 공간에 무한히 복제될 수 있음을 의미하며 현실과 가상의 경계가 더욱 허물어 질 것으로 예상 아이폰이나 아이패드에서 직접 촬영한 실제 사물의 이미지나 영상을 Maxon의 Moves app을 사용하여 Ciinema 4D로 변환 Object Capture가 들어간 AR Companion app을 통해 실제 기타를 촬영하고 이를 Unity에서 3D모델로 구현, 데이터가 더 필요한 부분이 빨간색으로 표시됨 상세
- 86. UX DISCOVERY Seminar SOURCE : 86 네이버랩스, 네이버 #Digital Twin 네이버의 ARCVERSE는 AI, 로봇, 클라우드, 5G, AR 등 기술을 융합해 현실 공간을 가상 공간과 유기적으로 연결하는데 사용되는 기술 솔루션이며, 그 중 어라이크는 현실을 가상세계에 복제하여 구축할 수 있는 솔루션임. 디지털 트윈인 거울세계는 현실세계의 문제를 푸는 도구로 활용 될 수 있으며 거울세계의 초정밀 3D 지도 데이터을 참조하여 현실세계에서 자율주행 등이 이뤄질 수 있음 네이버랩스 x 국립현대박물관 ALIKE로 제작한 3D 모델과 로드레이아웃 상세 네이버 랩스 도시단위 디지털 트윈 구축 솔루션 ALIKE & 메타버스 생태계 ARCVERSE
- 87. UX DISCOVERY Seminar SOURCE : 87 현대자동차, 마이크로 소프트 온라인 간담회 상세
- 88. UX DISCOVERY Seminar SOURCE : 88 BMW의 디지털 트윈 가상 공장 NVDIA #Digital Twin #Smart factory BMW는 엔비디아의 소프트웨어 플랫폼 ‘옴니버스’로 로봇과 AI를 이용해 가상현실 속에 실제 공장과 똑같은 모습을 한 공장을 두고, AI를 활용해 인간 근로자의 움직임을 구체적으로 시뮬레이션하면서 최상의 생산 조립 가동 절차를 찾아 효율성을 향상시킴. 디지털 트윈 기술을 이용한 옴니버스는 공장 생산 라인의 효율성을 최대화하는 용도로 활용되어, 제품의 생산과 개발 비용, 운영 비용 절감의 장점이 있음 상세
- 89. UX DISCOVERY Seminar SOURCE : 89 디지털 트윈 도시, Virtual Singapore & Paris Vectuel model #Digital Twin #Augmented city 버추얼 싱가포르는 실시간, 동적 데이터에 기반해 도시 문제 해결을 위한 정책을 가상의 도시에서 시뮬레이션 할 수 있는 플랫폼이고 Vectuel model Paris는 인프라를 가상공간에 구축해보면서 건축 양식, 색상, 평면, 장비 배치 등과 관련한 결정을 빠르고 정확하게 내리는데 활용함. 디지털 트윈을 도시에 적용해 유동인구의 변화나 도시의 바람길 예측, 홍수가 번지는 양상 등을 시뮬레이션하여 예측할 수 있고 여기에 AR/VR 플랫폼을 연동한다면 스마트 증강도시 플랫폼을 통해 시민에게 필요한 정보를 현장에서 즉각적으로 제공하고, 시민이 주체적인 참여를 통해 도시 문제를 함께 관리/해결하게 할 수 있음 버추얼싱가포르를 이용해 각 지구의 일조량과 기온 확인 버추얼싱가포르_자율주행을 위한 경로 안내 그랑 파리 철도망(Grand Paris Express) 확장 프로젝트 상세
- 90. 개인정보보호 및 윤리적 이슈
- 91. UX DISCOVERY Seminar SOURCE : 91 메타버스와 프라이버시 이슈 NAVER 개인정보보호 / 푸른나무재단 / Horizon / #사회문화적 Agenda #프라이버시 메타버스 내 성범죄에 대한 우려가 증폭되고 있는 가운데 호라이즌 월드가 아바타간 성추행을 방지하기 위해 아바타 간 4피트(1.2m)의 안전거리를 적용했음 2030년 메타버스 시장 규모가 세계 GDP 1.81%로 성장할 것으로 전망하지만 이에 대한 사회적 법적 제도는 미흡한 상황 AR과 VR 기기를 이용해 해당 서비스를 이용할 때 위치, 신체정보(시선,뇌파, 생체 신호 등 민감한 개인정보 포함), 생리적 반응, 행동, 선호도 등을 모두 수집하고 추적할 수 있게 되는 반면 가상 환경에서 수집된 개인 데이터를 보호, 공유, 해킹 및 기타 범죄 목적으로 오용하는 등 중요한 윤리적 문제가 발생할 수 있음 특정 개인의 일거수일투족을 입체적/심층적으로 분석하고 해당 대상의 프로파일을 재구성하면서 야기될 수 있는 불법 행위, 성범죄, 딥페이크, 빅브라더 및 저작권 이슈 등의 문제에 대해서도 간과해서는 안됨 메타버스 주요 사용자층인 10대를 대상으로 한 아동 대상 성범죄 예방이나 온라인 공간에서의 올바른 사회 규범 제시 등 이들에 대한 프라이버시 보호 체계를 마련 필요 메타버스 상에서 이용자들의 프라이버시가 안정적으로 보호될 수 있는 환경을 마련하는 것이 무엇보다 필요함 호라이즌 월드, 성추행 등을 방지하기 위해 4피트(1.2m) 거리의 안전 거리를 적용 사이버폭력, 디지털 성범죄에 취약한 메타버스 - 푸른나무재단 메타, 가상세계 앱 아바타에 개인 경계선 기능 부여
- 92. UX DISCOVERY Seminar SOURCE : 92 입법 및 정책적 쟁점 이슈와 논점, 국회입법조사처 #사회문화적 Agenda #프라이버시 국내에서는 메타버스 자체가 입법 대상에는 포함되지 않았고, 다만 정부 정책을 통해 지원이 시작되고 있는 단계이며, 해외에서는 메타버스 자체를 대상으로 하기 보다는 XR에 관한 디바이스･콘텐츠 육성에 초점을 두고 정책을 추진하고 있는 등 메타버스 환경에 대한 구체적인 입법 및 정책적 논의가 이뤄지지 않고 있음 이용자 보호 정보와 경험의 적절성 확보 접근성과 법률 정합성 강화 • 개인간 상호관계를 기반으로 하기 때문이 모욕, 비하, 인신공격과 같은 개인간 문제가 발생할 수 있음 • 특히 주요 이용자인 10대에 대한 아동 성범죄(아바타 스토킹, 아바타 몰카, 아바타 성희롱)의 우려가 큼 • 기존 환경 대비 메타버스에서 어떻게 다른지 살펴보고 그 차이에 맞는 적절한 대응 방안을 마련하여 이용자를 보호할 필요가 있음 • 메타버스 환경에서 나올 수 있는 문제에 대한 제 도 적 / 윤 리 적 대 응 방 안 을 마 련 할 필 요 가 있음(개인공간 침입, 폭력, 가상공간 사물 훼손 등) • 메타버스 환경에서 노출되는 상품 중 사실을 표현한 것인지 광고인지 명확하게 구분할 수 있어야 함 • 이용자가 메타버스에서 사회를 학습하게 되는 상황에 대비하여 사회적 규범에 맞는 경험을 할 수 있도록 해 미래 세대가 메타버스를 포함한 온라인 공간에서 균형잡힌 사회관을 배울 수 있는 방안을 고민해야 함 • 현재 MZ주도의 시장 경향이 강화될 경우 장년 층 및 노년층의 메타버스 이용이 더욱 어려워 질 수 있음 • 향후 메타버스가 일상생활의 플랫폼으로 확산될 수 있는 가능성에 대비하여 다양한 계층의 모든 사람이 메타버스에 어려움 없이 접근하고 이용할 수 있도록 적절한 대응 방안을 마련할 필요 있음 • 현재의 법/제도와 메타버스의 정합성을 확보하는 방안을 지속적으로 검토해야 함(메타버스 내 활동에 대한 현실적 효력 인정 여부, 상거래 과세 방식, 창작과 표현물에 대한 권리 정의, 시스템 해킹과 침해에 대한 이용자 보호 방법) 포트나이트_트래비스 스캇 콘서트 로블록스 동물의 숲_조바이든 선거운동 화면 정보와 경험의 적절성 확보 접근성과 법률 정합성 강화 이용자 보호
- 93. Appendix
- 94. SOURCE : 94 Tribeca Film Festival, VR 영화제 TRIBECA FILM FESTIVAL Tribeca Film Festival은 Oculus Go 또는 Oculus Quest를 보유한 사람을 위한 VR 영화제를 개최함 Tribeca Film Festival은 2002년부터 매년 봄 뉴욕에서 열리는 영화제로, 9·11 테러 이후 제정됨. 2020년에는 코로나19의 영향으로 한국, 핀란드, 에티오피아 등 전 세계의 영화 제작사의 3D 영화 15편을 VR 기기를 활용해 무료로 감상할 수 있는 VR 형식의 영화제를 개최하였음. 그 중 단편 영화 1st Step은 NASA의 기록 영상과 사진을 사용하여 우주로 보내는 아폴로 달 미션을 다큐멘터리 스타일로 표현하여 VR 우주여행을 통해 방에서 지구의 웅장함을 느낄 수 있게 함 기존 VR 안경을 쓰고 입장했던 영화관은 자신만의 콘텐츠를 시청할 수 있는 개인화된 영화관의 개념으로 변화하고 있다. 영화관에서 보는 것과 다르게 VR 영화는 관객 모두가 같은 위치에서 영화를 즐길 수 있으며, VR 기어와 노이즈 캔슬링 헤드셋이 외부와 완벽히 차단된 몰입 경험을 제공한다. 오프라인 영화관에서 다른 관객의 개입으로 영화 관람을 망친 경험이 있는 사람이라면 VR 영화제를 더 선호할 것이다. 차단된 몰입감은 관객과의 상호작용이 있고 다른 관객의 반응을 통해 공연을 더 즐겁게 느끼는 코미디 연극, 마술 쇼보다 영화에서 가장 적합할 것이다. 앞으로 VR 헤드셋의 해상도와 몰입도가 보다 높아진 미래에 지금의 영화관의 개념은 어떻게 변화될까. 오프라인 공간의 완전한 대체는 불가능하지만 사용자의 선택에 따라 다른 결말을 맺는 인터랙티브 영화, 맞춤형 영화의 제공에 따라 어느 정도 대체 가능하거나, 관람 공간에 따른 콘텐츠의 구분이 생기지 않을까 예상한다. #VR #1인칭 #영화제 # Tribeca Film Festival은 Oculus를 활용해 무료로 영화를 감상할 수 있는 VR 형식의 영화제를 개최하여 외부와 차단된 몰입 경험을 제공함 사용자의 선택에 따라 다른 결말을 맺는 인터랙티브 영화나 관람 공간에 따른 콘텐츠의 구분을 통해 맞춤형 콘텐츠를 제공할 수 있을 것
- 95. SOURCE : 95 Fashion VR, 나를 위한 패션쇼 THE NEIGHBOR MAGAZINE 기존의 패션쇼나 일반적인 VR 패션쇼는 모델이 런웨이에서 워킹을 하고, 그 옆에서 모델이 워킹하는 모습을 바라보는 형태로 진행됨 Fashion VR 콘텐츠는 패션쇼장에 가지 않아도 1인칭 시점으로 패션쇼를 관람할 수 있으며, 모델들이 내 앞을 지나가며 가까운 거리에서 나와 눈을 맞추는 등 나를 위해 패션쇼를 진행하는 것과 같은 경험이 가능함 VR 콘텐츠의 경우 각도와 방향 조절은 물론 확대와 축소를 통해 거리감을 조절할 수 있기 때문에 제품에 대해 보다 상세한 관람이 가능하며 이와 더불어 눈을 마주치는 경험 요소는 사용자를 VR 콘텐츠에 더 몰입할 수 있도록 함 VR기술의 결합으로 실제 패션쇼에서 관람하는 것 보다 더 프라이빗한 관람을 체험할 수 있는 매력적인 사례이다. 나와 눈을 맞추며 워킹하는 모델과 자세히 보고 싶은 부분은 확대하여 확인할 수 있는 등의 개인화된 경험은 현실에서는 구현하지 못하는 요소를 결합하여 새로운 경험을 제공하고 있다. 그러나 여전히 직접 보고 만지는 것에 대한 즐거움은 부재하며 현장에서 느낄 수 있는 두근거림 등 실제 물리적 경험과의 경쟁이 존재한다. VR기술이 고도화 됨에 따라 청각, 촉각, 후각과 햅틱 피드백과 같은 여러 오감이 함께 연동된다면 이를 통해 보다 극적인 연출과 몰입된 경험을 제공할 수 있을 것이다. #VR #1인칭 #패션쇼 Fashion VR 콘텐츠는 패션쇼장에 가지 않아도 1인칭 시점으로 패션쇼를 관람할 수 있으며, 모델들이 나와 눈을 맞추는 등 나를 위해 패션쇼를 진행하는 것과 같은 경험이 가능함 VR 콘텐츠의 경우 각도와 방향 조절은 물론 확대와 축소를 통해 거리감을 조절할 수 있기 때문에 제품에 대해 보다 상세한 관람이 가능하며, 눈을 마주치는 경험 요소는 사용자를 더 몰입할 수 있도록 함
- 96. SOURCE : 96 시공간을 초월한 가상현실 패션쇼, 쇼핑엔티 ODV 파리 컬렉션 VA Corporation ODV 파리 컬렉션은 원스톱 메타버스 플랫폼 기업인 VA Corp.이 보유한 버추얼 프로덕션 기술력을 이용해 가상의 프랑스 파리 오페라 라그니에 하우스 공간을 배경으로 제작되었고, 홈쇼핑 방송에서 상품을 소개함 LED월 기반 In camera VFX기술을 사용. 국내 최초로 홈쇼핑에 Virtual Production을 적용한 사례이며, LED월로 구현된 가상현실 스튜디오 안에서 모델들의 몰입감을 높일 수 있음 영화, 드라마, 광고, 뮤직비디오, Virtual Presentation, 미디어 커머스등에 다양하게 활용가능하며, 해외 로케이션 촬영, 언택트 환경에서 활용도가 높음 쇼핑엔티(홈쇼핑)는 ODV 파리 컬렉션을 통해 직접 패션쇼에 참석하지 못하는 소비자들에게도 어디서든 가상현실의 패션쇼에 몰입할 수 있는 기회를 제공한다. 몰입은 경험의 핵심이며, 경험은 마케팅 전략의 핵심이다. VR기술을 통해 소비자에게 자연스럽고 현실감 있는 경험과 몰입감을 제공하였고, 온라인 패션쇼인 만큼 누구나 쉽게 패션을 즐길 수 있는 기회가 되었다는 점에서 의미를 가지는 사례이다. 또한, Virtual Production은 디자이너나 제작자의 의도에 따라 전달하고자 하는 것을 시각적으로 구현이 가능하며 시간, 공간, 비용 등의 문제를 해결할 수 있어서 그 활용도가 높다. 코로나 이후 시대에 새로운 패션쇼의 가능성을 제시한 만큼 앞으로 다양한 형태의 패션쇼가 생겨날 것이라 예상된다. #VR #AR #시공간초월 ODV 파리 컬렉션은 LED월 기반 In camera VFX기술을 사용하여 가상의 프랑스 파리 오페라 라그니에 하우스 공간을 배경으로 제작되었고, 홈쇼핑 방송에서 상품을 소개함 국내 최초로 홈쇼핑에 Virtual Production을 적용한 사례이며 이를 통해 시간, 공간, 비용 등의 문제를 해결하여 어디서든 누구나 패션쇼를 즐길 수 있도록 함
- 97. SOURCE : 97 multi-sensory fashion show Dimension Studio 영국의 통신회사 Three UK가 5G기술을 시연하기 위해 multi-sensory fashion show 진행 전반적인 패션쇼는 실제 모델이 등장하지만 마지막 피날레에서 미리 촬영된 탑 모델의 런웨이 워킹을 참석자들의 휴대폰 안에서 보여지는 연출을 하고, 실제 모델은 런웨이 옆에서 그 장면을 함께 관람함 5G로 구동되는 쇼는 8K 프로젝션, 3D 공간 오디오 및 좌석에 설치된 햅틱 피드백을 포함한 다양한 연결된 다중 감각 기술을 선보임 AR 모델은 8th Wall webAR 링크와 Three의 소셜 채널을 통해 누구나 접할 수 있게 되었으며, 모바일을 통해 일상적인 환경을 패션쇼로 바꾸어 런웨이 경험을 민주화함 패션쇼는 다음 시즌 트렌드를 각 브랜드만의 철학으로 풀어내어 새로운 디자인을 제시하며, 단순히 의상을 보여주는 자리를 넘어 쇼 자체만으로 새로운 메시지를 전달하는 종합예술의 성격을 가지고 있다. Multi-Sensory fashion show는 실제 모델의 런웨이 워킹이 끝난 후, 피날레를 AR로 구현한 모델의 워킹으로 마무리한다. AR 기술을 통해 현실과 가상을 연결하는 시도는 현 시대적 트렌드를 반영하며 피날레 의상의 미래적인 컨셉을 돋보이게 만든다. 이번 사례는 모바일을 이용했지만 VR 글래스를 이용한 패션쇼 관람을 기획한다면 실제 의상과 가상의 액세서리가 함께 어우러지거나 가상모델과 실제모델이 함께 워킹하는 등 가상과 현실의 경계가 없어지는 다양한 시도가 가능할 것이다. #VR #AR #시공간초월 영국의 통신회사 Three UK가 5G기술을 시연하기 위해 AR 패션쇼인 Multi-Sensory fashion show를 진행, AR 기술을 통해 현실과 가상을 연결 실제 모델의 런웨이 워킹이 끝난 후 피날레에서 미리 촬영된 모델의 워킹을 참석자들의 휴대폰 안에서 보여지는 연출을 하고, 실제 모델은 런웨이 옆에서 그 장면을 함께 관람하는 미래적인 컨셉의 패션쇼
- 98. SOURCE : 98 Disney 크루즈 AR 콘텐츠, Disney Unchartered Adventure Disney Disney는 22년 여름 디즈니 크루즈선인 Disney Wish에서 즐길 수 있는 AR 콘텐츠 Disney Unchartered Adventure를 공개 예정. 크루즈에 탑승한 여행자들이 앱을 통해 모아나, 피터팬, 니모 등 디즈니 IP가 주인공인 AR 콘텐츠를 즐길 수 있으며 모험, 퍼즐 풀기, 퀘스트 등을 체험할 수 있음 탄탄한 세계관과 스토리를 기반으로 탄생한 캐릭터에 강점이 있는 디즈니와 같은 브랜드는 기존 IP를 단순히 재활용하는 수준을 넘어, 메타버스 세계관에서 새롭게 창조해나가는 특별판 스토리, 크루즈선과 함께 여행하는 디즈니 캐릭터의 리얼 라이프와 같은 특화 콘텐츠로 확장 가능성을 기대할 수 있다. 특히 시공간을 초월해 어디서든 접속할 수 있는 메타버스이기 때문에 콘텐츠 및 서비스 출시 시점에 다국어 서비스나 사용자 별 커스터마이징을 고려해 완성도 높은 경험을 제공해야 한다. 또한 모바일에서의 장시간 미디어 노출이 염려되는 어린이를 대상으로 하는 만큼 오락적 목적의 콘텐츠 소비에 중독되지 않고 건강하게 즐기고 확장해나가는 유익한 경험을 제공할 수 있어야 할 것이다. Disney는 22년 여름 디즈니 크루즈선인 Disney Wish에서 즐길 수 있는 AR 콘텐츠 Disney Unchartered Adventure를 공개할 예정 크루즈 여행객들은 앱을 통해 모아나, 피터팬, 니모 등 디즈니 IP가 주인공인 AR 콘텐츠를 즐길 수 있으며 모험, 퍼즐 풀기, 퀘스트 등 크루즈 특화 콘텐츠를 체험할 수 있음 Disney Unchartered Adventure 모바일
- 99. SOURCE : 99 실재감을 극대화한 VR 게임, 하프라이프:알릭스 Half-Life:Alyx ‘하프라이프 : 알릭스’는 기존 VR 게임에서 제대로 구현하지 못했던 주변 사물과의 상호작용을 극한으로 끌어올린 게임임 관성과 중력, 반작용 등이 마치 실제와 같이 적용되며, 물건마다 특유의 재질이나 강도, 기능을 가지고 있는데, 해당 게임 내 모든 물체들은 극도로 사실적인 물리 법칙을 따름. 예를 들어 유리병을 꽉 쥐면 깨지며, 캔을 일정 수준 이상으로 쥐면 압력을 받아 찌그러짐 하프라이프 : 알릭스는 손가락 트래킹이 가능한 밸브 인덱스 컨트롤러를 통해 물건을 자유자재로 던지고 받을 수 있는 손가락 움직임까지 구현하며, 보드 마카나 펜을 통한 낙서, 실제 악기처럼 누르는 대로 소리가 나는 피아노를 구현하는 등 ‘역대 최고의 VR 게임’이라는 호평을 듣고 있음 하 릭스’ 어 기존 VR 게임들과 차별화된다 물론 의 방식 사용 중 폭넓은 이지만, 이러한 단점에도 불구하고 현실처럼 자유로운 손의 움직임을 통해 게임의 시나리오에만 국한되지 않고 또 다른 행위나 시나리오를 창출할 수 있다는 점에서 매우 높게 평가된다. #VR #물리법칙 #실재감 #몰입감 하프라이프 : 알릭스는 기존 VR 게임에서 제대로 구현하지 못했던 주변 사물과의 상호작용을 극한으로 끌어올린 게임임 게임 내 모든 물체들은 특유의 재질이나 강도, 기능이 마치 실제와 같이 적용되며 관성과 중력, 반작용 등 사실적인 물리 법칙을 따르기 때문에 높은 몰입감을 줌
- 100. SOURCE : 100 VR 전신 몰입형 운동, Supernatural OCULUS Supernatural은 Oculus Quest 용 피트니스 앱으로 VR 환경 속에서 전신 몰입형 운동을 즐길 수 있는 서비스로, 매일 제공되는 새로운 운동 콘텐츠를 통해 개인화된 전신운동을 제안함. 가상 현실 속에서의 진행되는 운동들은 인기 곡을 기반으로 한 리듬게임의 형태로 제공되며, 아름다운 풍경 속에서 운동을 하는 듯한 경험을 선사함 장기화되는 팬더믹 상황으로 인해 집에서 보내는 시간이 늘어나는 상황에서 Supernatural을 통해 지루한 일상을 벗어나 다른 공간에 와있는 실감나는 경험을 할 수 있음 색다른 공간에서 펼쳐지는 게임형 콘텐츠는 운동의 즐거움을 더욱 강화하며, 랭킹으로 경쟁하는 게이미피케이션으로 새로운 자극이 될 것이다. 날아오는 물체들을 격파하는 진행 방식은 설명을 듣지 않고 진행할 수 있을 만큼 직관적이다. 현재는 짜인 각본에 맞게 사용자의 행동을 트레이너가 유도하지만, 추후 AI가 결합된다면 사용자의 피지컬과 운동 상태에 맞게 코칭을 해주는 맞춤형 트레이닝을 제공할 수 있을 것으로 기대된다. ‘홈 트레이닝’, ‘홈 짐’과 같은 트렌드와 맞물려 빠른 발전을 통해 누구나 집에서 전문화된 트레이닝을 받을 수 있는 날도 멀게만 느껴지지 않는다. #VR #게임형 #피트니스 Supernatural은 Oculus Quest용 피트니스 앱으로 VR 환경에서 제공하는 색다른 공간에서 펼쳐지는 게임형 콘텐츠이며, 새로운 자극속에서 전신 몰입형 운동을 즐길 수 있는 서비스임 매일 새로운 운동 콘텐츠를 통해 개인화된 전신운동을 제안하며, 다른 공간에 와있는 실감나는 경험을 제공
- 101. SOURCE : 101 실제 사물을 VR 환경 속 디지털 모델로 자동 변환하는 특허, Microsoft Microsoft, 미국 특허청 (공개번호 : US11009716B2) Microsoft에서 20년 출원한 ‘Transitioning into a VR environment and warning HMD users of real-world physical obstacles’ 특허는 HMD의 일정 범위 내에서 실제 사물을 디지털 모델로 자동 변환함으로써 VR로 가지고 들어올 수 있는 컴퓨터 시스템임 실제 환경을 가상 환경으로 전환하기 위한 최적화 방식이 적용되는데, 우선 HMD에서 감지되는 물리적 물체의 값과 주변 환경을 인식한 후 복제하여 가상현실 디스플레이 속에 렌더링시킴. 움직이는 물체의 이동하는 속도와 방향까지 반영함. 사용자가 움직이는 방향이 소파 같은 사물을 향하고 있거나, 집 안의 가족이나 반려동물처럼 움직이는 존재가 가까이에 있어 충돌의 위험이 있는 경우에는 다른 객체로 변환하지 않고 실물 그대로의 모습을 렌더링함 이 기술은 제한된 공간에서 VR을 사용할 때 작은 방이든 어지러운 침실이든, 어떤 장소에서도 그 공간에 있는 물건들에 의해 독특하게 만들어진 가상의 놀이 공간을 만들 수 있게 해줌 VR 헤드셋은 현실과 차단되어 몰입할 수 있지만, 헤드셋을 쓴 채 이동하거나 팔을 휘두를 때 주변 가구나 지나가는 가족과 부딪히는 등의 위험요소가 있을 수 있다. Microsoft의 특허는 이 문제를 위험요소가 되는 장애물을 VR의 콘텐츠로 자연스럽게 변환시킴으로 해결한다. VR을 이용하는 중에 반려견이 VR 영역에 가까이 다가오면 VR 안에서도 반려견이 나타나는 것이 예상치 못한 재미 요소가 될 것이며, VR의 활용도가 제한적이라는 한계를 벗어나 현실과 밀접한 연계를 가질 수 있게 된다. 특히 VR을 경험하는 환경은 사용자마다 다를 것이기 때문에 각 사용자에게 익숙한 환경을 제공할 수 있고, 사용자별로 개인화된 경험을 제공할 수도 있을 것이다. 현재는 사물(아래 특허 이미지와 같이 벽과 소파)을 장애물로 인식하고 다가갈 수 없는 객체(산이나 나무)로 변환되나, 사물의 물성을 디테일하게 인지하고 그 물성을 활용할 수 있게 발전된다면(예를 들어 앞에 있는 소파가 멋진 오픈카로 보여서 실제로 소파에 앉으면서 오픈카에 타는 듯한 느낌을 제공) VR에서 주고자 하는 몰입감이 더욱더 다채로운 형태로 다가올 것이다. #VR #현실공간렌더링 사용자가 VR을 이용하는 공간 내에 있는 현실의 벽이나 사물을 실시간으로 렌더링하여 가상의 장애물로 등장시키며, 반려동물처럼 움직이는 장애물은 이동 방향을 계산하여 실물 그대로 VR에 구현함. VR 공간 내에서 사용자의 공간에 따라 변화되는 개인화된 경험을 제공할 수 있고, 스토리텔링과 결합해 특별한 경험을 제공할 수 있음 Microsoft 특허
- 102. SOURCE : 102 실제 목적지로 이동하면서 안전하게 VR을 체험, Microsoft DreamWalker Microsoft Research DreamWalker는 사용자가 HMD를 착용하고 대규모 가상 환경 내부를 탐색하며 완전히 몰입한 상태로 현실 세계를 걷는 것을 가능하게 하는 VR 시스템. DreamWalker는 사전 제작된 VR 환경에서 실제 목적지로 갈 수 있는 유사한 경로를 안내하며, 사용자가 현실 세계에서 사물 및 사람과 충돌하지 않도록 GPS, 인사이드아웃 트래킹* 및 RGBD 프레임*을 융합하여 지속적이고 정확하게 위치를 알려주고, 실시간으로 장애물과 보행 가능한 경로를 감지하며, VR에서 동적으로 변화하는 장면을 통해 사용자에게 대체 경로를 안내함 8명의 실험 참가자는 자동차, 사람 및 기타 객체로 가득 찬 가상 맨해튼을 경험하면서 대규모의 Microsoft 캠퍼스를 가로질러 3개의 경로를 걷도록 실험하였고, 15분간 이동하며 목적지까지 도착하는 데 성공함 * Inside-out Tracking: HMD 기기에 위치 추적 센서를 탑재하여 외부 사물의 위치를 추적하는 방식으로, 장비가 간편하고 VR 사용 공간의 제약이 없으나 카메라가 인식 가능한 범위에서만 트래킹이 가능한 단점이 있음. 최근에는 Outside-in Tracking보다 이 방식으로 흘러가는 추세임 * RGBD 프레임: RGBD 카메라 또는 센서를 이용하여 이미지에서 색상(RGB)과 깊이(Depth)를 인지하는 기술이며 이 기술로 추출한 각 장면을 RGBD 프레임이라고 칭함. 이 프레임이 모이면 3D 모델을 어느 정도 구현할 수 있음 앞의 특허와 연결되어 DreamWalker는 제한된 실내 공간뿐만 아니라 넓은 야외를 이동하면서도 사고 없이 가상 환경을 체험하게 도와주는 시스템이다. 아래 이미지와 같이 헤드셋 착용자가 실제로는 Microsoft 캠퍼스를 걷지만, VR 시각에서는 맨해튼의 도심을 이동한다. 실제 환경의 기둥이나 나무는 자동차와 사람으로 변환된 채 사고 없이 목적지까지 무사히 도착한다. 이는 가상 환경 안에서 현실의 장소 이동을 위한 내비게이션을 활용할 수 있음을 보여주며, 사용자 역시 이동을 할 때 실제 다리로 걷는 등 가상 체험을 온몸으로 체감할 수 있게 된다. GPS를 이용한 VR 콘텐츠가 만들어진다면 걷는 것이 아닌 다른 교통수단을 이용할 때에도 가상 경험이 확장될 것으로 보이며, 지루한 이동 시간마저 유용하게 활용할 수 있을 것으로 예상된다. 다만 현실에서의 이동에는 여전히 예기치 못한 위험 요소가 있으므로 더 강한 안전장치가 요구될 것이다. #VR #현실공간렌더링 #GPS VR HMD를 착용한 채 장거리를 이동하는 연구로, 현실의 장애물은 실시간으로 VR 콘텐츠와 어울리는 사람이나 사물로 렌더링 되며, 내비게이션으로 목적지까지 안전하게 이동이 가능함
- 103. SOURCE : 103 AR 재해 시뮬레이션으로 현실감 있는 재난 안전 교육, Disaster Scope® Prof.Tomoki Itamiya's Laboratory, 인터뷰 가나가와 치과 대학의 이타미야 토모키 교수가 직접 Unity를 사용해 재난 상황 시뮬레이션 제작함 AR 시뮬레이션을 통해 화재나 쓰나미 등 재해 상황을 사용자가 현재 있는 장소에서 바로 체험할 수 있음. 또한, 침수 높이와 같이 숫자로는 체감하기 힘든 부분을 AR 콘텐츠를 통해 시각적으로 제공하기떄문에 현재의 상황이 얼마나 위험한지 직관적으로 파악이 가능함 . AR 시뮬레이션은 몰입감 높은 체험을 통해 학습되었기 때문에 긴급한 상황에서도 재난 발생 시 행동 수칙을 취할 확률이 높아진다는 장점이 있음 현재는 학교나 지자체의 교육용으로 사용하고 있으며, 추후 침수나 해일 발생 시 발밑에 물의 흐름을 느낄 수 있는 등 촉각 체험도 발전시킬 예정임 AR을 활용한 재난 상황 시뮬레이션은 가상의 환경이 아니라 일상의 거점이 유사시에 어떻게 변하고, 얼마나 위험해지는지 체감할 수 있다는 점에서 AR 기술이 효과적으로 사용된 사례라 볼 수 있다. 시각, 청각적 콘텐츠를 통한 몰입감 높은 환경에서의 학습은 기억지속력 뿐만 아니라 체득되었기 때문에 긴급한 상황에서도 활용할 수 있다는 장점이 있다. 재난 발생 시 행동 수칙을 배우기는 하나 왜 그러한 행동을 취해야 하는지 이해가 되지 않는 상태에서 암기하는 경우가 많다. 이때, Disaster Scope를 통해 시각적으로 표현되는 위험 요소를 보고 화재 시에는 쪼그려 앉아서 이동해야 하는 등 그 행동 수칙의 필요성을 이해할 수 있다는 점에서 강력한 학습 도구로 보여진다. #AR #VR #Unity #Oculus #몰입감 가나가와 치과 대학의 이타미야 토모키 교수가 직접 Unity를 사용해 재난 상황 시뮬레이션 제작, 화재나 쓰나미 상황을 사용자가 현재 있는 장소에서 바로 체험할 수 있음 학교나 지자체에 교육용으로 사용하고 있으며, 추후 촉각 체험도 발전시킬 예정 초등학교 AR 화재 체험
- 104. SOURCE : 104 AR 솔루션을 통한 업무 지원 및 현장 교육, VIRNECT VIRNECT VIRNECT는 Remote, Make, View, Twin 등의 산업용 AR 솔루션이 있으며, 이를 사용 목적이나 상황에 따라 다양하게 사용할 수 있도록 제공함 특히 VIRNECT Remote에는 AR 포인팅과 AR 드로잉 기능이 있어 현장에서의 복잡하고 말로 설명이 힘든 부분에 대해서 직접적으로 포인팅하여 설명이 가능함. VIRNECT 솔루션에는 디지털 트윈이 있는데, 이는 해외 공장의 미숙련자를 훈련하거나 업무 지원을 할 때 유용하게 쓰이며 실시간으로 현장 상황을 파악할 수 있다는 장점이 있음. 특히 홀로렌즈와 같은 스마트 글라스, 스마트폰, 태블릿PC 등 다양한 기기를 지원하기 때문에 접근성이 좋으며, 스마트 글라스 사용 시 원격 지원 중 양손 작업이 가능함 AR을 통해 시각적으로 표현이 가능하기 떄문에 정보를 직관적으로 전달할 수 있으며 작업의 정확도가 향상됨 VIRNECT의 솔루션은 가상의 콘텐츠가 현실과의 접점에서 유용하게 쓰일 수 있도록 AR의 장점을 극대화한 사례이다. 특히 산업 현장에서는 많은 양의 복잡한 정보를 빠르고 정확하게 파악하고 컨트롤 해야하는데, 이를 AR를 통해 직관적으로 표현하고 말로는 충분히 설명이 되지 않는 부분을 시각적인 콘텐츠를 제공하여 보완하고 있다. 해외에 공장이 많은 제조업의 경우, 물리적 제약에서 벗어나 언제 어디서든 쉽게 현장 상황을 알 수 있고 미숙련자의 교육은 물론 업무 대응까지 가능하다는 점에서 활용도가 높다. 반복적인 작업이 많은 산업 현장 특성을 고려해 AR 기술뿐만이 아니라 AI를 통해 과거 데이터를 학습해 문제 상황을 대처하게 된다면 머지않아 산업 현장에서의 필수 솔루션으로 자리잡을 것이다. #AR #비대면 #업무지원 #교육 AR 가이드와 디지털 트윈을 활용해서 커뮤니케이션의 오류를 감소시키고 직관적인 정보 전달과 작업 정확도를 향상시킨 솔루션 작업 주기가 길어 암기하기 어려운 메뉴얼의 숙지나 해외의 미숙련자 업무 훈련 등 물리적 제약에서 벗어난 환경을 제공함
- 105. SOURCE : 105 미군을 위한 훈련 시뮬레이션, Microsoft AR 헤드셋 MICROSOFT 함 음 이 헤드셋은 어둠 속에서도 볼 수 있게 해주는 열 저조도 센서를 탑재했으며 및 제공 그리고 와 함께 를 중첩시켜 복합적인 정보를 제공할 수 있음 눈 움직임을 추적하고 있고, 시스템과 인터페이스 할 때 군인의 손을 추적하고 있으며, 착용자의 목소리를 추적하는 AI 칩이 내장되어 있음 전투 AR 헤드셋의 핵심 목적이라고 할 수 있는 현장에서의 상황인식과 현장 배치 시 의사 결정에 도움은 군인들의 부상과 피해를 줄일 수 있을 것이다. 또한 실시간 매핑과 같은 증강 현실 기술을 통한 3D 훈련 시나리오 구축해 변수에 따른 훈련 상황을 시뮬레이션 하는데 유용하다. 교육 또는 훈련을 목적으로 한 증강현실과 AI 기술 도입은 실제와 같은 가상 현실 교육 환경을 구현하여 능률을 향상시키면서 사회적 비용을 줄일 수 있다. #AR #훈련 #몰입감 마이크로소프트는 홀로렌즈 증강현실 기술을 사용하여 미군을 위한 증강현실 시스템을 구축하여 현장에서의 상황인식과 현장 배치 시 의사 결정을 도움 실시간 매핑과 같은 AR 기술을 통한 3D 훈련 시나리오를 구축해 변수에 따른 훈련 상황을 시뮬레이션하고, 실제와 같은 가상 현실 교육 환경을 구현하는데 유용
- 106. SOURCE : 106 보이스 코일 액추에이터 공간화 음향 전달로 공간의 구조를 인식 시각 장애인의 가상 세계 이용을 위한 지팡이, Microsoft VR White Cane Microsoft 최근 Microsoft의 연구 ‘ 에서 소개한 지팡이 컨트롤러는 복잡한 건물이나 지형의 가상 환경을 눈으로 보지 않고도 탐색할 수 있도록 함. 시각 장애인이 익숙하게 사용하는 지팡이의 형태와 사용 방식을 그대로 이용하여 VR 전용 지팡이를 설계하여 시각 장애인이나 저시력 사용자도 VR 콘텐츠를 익숙하게 경험할 수 있도록 함. 그뿐만 아니라 시각 장애인용 지팡이 훈련용으로도 사용이 가능함. 지팡이를 처음 쓰는 사람들이 VR로 재현된 공간에서 지팡이를 써보면서 안전하게 지팡이 사용법을 익힐 수 있게 도움을 줌 복잡한 가상 환경을 탐색할 수 있도록 물건 찾기 게임을 디자인했고 사용자 8명 중 7명은 가상 공간(6x6m)을 성공적으로 탐색하여 충돌을 피하면서 목표물을 찾을 수 있었음. 지팡이 컨트롤러는 가벼운 3축 브레이크 메커니즘을 사용하여 가상 객체의 형태를 형상화하는데, 다중 자유도를 통해 사용자가 컨트롤러를 선호하는 방식과 그립에 맞게 조정할 수 있음. ‘보이스 코일 액추에이터’ 가 콘크리트, 메탈 등 재질 별 접촉 시 나는 소리를 전달해 표면 텍스처의 차이를 알 수 있게 해줌. 그리고 역감 재현(Force Feedback) 기술을 통해 물리적 피드백을 제공하여 가상 현실 속 공간의 형태나 사물 등을 감지할 수 있도록 햅틱 감각을 제공하였는데, 주변 공간 형상에 따라 반사되어 전달되는 공간화 음향 전달기술(Spatial Audio)로 이 감각을 보완시켜줌 시각 효과에 치중되어 있는 VR 환경은 시각 장애인에게는 무의미했으나, Microsoft에서 개발한 지팡이 컨트롤러는 이들에게도 VR 공간을 경험할 수 있도록 해준다. 다만 VR 헤드셋을 착용하고 사용할 때 안전을 위해 safe area 밖으로 벗어나면 현실 공간이 보여 이동을 멈추게 하는 것처럼, 지팡이를 통한 활동에 있어서도 안전한 공간 내에서 사용할 수 있도록 하는 주변 환경 인지 기술과 safe area 알림 방법에 대한 개선이 필요해 보인다. 시각 장애인들의 뛰어난 청각/촉각 능력을 고려해 다양한 표면 텍스처 햅틱 피드백, 3D 입체 음향과 스테레오 햅틱 피드백 등의 기술을 활용해 현실에서 체험하기 어려운 다양한 경험을 제공한다면 VR 세계에서 새로운 경험가치를 선사할 수 있을 것으로 기대한다. #VR #시각장애인용 VR 지팡이 #공간화 음향전달 기술 #Force Feedback 실제 시각 장애인용 지팡이의 형태와 사용 방식을 그대로 재현한 VR용 지팡이로 시각 장애인이나 저시력자들도 VR 환경을 자연스럽게 경험할 수 있고, 지팡이를 처음 쓰는 사람들이 사용법을 안전하게 익힐 수 있는 훈련용으로도 사용이 가능함
- 107. SOURCE : 107 인공지능 기술 결합 3D 그래픽 제작 기술, NVIDIA Modulus NVIDIA NVIDIA Modulus는 현실 세계의 물리법칙을 학습하는 인공지능(AI)을 이용해 메타버스 세상을 보다 현실적으로 구현할 수 있게 하는 그래픽 기술임. 관찰되거나 시뮬레이션 된 데이터와 함께 지배 물리 방정식을 사용하여 신경 네트워크를 훈련하는 플랫폼으로 물의 흐름, 빛의 반사, 공기의 움직임과 같은 물리 현상의 구현을 자동으로 학습해 3D 그래픽으로 구현하는 인공지능을 이용해 보다 실감 나는 디지털 트윈 세상을 구축할 수 있는 메타버스 인프라 구축을 위한 기반 기술이라고 할 수 있음 유명 가상세계 3D 제작 툴이 한곳에 모이는 오픈 플랫폼인 Omniverse는 언리얼 엔진, 마야 등 서로 다른 3D 제작 툴을 사용하는 개발자들이 실시간으로 협업하고 시뮬레이션 할 수 있는 공간임. 옴니버스에서는 여러 기업이 3차원 디지털 트윈을 활용해 실제와 똑같은 가상 공간에서 다양한 실험을 해 볼 수 있고 이 공간에서 현실 세계의 물리 법칙이 그대로 적용되는데 광선 추적 렌더링이 몰입형 시각화를 구현하고, 정확한 시뮬레이션 및 빠른 검토가 가능하다고 함 21년 11월 NVIDIA GTC에서 발표된 키노트에서는 메타버스 시대가 펼쳐질 수 있는 인프라가 될 다양한 기반 기술들을 볼 수 있었다. 그 중 Modulus는 물리법칙을 익히고 따를 수 있는 물리학 기반 머신 러닝 모델을 구축, 훈련할 수 있어 이 모델을 적용한다면 엔지니어, 과학자, 연구원 등이 여러 물리법칙에 의한 실험과 연구를 가상 시뮬레이션을 통해 할 수 있을 것으로 보인다. 또한 Omniverse를 활용해 기업들은 창고와 공장, 물리 체계와 생물학적 체계, 로봇, 자율주행 자동차, 아바타의 디지털 트윈을 시뮬레이션 등은 끊임없이 이뤄질 것인데 이때 복잡한 시뮬레이션에 요구되는 물리 요구 사항을 해결할 수 있을 것이다. 젠슨황은 기후 변화의 시뮬레이션과 예측을 담당하는 디지털 트윈인 E-2(Earth Two)의 구축 발표를 마지막으로 GTC를 마무리했는데, NVIDIA Modulus는 E-2 모델에서도 공기와 바람 물, 빛에 의한 정확한 시뮬레이션을 위해 활용되는 등 디지털 트윈 세상을 구축하기 위한 주요 기반기술이 될 것으로 보인다. #VR #AI #3D 그래픽 NVIDIA Modulus는 현실 세계 물리법칙을 학습하는 인공지능(AI)을 이용해 물의 흐름, 빛의 반사, 공기의 움직임과 같은 물리 현상을 메타버스 세상에서 보다 현실적으로 구현할 수 있게 하는 기술. 디지털 트윈 세상에서 가상 시뮬레이션을 진행할 때 이러한 물리법칙 기술을 이용해 정확한 데이터를 확보할 수 있을 것임
- 108. SOURCE : 108 Visual Modality 물리학& AI 학습 기반 시청각 인터랙션 제공, ThreeDWorld(TDW) MIT 21년 8월에 소개된 MIT와 MIT-IBM Watson AI Lab, Harvard University 및 Stanford University의 새로운 AI 기반 가상 플랫폼 ThreeDWorld(TDW)는 Unity를 기반으로 개발되었으며 실제 물리학을 사용하여 풍부한 대화형 시청각 환경을 시뮬레이션하여 인간 및 로봇 학습, 훈련 및 실험 연구를 가능하게 함 빛의 변화에 따라 자연스러운 라이팅 효과가 적용되고, 물리적 충돌 상황에서 실제 환경과 같은 움직임을 연출하게 해주고, 실내외 모두에서 고품질의 오디오와 시각 환경을 시뮬레이션 해 상호 작용이 발생할 때 유체, 연체 및 강체에 대해 객체 방향, 물리적 특성 및 속도가 계산되고 실행되어 정확한 충돌 및 충격 소리를 생성함 TDW는 대부분의 AI 학습이 사람이 주석을 단 데이터 세트에 의존하기 때문에 많은 비용과 연구 병목 현상이 발생하는 점, 물리적 물질에 대해서는 사람들이 데이터 레이블링에 어려움이 있는 점을 위해 범용 시뮬레이션 플랫폼을 구축하고 다양한 애플리케이션에 적용될 수 있게 하기 위해 모든 매개 변수와 주석을 달아 장면을 생성함 가상 세계에서 고해상도 그래픽 렌더링 기술, 무손실 음원과 공간 음향 기술들이 고도화되더라도 구현할 대상에 대한 물리학적 특성이 반영되지 않는다면 현실과 같은 실재감은 떨어질 수밖에 없다. 이 연구는 물체의 재질, 무게, 특성을 반영한 물체의 움직임과 사운드가 현실에서와 같이 구현되는 물리학 기반 시청각 인터랙션 연구로 ‘장소 환영(Place Illusion: PI)’과 ‘그럴듯한 환영(Plausibility Illusion: Psi)’ 구현을 통해 메타버스 내 몰입감을 제공하기 위한 매우 중요한 연구라 할 수 있다. 이러한 기술 플랫폼이 범용화를 목표로 개발되고 있다는 점은 고품질의 AI 학습 기반 인터랙션 시뮬레이션이 적용된 서비스들의 확장에 큰 도움이 될 것으로 기대된다. #VR #PI #Psi #공간음향 #적응형 바이노럴 렌더링 물리학 기반 실제와 같은 빛의 변화와 사물의 물질 특성에 따른 움직임/사운드 연출로 실재감 연출의 신뢰도를 높여 사용자가 더욱더 몰입할 수 있도록 함 Physical Scene Interaction Auditory Modality
- 109. SOURCE : 109 3D그래픽을 실사처럼 보정해주는 AI Cornell University 3D 그래픽 영상을 실사 느낌으로 변경해주는 AI에 대한 ‘Enhancing photorealism enhancement’ 연구 논문에 따르면 렌더링 이미지에 라벨링 되어 있는 지형, 카메라와 거리 데이터, 재질, 반사 값 등의 데이터가 Image Enhancement Network를 거치며 조절되면서 실감 나는 이미지로 편집이 가능하다고 함 아래 이미지는 구글 스트리트뷰가 아니라 GTA5 게임 스크린 샷을 AI가 실사 느낌으로 바꾼 이미지인데, 단순히 색감을 바꿔주는 것이 아니라 AI가 프레임을 하나하나 분석해 사물을 구분하여 적절한 실사화 처리를 함. 잔디가 풍성해지고 건물을 뿌옇게 만드는 안개는 사라졌고, 도로의 표면이 부드러워졌으며, 차량의 반사율도 낮아짐 연구진은 AI를 훈련하기 위해 벤츠를 타고 독일 시내를 촬영한 영상을 활용했고, 아래 이미지의 결과물들의 색감이 초록빛인 것은 AI 훈련에 사용된 영상이 위처럼 초록색을 띠었기 때문이라고 함. 다른 영상들로 훈련한다면 다른 색감의 결과물이 나올 수 있음 연구진은 기존의 게임 그래픽 렌더링 파이프라인에 위 기법을 추가하여 더욱 사실적인 그래픽을 뽑아내는 데 사용될 수 있을 것으로 기대한다고 언급함 AI 기술을 활용해 실제 환경 데이터를 반영한다면 언리얼 엔진과 같은 고도화된 3D 제작 플랫폼의 렌더링 이미지가 가지는 특유의 인위적인 표현의 한계를 극복할 수 있는 새로운 방법이 될 것이다. AI가 실제 거리를 학습하고 이를 바탕으로 렌더링 이미지에 라벨링 된 값들을(G-buffers: 지형 형태, 카메라와의 거리, 재질, 빛 반사 값 등) 실사 데이터와 유사하게 처리해 현실과 같이 자연스러운 이미지로 보정해 준다. 재미있는 사실은 이 AI가 어느 지역에서 학습했느냐에 따라 실사 보정 값이 다르게 표현될 수 있다고 한다. 인스타그램에서 사진 필터 중 ‘Paris’가 있는 것처럼 똑같은 GTA 게임 속 장면이라도 어느 지역에서 학습한 AI를 적용할지에 대한 옵션을 제공한다면 원하는 지역 느낌을 적용한 실감 나는 그래픽을 표현할 수 있어 게임 플레이어뿐 아니라 게임을 지켜보는 e-sports 관객들이게도 개인화된 경험을 제공할 수 있을 것이다. #AI #3D 그래픽 실제 풍경을 학습한 AI를 기반으로 3D 그래픽 영상을 실사처럼 보정해 주는 기술. 3D 그래픽 특유의 느낌을 없애 VR 게임이나 VR 콘텐츠 소비 과정에서 더 실재감 있는 몰입 경험을 할 수 있음 Rendered images from GTA V Enhancement by our method(trained to mimic Cityscapes)
- 110. SOURCE : 110 동공위치 추적 직접 망막 프로젝터가 탑재된 VR HMD/스마트글라스 특허, Apple Apple, 미국 특허청 Apple이 직접 망막 프로젝터 시스템(Direct retinal projector system)이 탑재된 VR 헤드셋과 스마트 글라스와 관련한 특허를 21년 9월에 등록함 직접 망막 프로젝터는 시선 추적 시스템을 사용해 사용자의 동공 위치를 추적하고 프로젝터에서 나온 빛이 adjustable focusing lens를 통해 조정되어 MEMS mirrors를 통해 곡면 거울로 반사되어 사용자의 동공으로 들어가게 되는 기술임 *MEMS: 초소형 정밀기계 기술 기존 AR/VR 디스플레이는 사용자에게 표시되는 영상은 눈과 가깝지만, 사용자가 초점을 맞추는 물체는 영상 속에 있기 때문에 눈의 초점과 뇌가 생각하는 깊이가 맞지 않는 초점-수렴의 불일치(convergence-accommodation)로 인한 눈의 피로감 및 두통이 유발되었는데 직접 망막 프로젝터는 이 문제를 해결될 것으로 보인다. 또한 50도 수준이었던 AR 글라스의 시야각 문제도 해결 할 수 있다. 무엇보다 AR 글라스가 외부의 빛에 의해 가상 이미지가 흐릿하게 보이는 문제를 해결 할 수 있게 되면서, 증강현실 콘텐츠를 더 명확하게 볼 수 있게 해주는 기술이다. #VR #해상도(PPI,PPD) #시야각(FOV) #VRD #시선 추적 Apple은 시선 추적 시스템으로 사용자 동공 위치를 추적해 정확한 위치에 영상을 반사시키는 기술 특허 등록, AR/VR에 모두 적용가능함 사람의 망막에 직접 상을 맺기 때문에 초점-수렴 불일치로 인한 눈의 피로감이나 어지러움 현상을 해결해 장시간 착용에 부담을 낮추고, 선명한 화질과 넓은 시야각으로 몰입감 있는 경험을 제공함 AR/VR에 맞는 구현 다이어그램 각도에 따라 방위각과 초점을 맞추는 것에 대한 참고 이미지 애플 특허(공개번호 US11157072B1)