3. 지난 1차 Ideation 과정에서
본인은 ‘미래의 자동차’를 다음과 같이 정의하였다.
Immersive Entertainment(or Intermedia) Mobility
몰입형 엔터테인먼트(또는 인터미디어) 모빌리티
* 지난 <1st Ideation Note> 참고
5. 1939년, General Motors는 ‘Futurama’라는 이름의 전시에서,
자동화 고속도로가 설치된 미래 도시를 선보였다고 한다.
출처: <넥스트 모바일: 자율주행 혁명(원서: Driverless)>, Hod Lipson & Melba Kurman
6. “당신이 지금 보고 계시는 세상은 비전이자 예술적 이상입니다.
미래의 놀라운 현실로 발전하는 동안,
이 세상은 많은 변화를 경험하게 될 것입니다.”
- 뉴욕 만국박람회, ‘퓨처라마: 고속도로와 지평선’, 1939년 (출처:GM)
출처: <넥스트 모바일: 자율주행 혁명(원서: Driverless)>, Hod Lipson & Melba Kurman
7. 안타깝게도 2차대전의 발발로 인해
미래를 위한 기술 발전의 노력은
대부분 전쟁에 활용 되었지만,
출처: <넥스트 모바일: 자율주행 혁명(원서: Driverless)>, Hod Lipson & Melba Kurman
8. 아이러니하게도 이 때 개발된 기술은
우리가 익히 알고 있듯(인터넷, 컴퓨터 등)
오히려 편리함과 풍요로움을 가져다 주었다.
영화 <이미테이션 게임> 中
https://goo.gl/yTcPtr
9. 이후 GM은 전자기술 기업 RCA와 손을 잡고,
‘전자 고속도로’라는 솔루션을 발표했지만
자동화 고속도로에는 막대한 시간과 예산이 필요함에 따라
공항 무인 운송 등의 용도로만 적용될 수 밖에 없었다고 한다.
(자세한 정보는 참고 도서 참조)
출처: <넥스트 모바일: 자율주행 혁명(원서: Driverless)>, Hod Lipson & Melba Kurman
10. 한편 1958년, 애니메이션 회사 Disney는
<Disneyland> 프로그램의 에피소드 중 하나로
‘Magic Highway U.S.A’편을 방영하였다.
출처: <넥스트 모바일: 자율주행 혁명(원서: Driverless)>, Hod Lipson & Melba Kurman
11. GM이 현실적인 구현에 초점을 맞추었다면,
Disney는 짧은 애니메이션에 상상 가능한 미래의 모습들을 그렸다.
32. 애플은 “전통적인 VR 헤드셋 뿐만 아니라
자동차의 창문 자체에 이미지를 투영하거나 띄우는
Mixed Reality(MR) 시스템”에 대해 언급하며,
애플 특허: https://goo.gl/QN4ksL
33. “차량 외부의 환경과 가상 콘텐츠(객체, 태그 등)를 적절히 연계한 방식이나
완전히 차단되어 몰입 가능한 VR 환경을 구현할 수 있어야 하고,
또한 차량의 에어컨을 사용하여 바람을 불게 하거나
좌석을 움직이거나 진동시키는 등의 시뮬레이션을 통해
기존 4D 영화관과 유사한 구조를 자동차 내에서도 경험 가능할 것”이라 이야기했다.
애플 특허: https://goo.gl/QN4ksL
34. ‘다시 말해 애플은 모든 자율주행 차량을
디즈니의 유명한 ‘Star Tours ride’의 소형 버전으로 바꾸길 원한다’고 전하고 있다.
https://goo.gl/bHyJKY
35. Intel/Warner Brothers이 언급한 ‘Batmobile’과
Apple이 언급한 Disney의 ‘Star Tours ride’를 통해
적어도 지난 번 언급한 ‘몰입형 엔터테인먼트 모빌리티(I.E.M)’라는 개념이
결코 헛된 생각은 아니라는 걸 깨닫고, 확신을 갖게 되었다.
https://goo.gl/bHyJKY
38. “내가 겪은 일에 대해 2가지 이야기를 들려줬는데
배가 침몰한 원인은 설명 안 되고
어떤 게 사실인지는 아무도 입증 못하죠.
두 이야기 모두에서 배가 침몰하고 가족이 죽고 난 고통 받아요.
동물이 등장 하는 것과 아닌 것 중
어떤 이야기가 더 마음에 들어요?”
- 영화 <Life of Pi> 中
43. 스티브 잡스의 전기에 다음과 같은 구절이 나온다.
“애플이 제품을 만드는 방식은 비틀즈가 음악을 만드는 방식과 매우 유사하다
‘Strawberry Fields Forever’라는 곡을 완성해가는 수 십개 버전의 데모 트랙을 듣고
애플의 제품 개발에 관한 모티브를 얻었다”고 언급한 지점에서 매우 반가웠고 흥미로웠다.
44. 어쩌면 지금 이렇게 Zer01ne 개인 프로젝트를 통해
자동차 회사가 내부적으로 고민하고 있는 여러 이슈를
음악가의 관점에서 바라보고 생각을 정리하여 공유하는 이유는,
45. 스티브 잡스가 언급한 것 처럼,
‘기업이 제품 또는 서비스를 만드는 과정에서
음악가와 함께 시너지를 일으킬 수 있는 지점’을 찾고 싶었기 때문이다.
46. ‘Strawberry Fields Forever’가 언급된 김에 개인적 경험을 이야기 해보면,
아직도 처음 노래를 들은 그 때, 그 순간이 생생하게 기억나는데,
곡이 시작되자마자 내 키보다 훨씬 컸던 괘종시계 소리가 멈추고
마당의 강아지 소리, 바람에 창문과 커튼이 흔들리는 소리 등
주변의 모든 소리와 움직임이 멈추었고,
곡이 끝났을 때야 비로소 그 소리와 움직임이 다시 들리기 시작했다.
정말 다른 세계를 여행한 느낌이 들었다.
47. * 컨셉 앨범: 앨범에 수록된 노래가 하나의 주제로 통일되어 있는 앨범으로
각 앨범의 노래들이 유기적으로 연결되어 앨범 전체가
하나의 주제를 가지고 이야기하는 형태를 취하고 있다.
이후, 흔히 ‘컨셉앨범’이라고 불리는 음악들을 주로 들었는데
‘난독증’이 심해 소설을 잘 읽지 못하던 내게
이런 컨셉앨범은 한 편의 소설을 읽는듯한 경험을 제공하였고 (마치 지금의 팟캐스트 처럼),
그 때 부터 나도 음악으로 이야기를 전할 수 있는 사람이 되고자 다짐했던 기억이 난다.
48. ‘비틀즈’라는 박스에 ‘몰입형 엔터테인먼트 모빌리티’라는 고민을 대입해본 결과
‘Magical Myster Tour’라는 키워드가 떠올랐다.
49. 리버풀의 투어 프로그램 중 하나인 ‘Magical Mystery Tour’는,
약 2시간 동안 버스를 타고 비틀즈 멤버들의 생가, 다니던 학교,
노래의 영감이 되었던 장소 등을 돌아다니면서
가이드가 장소에 얽힌 이야기를 설명해주기도 하고
주변에 오래도록 거주해왔던 이웃이 직접 나와
인사를 하거나 이야기를 들려주기도 한다.
50. 실제 Penny Lane과 Strawberry Field에서 듣는 그들의 노래는
분명 이어폰과 스피커로 전달되는 것 이상의 무언가가 있을 거라 생각했다.
51. 어느 유튜버가 업로드한 영상에서
비틀즈의 사진과, 사진이 촬영된 실제 장소의 장면을 중첩시키는 부분이 등장하는데
61. 실제 풍경 영상 및 3D
시뮬레이션 영상 투사
#드론촬영 #Google
Map #Unity #VR/AR
환경소리 데이터 기반 인공
적 사운드스케이프 디자인
#환경소리데이터 #AI
Sound Chair, 환경소
리 반응 유체 운동 등
#인테리어디자인 #환
경소리데이터
AI Voice Room
#음성합성/변환 #딥러닝
이러한 생각들을 지속적으로 고민하고 있는 동시에
지난 4월 구상한 ‘(가제) 인터미디어 큐브’ 구조에 필요한
‘Drone’, ‘Jetson TX2’, ‘Google Home Speaker’ 등의 물리적 디바이스와
12채널 스피커, 3면에 투사 가능한 단초점 프로젝터 등의 하드웨어
그리고 소프트웨어 연동을 위한 세부적인 접근 방법 및 실험 등을 진행 중이다.
62. 따라서 Zer01ne Creator 활동이 종료되는 8월 31일까지
인터미디어 큐브 구조를 기반으로 아래와 같은 두 개의 실험을 메인 결과물로 완성할 예정이다.
# 1. 실시간 영상 분석을 이용한 Visual Object to Sound Mapping
# 2. Speech Recognition to Multi-modality
63. 진행되는 과정에 있어 인테리어 디자인 팀과 내용 공유를 통해
‘인터미디어 큐브’의 적용 가능성 및 ‘사운드 체어’ 협업 가능성 여부를 논의하고자 하며,
상품개발 팀과는 아이디어 공유를 바탕으로 구체적인 프로그램 가능성 여부를 논의하고자 한다.
* 이 부분은 추후 별도 챕터에서 구체적으로 소개 예정
64. #1. 실시간 영상 분석을 이용한 Visual Object to Sound Mapping
65. 현재 개인 프로젝트 실험에 이용하고자 하는 여러 장치들 중
우선 실시간 풍경 영상의 오브젝트를 인식하기 위하여
NVIDIA의 JETSON TX2 모듈을 이용하기로 하였다.
66. 기존 사물 인식을 하는 것 외에 다른 풍경 요소들을 어느 정도 트래킹 가능하고
그리고 그 요소들이 실제로 환경소리 데이터로 연동 가능한지에 대한 부분을 탐색 중이며
이러한 실험을 하는 이유는 실시간 투어 가이드 등의 프로그램에 적용 가능할 것으로 보았기 때문이다.
67. 상상하고 있는 프로토타입에 대해 조금 더 구체적으로 설명하자면,
보통 내비게이션을 이용할 경우,
출발 전 목적지를 설정하면 이에 가장 적합한 ‘경로(route)’를 추천하는데
68. 만약 본인이 선택한 경로 자체가 ‘Magical Mystery Tour’와 같은
하나의 스토리텔링 프로그램이라면 어떨지 상상해보았다.
69. 예를 들어 약 15분 정도 소요되는 A라는 목적지를 설정 할 경우
음악, 드라마, 팟캐스트, 공연, 영화, 게임 등의 장르 중
해당 시간에 적합한, 이동 경로상의 외부 환경과 연계된,
또는 유저의 취향에 알맞은 콘텐츠를 순위별로 추천 가능할 것이다.
71. 실시간으로 풍경을 인식하고 그에 알맞은 가이드 역할을 하는
상위 고급 버전의 맞춤형 실시간 A.I. 캐릭터를 구입하여 즐길 수도 있을 것이다.
가수, 영화배우, 유명인 등.
72. 개인 프로젝트의 연장선으로 구상 해볼 수 있는 건 역시 ‘환경소리’를 주제로 하는 것일텐데,
녹음기술의 보급화로 인해 사람들이 직접 녹음한 소리를 온라인에 업로드하고
그 것이 다양한 ‘Soundmap’ 프로젝트로 이어졌던 것을 떠올려 보면
기존의 데이터베이스를 활용하여 ‘인터랙티브 사운드 루트’로도 확장해 볼 수 있지 않을까 생각하였다.
73. ‘사용자가 그린 경로 상에서 수집된 지역의 정보를 다양한 악기의 소리로 변환’하는 기존 방법을 응용하여
내비게이션 상에서 검색한 ‘이동 경로’를 하나의 ‘Music Track’으로 설정,
입체적인 음악 또는 소리 이동 경험과 동시에 실시간으로 제어 가능한 인터페이스로도 확장 가능할 것이다.
* 논문 <Online map interface for creative and interactive music-making> 참고
78. James Corden, Carpool Karaoke
https://goo.gl/J6RVPC
몰입형 인터미디어 디바이스를 기존 공연 무대(극장)의 확장으로 넓혀본다면
하이너 괴벨스, 케이티 미첼, 이보 반 호프, 로버트 윌슨, 윌리엄 포사이스 등의
실험적 공연 작품들은 어떤 식으로 자율주행 시스템과 연계 가능할까?
79. 단기적으로 쉽게 적용 가능한 콘텐츠를 먼저 선보이고,
장기적으로는 ‘자율주행 자동차 시스템’에 알맞은
‘콘텐츠 제작 문법’을 지속적으로 제작하는 방식으로 나아가면 어떨까 생각해보았다.
80. 이외에 개인적으로 ‘VR의 답답함’으로 인해 여전히 회의적이지만,
만약 마이크로소프트의 AR 홀로그램 키트를 이용한다면
기존 개인 인터미디어 큐브 상에 구현되는 디스플레이 부분에서
다양한 연출을 할 수 있을 거란 생각이 들었다.
81. 홀로그램 작업 중 가장 인상적인 작품은
Brian Eno와 Peter Chilvers가 협업한
New augmented reality installation
<Bloom: Open Space>가 있다.
http://bloomopenspace.com/
82. 정리하자면 현재 개인 프로젝트는 8월 말까지
실시간으로 영상 내 오브젝트를 트래킹하여 이를 다른 환경소리 데이터로 변환하는 작업을 할 예정이다.
이외의 ‘투어 가이드’ 또는 ‘경로’ 등을 이용한 콘텐츠 시나리오는
인포메이션, 엔터테인먼트(게임, 영화), 예술(인터랙티브 연극, 사운드스케이프) 등
목적에 따라 확장 가능할 것이며 실제 구현은 10월 이후 상황에 따라 추진하고자 한다.
87. 구현 과정은 음성 나레이션이 컴퓨터로 전송되어,
기존 뉴로스케이프 알고리즘 시스템을 이용하여 유사성을 연산(GloVe),
이를 12채널 입체 스피커와 3면 디스플레이에 투사하는 방식으로 진행 될 예정이다.
음성/텍스트 -> 단어간 유사도 연산 -> 사운드/이미지/텍스트 검출
88. 예를들어 셰익스피어의 희곡 또는 소네트 등의 텍스트를
무대 위 배우가 한 문장씩 읽을 때마다
무대의 배경 이미지, 효과음 등이 자동으로 연출되는 식으로
일종의 ‘실시간 무대이미지 생성 인터페이스’로 응용 가능 할 것이다.
89. 또한 개인적으로 즐겨 듣는 Brian Eno의 곡 <Dreambirds>의 경우
나레이션과 Brian Eno 특유의 앰비언트 패드 연주가 특징인데,
90. Dream birds
The floating caw-caw
The britilla hen
The parrot arachnis
The zeon pink swan
There's a chip in the ceiling
A new parliament bill
That says
Freedom of creation
For our brilliant young
People the sky with your wand-strokes
In the age of diminishing life
Across the blank dioxide above us
Invent
New
Colours
That
Fly
만약 가사의 한 문장을 읽을 때 마다
이와 연관된 환경적 소리들이 추가 트랙으로 오버랩 된다면
상상할 수 있는 지점이 확장되는 게 아닐까 생각하여
현재 아주 작은 단위의 실험을 진행 중이다.
93. 예를들어 ‘헬리콥터’라는 단어를 떠올렸을 때,
일반적으로 헬리콥터를 인지하는 단어의 위치값은
가상의 입체공간 내의 상단 쪽에 자리하게 될 것이다.
94. 반대로 ‘지하철’은 기본적 위치값의 경우 큐브 하단에 배치 되겠지만,
‘지하철’의 이동성을 떠올리면 매우 유동적인 형상을 만들 수도 있다.
95. 따라서 딥러닝 알고리즘을 이용해 실제 인공적 사운드스케이프를 구현하는데 있어
개별적인 사운드 오브젝트에 얼만큼 적합한 공간성을 부여할 수 있는지,
그리고 환경적 소리 데이터들의 공간성이 자동으로 배치 가능한지 등을 실험하고자 한다.
96. 만약 가사의 한 문장을 읽을 때 마다
이와 연관된 환경적 소리들이 추가 트랙으로 오버랩 된다면
보다 상상할 수 있는 포인트가 확장되는 게 아닐까 생각하여
현재 아주 작은 단위의 실험을 진행 중이다.
현 단계에서 ‘음성 비서’ 캐릭터를 만드는 것은
개인 역량으로는 해결이 불가능한 부분이 있을 뿐만 아니라
타인의 목소리를 학습한 Voice Transforming 역시
기술적 구현에 더 많은 시간이 소요될 것으로 판단하여
올해 말 까지 장기적으로 접근할 문제로 남겨두고자 한다.
그 외에 아트웍의 연출적 부분에 대한 레퍼런스 이미지는 다음과 같다.
118. 지난 7월 3일 인테리어 디자인 팀과의 내부 회의 때,
각 연구원 분들의 개별 프리젠테이션은 매우 인상적이었다.
기존 내가 생각해왔던 방향과는 확실히 다른 지점들,
예를 들면 Living space, Display 그리고 Furniture 등
실질적인 부분들을 이해할 수 있는 매우 중요한 시간이었다.
119. 따라서 2차 Ideation Note 에서는 6월 말까지 정리된 생각들을 우선 공유하고,
3차 에서, 앞서 언급한 Living space, Display, Smart Furniture 등에 초점을 맞추어
최종 협업 부분을 정리 및 제안하고자 한다.
120. 우선 나의 Ideation은 지난 미팅 때 공유해주신
Sony의 <Hidden Senses> 전시에서부터 출발하였다.