2. 본 문서는 철저히 주관적인 해석과 상상에 따라 전개 되었기에
제시하는 내용에 있어 오류나 비약이 존재할 수 있으며,
또한 이미 많이 언급되어 전혀 새롭지 않을 수 있음을 말씀 드립니다.
문제 되는 내용이 있을 경우,
phonicspark@gmail.com으로 연락 부탁드립니다.
9. 또 하나의 관심 주제
인공 신경망(Artificial Neural Network)
이미지 출처: https://goo.gl/97LrTT
10. 이미지 출처: https://goo.gl/97LrTT
2016년, 아마 대부분의 사람들이 그러할듯, 이세돌과 알파고의 세기의 대결을 보면서
나 또한 ‘인공지능’, ‘딥러닝’이라는 새로운 분야를 접하게 되었고,
기존에 고민하고 있던 ‘환경소리’는 이러한 새로운 기술과 어떻게 작용할 수 있는지 궁금했다.
11. 이미지 출처: https://goo.gl/97LrTT
MIR(Music Information Retrieval: 음악정보분석) 및 SIR(Sound Information Retrieval: 소리정보분석)분야에서
음성인식의 정확도 뿐만 아니라 청각 장애인을 위한 청각의 시각화, 시각 장애인을 위한 시각의 청각화 등,
문화, 기술, 산업 등 다양한 영역에서 환경소리 데이터셋 구축 및 연구가 활발히 진행 중이다.
12. 이미지 출처: https://goo.gl/97LrTT
음악 분야에서는 이탈리아 미래주의 예술가 Ruigi Russolo의 1910년대 소음주의 선언을 시작으로
녹음/편집 기술의 발전과 더불어 John Cage, Pierre Schaffer, Murray Schafer, Barry Traux 등
환경소리를 음악의 재료로 활용하고자 했던 음악가들은 끊임없이 새로운 음악 작법을 고안하고 제안하였다.
13. 이미지 출처: https://goo.gl/97LrTT
2017년 심층신경망 알고리즘 개발자 이종필과의 협업을 통해 심층신경망의 멀티모달 커넥션을 기반으로
풍경의 이미지를 분석하여 이에 상응하는 환경 소리를 연동하는 연구 및 작품 <NEUROSCAPE> 연작을 선보였고,
이를 통해 환경소리와 인공신경망 알고리즘 연계 및 다양한 분야로 확대 가능성을 발견하였다.
참고링크: www.neuroscape.ai
14. 이미지 출처: https://goo.gl/97LrTT
또한 2018년 2월 무대미술가 신승렬 작가와의 협업을 통해
무대와 음악/사운드가 중심이 되는 설치극장(Installation Theatre)
<시적극장(Poetic Theater)>을 발표 하였다.
15. 이미지 출처: https://goo.gl/97LrTT
초입방체(Tesseract)의 비가시적 청각 공간을 구축하여
10채널 스피커 시스템에 일상의 소리 기억 입자를 약 2,000개 가량 배열하였고,
관객은 무대공간을 돌아다니며 각자의 경험, 기억, 학습, 현재의 감정 등을 기반으로
일상적 소리 입자들이 머리 속에서 각기 다른 모습으로 투영되는 구조를 설정하였다.
16. 오스트리아 예술가 Bernhard Leitner의 <Headscape> 작품 이미지처럼
인간의 머리 속에는 커다란 독립적인 풍경을 그려낼 수 있는 행성이 존재한다고 생각하였고,
능동적으로 사유하고 자신만의 고유의 리듬을 회복할 수록 더 뚜렷한 풍경이 그려질 것이라고 생각했다.
17.
18. 이러한 개인적인 고민 또는 경험과
환경소리, 인공 신경망의 연구/작업 주제 등이
제로원 크리에이터 프로젝트에서 어떻게 발현될 수 있을지를 고민했다.
19. Zer01ne Creator Opencall에서 제안한
Big Data & Smart City / Interior Design / EV
총 3개의 주제는 개별적으로 모두 흥미롭게 다가왔다.
20. 첫째, Big data / Smart City 프로젝트 중 가장 호기심이 생겼던 부분은
‘HMG에서 환경소리 데이터셋 구축에 어느정도 관심있는지’였다.
Big data
21. 음성 인식 분야에서 사람의 목소리를 인식하는데 있어
외부 환경의 소리 잡음으로인해 정확도가 떨어져,
이를 해결하기 위해 환경 소리를 역으로 ‘마스킹’한다.
Big data
22. 이러한 소리 분리 방식을 이용한다면,
곳곳의 소리를 라이더를 통해 녹음하고
기존 차에서 발생하는 자동차 소리 데이터를 마스킹하여
입체적인 ‘3D Sound Map’을 만들 수 있지 않을까 생각하였다.
Big data
23. 둘째, 인테리어 디자인 팀의 프리젠테이션은 개인적으로 매우 인상적이었다.
특히 ‘공간, 시간, 이동, 연결’ 그리고 ‘A.I’라는 키워드는
나의 주요 고민 지점들과 매우 밀접하게 맞닿아 있었다.
인테리어 디자인
24. 자연스레 여기에 ‘환경소리’라는 요소가 어떻게 적용될 수 있을지 고민하였으며,
주변의 소리들로 인해 반응하는 유동적 오브젝트를 상상하다가,
문득 ‘유체역학’과 ‘소리’의 연관성을 떠올리기도 했다.
인테리어 디자인
25. 인간의 몸에 물이 70%이상 차지하고 있다는 건,
외부의 자극에 따라 함께 진동 가능하다는 것인데,
인테리어 디자인
26. 그렇다면
빛의 파동, 소리의 파동 <=> 물의 파동
‘심금을 울리는 소리’라는 말은
어쩌면, 소리에 따라 마음이란 호수에
실제로 아름다운 파장이 일어나는 것은 아닐까?
혹은 공진주파수(resonance).
인테리어 디자인
27. 또한, 아주 오래전부터 어렴풋이 상상만 해오던
‘Sound Chair’라는 키워드가 문득 떠올랐고,
어떻게 협업 모델을 만들어 볼 수 있을지 고민하기 시작했다.
인테리어 디자인
28. 마지막으로 상품개발팀의 프리젠테이션에선 역시 A.I 음성비서에 대해 호기심이 들었다.
하지만 개인적으로 현재 다수의 A.I 스피커는 학습된/훈련된 몇 개의 대표 카테고리 내에서
사람이 일방적으로 명령한 것이 작동하는 것이지, 진정한 의미의 A.I는 아니라고 생각했다.
상품개발
30. 보통 차를 소유한 이들은 자신의 차를 ‘애마(愛馬)’라고 부르며
기계에게 일종의 생명을 불어 넣어 자신과의 관계를 형성한다.
상품개발
31. 만약 자동차가 자신이 보고 들은 것들을 기억하고 학습한다면,
더 나아가 이러한 것들을 나에게 공유하고 정말 가까운 관계로 이어진다면
나는 그 차(馬)를 사랑(愛)할 수 있게 되지 않을까?
상품개발
32. 문득, 돌고래에게 인간의 언어를 가르치기 위한 실험에서
수컷 돌고래 피터가 연구원 로바트와 두 달 가까이 생활을 하다
그녀가 떠나자 얼마 되지 않아 세상을 떠났다는 기사가 떠올랐다.
https://goo.gl/7PdEKv
상품개발
33. 지난 남양 연구소 답사에서 짧은 시간이었지만 매우 많은 것을 느끼고 경험하였다.
개인적으로 재능은 없지만 항상 ‘산업디자인’ ‘제품디자인’에 흥미를 두고 있었는데
실제 전문가들의 작품을 눈으로 직접 보는 것만으로도 여러 상상적 이미지들이 떠올랐다.
34. 당시 아래와 같은 몇 개의 고민들이 계속 머리 속에 맴돌던 때이기도 했다.
“VR 디바이스의 몰입도는 좋은데, 꼭 기기를 착용해야만 할까?”
“나의 속도와 너의 속도는 결국 상대적인 것 아닐까?”
“자동차가 수집할 수 있는 데이터는 무엇이 있을까?”
“양자컴퓨터는 어느정도 속도/용량을 커버할 수 있을까?”
“누구나 할 수 있는 생각 말고, 내 경험에 근간한 다른 접근방법은 무엇이 있을까?” 등.
35. 돌아오는 버스 안에서는 또 다른 생각들이 떠올랐다.
운전석 창문에는 늘 그렇듯 도로위의 일반적인 풍경이 펼쳐져 있었다.
이따금 창문에 빗방울이 맺히기도 했다.
36. 각 좌석의 창문에는 김이 서려있어서 바깥의 모습을 볼 수 없었기에
스마트폰을 꺼내어 작은 화면에 집중하다가
다시 운전석 창문 밖 풍경을 멍하니 보기를 반복했다.
37. 잠이 들기도 했다.
이런 행위들이 몇 차례 반복되자 버스 안의 나는
마치 가상 공간에 존재하는듯한 느낌이 들었고,
문득 이런 생각을 했다.
51. 이미 우리는 <Pokemon Go>를 통해
실제 물리적 공간과 증강형 콘텐츠가 연결된
최적의 사례를 경험 또는 목격하였다.
52. 만약 그 물리적 공간마저
사용자가 직접 Customizing 할 수 있다면
어떤 모습을 상상할 수 있을까?
53. Google은 최근 Android와 Unity 환경에서
물리적 공간을 나만의 가상 공간으로 꾸밀 수 있는
‘Google Map API for Android and Unity’을 선보인바 있다.
https://youtu.be/PaCJPQkTG34
54. 이와 더불어 최근 미국의 게임 디자이너 Will Wright는
지난 3월, 개발 중인 신작 <Proxi>를 Unity와 협업 중이라고 하며
‘Proxi Art Challenge’ 공모를 진행 중이기도 하다.
참고로 그의 대표작으로는 <Simcity>, <Sims>, <Spore> 등이 있다.
https://youtu.be/phfpooto8iY
67. 문득, 게임화(Gamification)란 단어가 떠올랐다.
게임화(영어: Gamification 게이미피케이션)는 소비자 대상 웹이나 모바일 사이트 등 게임이 아닌 애플리케이션에 애플
리케이션 사용을 권장하기 위해 게임 플레이 기법을 적용하는 것을 뜻한다. 이와 같은 게임을 펀웨어(funware)라고 부르
기도 한다. 게임화를 이용해 사용자가 애플리케이션에서 바라는 행동을 하도록 유도하기도 한다. 게임화는 기술을 좀 더
재미있어 보이게 하거나, 게임을 하려는 인간의 심리적인 경향을 이용해 특정한 행동을 조장하는 방식으로 동작한다. 이런
기법을 통해 사람들이 평소에 재미없게 느끼는 잡일, 예를 들어 설문 조사, 쇼핑, 웹사이트 읽기 등을 하도록 유도한다.
68. 어쩌면 미래의 차는 최고의 통신수단, 게임공간이자 극장,
다시 말해, 가장 비싸지만 가장 몰입감이 뛰어난 엔터테인먼트 공간이지 않을까?
우리의 일상 자체가 Customization & Gamification 될 수 있지 않을까?
69. 이러한 파편적으로 떠오르는 생각들을 조합해보면
빅데이터, 인테리어 디자인, 상품개발이라는 3개의 주제는
내재적으로 공명하여 하나의 맥을 공유하고 있는 게 아닐까 하는 생각을 했다.
70. 또한 <Pokemon Go>을 통한 Local Business 활성화를 상기해보면
스마트시티 뿐만 아니라 낙후된 지역의 개발(건설)을
Gamification과 연계하여 여러 아이디어를 도출할 수 있지 않을까?
89. 이러한 리서치를 조합하여 2m³의 알루미늄 프레임으로 연결된 큐브를 설치,
13개의 멀티채널 스피커와 4개의 빔프로젝터를 각 면에 투사하여 입체 공간을 구축하고자 한다.
가운데에는 회전 의자와, 최소 2개 이상의 A.I. 스피커를 배치하여 다양한 실험 및 작품 개발을 하고자 한다.
이어지는 두 개의 이미지는 대략적인 큐브의 구조와, 이를 바탕으로 3D 모델링이다.
102. A.I 스피커를 이용해 그들의 목소리로 재구성된
일종의 ‘(가제)Voice Room’을 구상 중이며,
몇 가지 상황을 연출하여 짧은 길이의 작품을 만들고자 한다.
103. 향후 계획으로는,
큐브 실제 구축 및 영상/사운드/알고리즘 등의 기술 테스트
인테리어 디자인 팀과 커뮤니케이션 통한 2차 Ideation 및 Research
아트웍 컨셉 및 프로토타입 버전 제작 및 공유
3차 Ideation 및 Research
…
등의 단계로 협업 지점을 지속적으로 찾아나가고자 한다.
* 빅데이터/스마트시티, 상품개발 AI의 경우 추후 진행 과정에서 협업 관련 논의를 확장하고자 하며,
현 단계에서는 주로 개인 프로젝트 단위에서의 상상적 실험들을 위주로 진행하고자 한다.
104. 실제 풍경 영상 및 3D
시뮬레이션 영상 투사
#드론촬영 #Google
Map #Unity #VR/AR
환경소리 데이터 기반 인공
적 사운드스케이프 디자인
#환경소리데이터 #AI
Sound Chair, 환경소
리 반응 유체 운동 등
#인테리어디자인 #환
경소리데이터
AI Voice Room
#음성합성/변환 #딥러닝
105. 2차 Ideation에서 다룰 몇 가지 핵심 개념
#이상 #GAN(Generative Adversarial Network) #퍼지이론 등