실시간 사운드에 반응하는 인터페이스 표현연구

Abstract

With the advancement of Media Technology, artists are showing more interest in using the media technology instead of the traditional art formats. Since the 90s, drastic advancement in computer technology has resulted in allowing the media works to be combined with different artistic genres, thus, becoming one interactive media artwork. As the elements of acoustic and visual sensations expand its importance in the digital era, it is now possible to deliver contemporary sensibilities through the combination of visual and auditory synesthesia with abundant sensation of sound that function as the basis for the new sensational experience. This paper will examine the elements of visual and auditory synesthesia with abundant sensation of sound that acts as the basis of contemporary experience with senses in the digital era, where the acoustic and visual sensations expand its significance. The purpose is to move away from the input devices such as keyboard and mouse, and use microphone as the input device that calculates the volume of audience through using a software, which will allow the visual to be expressed according to the loudness of volume that microphone picks up. Furthermore, by examining the history of sound arts, the paper suggests for a research to create various visual expressions with stories, instead of preexisting methods of geometric, abstractness, and visual. Instead of simple applause or chatter from the audience for the microphone, the research will prepare a performance that uses toy instruments which suits the title of this research, "Marionette’s Orchestra Trouble," to include fun and amusement within the project. To portray visual expression that reacts to sound: special qualities of sound, accommodation of senses, and visual expression is the main priority of this project, instead of concentrating on the technical methods to satisfy the synesthetic notions. Moreover, while the project is searching for the possibility to become an independent role in the sound arts, it is an effort to be within the part of time period where visual and auditory sensations are intertwining with each other, to express possibilities, and to expand the realm of visual expression in the sound arts. Through this research, the author came to feel the need to study further about the technicality of visual expression that reacts to sounds. The author would like to point out that the research to create an interface that allow the audience to create their own story could have limitations when the audience creates unintended sounds, and this will be a subject of further research from hereafter.;미디어 기술의 진보와 더불어 예술가들은 기존의 전통적인 예술형식에서 점차 미디어를 이용하는데에 관심을 기울이고 있다. 90년대 이후 빠른 속도로 진화된 컴퓨터 기술을 이용하여 서로 다른 장르 간의 결합을 시도하는 인터랙티브 미디어 작품들이 등장하고 있다. 청각과 시각적인 요소의 역할이 더욱 확장되는 디지털 시대의 감각 환경속에서 소리가 주는 풍부한 감성을 바탕으로, 시각과 청각의 공감각과 복합감각적 특성을 통한 새로운 감성적 메시지를 전달할 수 있다. 본 연구에서는 청각과 시각적 요소의 역할이 더욱 확장되는 디지털 시대의 감각 환경 속에서 소리가 주는 풍부한 감성을 바탕으로, 청각과 시각의 공감각적 요소를 살펴보고자 한다. 키보드와 마우스의 입력장치에서 벗어나 마이크 입력장치를 통한 실시간 관객의 소리를 소프트웨어로 통하여 소리의 음량(volume)값을 측정하게 하여 소리의 음량높이에 따라 시각적으로 표현하는데 그 목적이 있다. 또한, 사운드 아트의 역사 분석에 의해 기존의 추상적, 구상적 시각 표현 방향에서 벗어나 스토리가 담겨있는 다양한 시각 표현 연구를 제안하고자 한다. 관객의 소리 발생에는 단순히 마이크에 박수와 말 뿐만 아니라 본 연구 “마리오네트의 오케스트라 대소동” 소재와 어울리는 장난감 악기를 준비하여 재미와 즐거움을 줄 수 있는 퍼포먼스라 할 수 있다. 소리에 반응하는 시각화 표현에 있어서 청각과 시각의 공감각적 요소를 모색하는 기술적면보다는, 소리의 특성과 감성적 수용 및 시각적 표현 관점으로 접근하였으며, 작품 속 이야기가 관객으로 하여금 직접 만들어갈 수 있도록 한다. 또한, 이것은 사운드 아트에 있어서 그 주체적인 역할에 대한 가능성을 모색하는 가운데 청각과 시각 여러 감각의 통합 시대에 발을 맞추어 다양한 표현 시도이며 사운드 아트의 시각화 표현의 확장이 될 수 있다. 본 연구를 통해 사운드에 반응하는 시각적 표현연구에 있어 기술이 이끌고 있다는 느낌은 작가 스스로 연구하는 자세로 작업에 임할 필요가 있으며, 스토리를 관객이 만들어 갈수 있는 인터페이스 표현연구는 소리의 음량값이 관객의 의도가 아닌 음량이 발생할 경우 스토리 표현에 있어 한계가 있음을 밝혀 두며 향후 연구과제가 될 것이다.