동작 기반 인터랙티브 사운드 오브제에 나타난 메타포 유형 연구

Abstract

본 연구는 인터랙티브 악기(Interactive Musical Instrument)와 인터랙티브 사운드 인스톨레이션(Interactive Sound Installation)을 구성하는 디자인 요소를 정의하고 작품의 인터페이스, 제스처, 사운드, 경험(embodiede experience) 디자인에 반영된 메타포를 물리적(physical), 행위적(gestural), 음향적(sonic), 체현적(embodied) 유형으로 구분하여 분석한다. 이를 통하여 동작 기반 인터랙티브 사운드 오브제에서 메타포가 어떻게 활용되는지 메타포 유형간의 일치성, 일관성, 연관성의 관점으로 분석하여 목적에 따라 어떤 연관성으로 메타포를 설계할 수 있을지 논의한다. 사운드를 출력하는 인터랙티브 악기 또는 인터랙티브 설치물에서 공연자 또는 참여자는 작품의 인터페이스를 마주하게 되고 그에 알맞은 동작을 취하여 그에 대한 결과물로서의 사운드를 듣게 된다. 이때, 작품은 센서를 통해 동작을 인식하고 미리 디자인된 매핑 전략에 따라 사운드를 출력한다. 이러한 동작 기반의 인터랙티브 작품은 사운드 출력을 위해 참여를 필요로 하며 작품과의 인터랙션을 유도한다. 따라서, 동작 기반 인터랙티브 사운드 오브제를 설계할 때 데이터 매핑과 더불어 개념 매핑이 중요한데 이러한 커뮤니케이션적 요소를 작품에 어떠한 연관성으로 어떻게 효과적으로 반영할 것인지에 대한 연구가 필요하다. 이러한 연구의 목표를 달성하기 위해 연구대상을 동작 기반 인터랙티브 사운드 오브제로 정하여 사운드를 이용한 새로운 형태의 인터랙티브 악기 또는 설치 작품으로 범위를 설정하였고 동작 기반 인터랙티브 사운드 오브제의 구성 및 데이터 매핑 요소를 선행 연구를 통해 도출하였다. 이론적인 배경으로 개념 매핑에 활용할 수 있는 메타포에 대한 연구를 진행하였으며 메타포의 유형을 세부적으로 정리하여 디자인 요소들과 매칭하고 작품 분석을 위한 틀을 마련하였다. 메타포에 대한 선행연구는 기존 인지심리, 인지과학 등에서 바라본 메타포의 개념에 대한 이론과 메타포의 커뮤니케이션적 역할과 기능에 대해 다룬 인터페이스 디자인 연구들과 더불어 레이코프와 존슨이 제시한 개념메타포(conceptual metaphor)를 체현인지 관점으로 살펴보았다. 본 연구에서는 메타포를 인간의 오감에 의한 경험 및 체현된 경험으로 확장시켜 유형을 세분화하고 동작 기반의 인터랙티브 사운드 오브제 디자인 요소들과 연관지어 분석을 시도하였다는 점에 의의가 있다. 본 연구는 실제 작품 연구를 통해 작품에 반영된 다중 모드 메타포의 일치성, 주 메타포와 보조 메타포간의 일관성, 메타포 유형간의 상호연관성에 대하여 일반적인 추이를 발견할 수 있었다. 인터랙티브 악기일 때는 주로 소리의 요소들을 바꿔가며 연주할 수 있는 악기의 경우와 실험 음악으로 나타나는 경우로 세분화할 수 있었다. 여타 전통적인 악기처럼 음고, 음량, 음길이, 음색 등의 요소를 바꿔가며 연주할 수 있는 새로운 형태의 인터랙티브 악기는 행위적 메타포와 음향적 메타포가 높은 연관성을 보였고 주 메타포와 보조 메타포가 대부분 일관성있게 반영되었으며 메타포 유형들도 일치하는 경향을 보였다. 실험 음악으로 나타나는 인터랙티브 악기의 경우 음악적 요소를 생성하기 보다는 음악의 새로운 시도를 보여주는 악기 형태로 물리적인 메타포와 음향적인 메타포가 높은 연관성을 보였다. 악기의 형태로부터 연상되는 사운드가 대체로 일치하며 나타났다. 주 메타포와 보조 메타포는 다양한 메타포로 중첩되어 나타나는 경향을 보였다. 인터랙티브 사운드 인스톨레이션의 경우, 놀이 또는 게임이 합주로 나타나는 설치물과 일상의 사물 또는 소리가 변형된 형태를 체험하는 설치물로 나눌 수 있었다. 설치물이 놀이 또는 게임으로 나타나는 경우, 물리적 메타포와 행위적 메타포가 높은 연관성을 띠며 나타났고 이와 더불어, 물리적 메타포와 체현적 메타포도 높은 연관성을 보였다. 형태 자체에서 특정 놀이 또는 행동의 메타포를 담고 있어서 관객의 행동을 자연스럽게 유도하였고 참여 과정은 놀이의 형태, 결과는 합주의 형태로 나타나는 경우가 많았다. 주 메타포와 보조 메타포는 비교적 일관성있게 나타났고 메타포 유형간의 일치성도 대체로 높았다. 마지막으로 일상의 소리 또는 사물의 소리 변형을 체험하는 설치물의 경우에도 물리적 메타포와 행위적 메타포가 높은 연관성을 보였으며 행위적 메타포와 체현적 메타포 또한 연관성이 높았다. 이를 통해 작품과의 직접적인 접촉을 통해 몸으로 체현하는 경험이 작품의 형태와 동작과도 높은 연관성이 있음을 확인할 수 있었다. 주 메타포는 주로 일상의 소리로 나타났고 보조 메타포는 주 메타포를 보충하는 다양한 소리들로 일관성있게 나타났다. 본 연구를 기반으로 연구자나 디자이너가 동작 기반 인터랙티브 사운드 오브제를 디자인할 때 고려할 수 있는 요소 및 메타포 유형을 인지하고 커뮤니케이션 요소로 메타포를 설계할 때, 유형간의 연관성을 고려하여 효과적으로 활용하는 데 참고할 수 있기를 기대한다.;This study aims to define the basic elements of design in a sonic interactive object and relate them with the different metaphor types including physical metaphor, gestural metaphor, sonic metaphor, and embodied metaphor that are reflected on the interface, gesture, sound, and embodied experience. It discusses how the concept mapping can be effectively done by utilizing metaphor and considering the relationships between the types of metaphor when designing a sonic interactive object. When a performer or a visitor interacts with an interactive musical instrument or interactive sound installation, the person first faces the interface of the object and puts an input through certain gestures and hears sound as an outcome. At this moment, the object reacts to the person by recognizing the gestures through sensors and generating sound according to the mapping strategy. Sonic interactive objects require visitors’ participation in order to make sound and interact with them. Thus, it is important to study how to design the elements of communication effectively in the concept mapping of a sonic interactive object along with the data mapping. In order to achieve the goal of this study, the research objects were defined as sonic interactive objects, including a new form of interactive musical instrument and interactive sound installation. The basic design elements of a sonic interactive object were defined as interface, gesture, primary feedback as bodily feeling and secondary feedback as sound. Then, metaphor was thoroughly studied through literature review. The background research on metaphor included the basic concept of mataphor from the cognitive psychology and cognitive science perspective, as well as the communicative functions and cognitive roles of metaphor that are often utilized in the interface deisign. In addition, conceptual metaphor, which was first proposed by Lakoff and Johnson from the perspective of embodied cognition, was investigated. The types of metaphor were classified and matched with the design elements respectively in order to construct the analyzing frame. This study has a significance in the aspect that it expanded the area of metaphor to embodied experience and subdivided the types of metaphor with various senses including visual, sonic, gestural and tactile information. Furthermore, it attempted to analyze the design elements of a sonic interactive object in relation to the types of metaphor. This study found out the general tendency as the results of analysis. The investigation was processed on the well-made sonic interactive objects in order to evaluate the relationship between the metaphor types from the three aspects, including the conformity, consistency, correlations of the different types. Interactive musical instruments showed a tendency to appear in two different sub-categories, which include a new form of a musical instrument and an experimental instrument. First type functioning as a typical musical instrument with the controllers showed a high correlation between gestural metaphor and sonic metaphor with high consistency between the main metaphor and sub metaphors, and high conformity between the metaphor types. Second type showed a high correlation between physical metaphor and sonic metaphor. Form and sound tend to show conformity in metaphor, but sub metaphors varied and some overlapped. In case of interactive sound installation, it tends to appear within two sub-categories including playful installation with music and interactive installation with transformed ordinary sounds or objects from everyday life. The former type showed high correlations between physical metaphor and gestural metaphor as well as between physical metaphor and embodied metaphor. The main and sub metaphors seem to be consistent in the concept of ‘play’ and the conformity between the metaphor types was high, in general. The latter one, which transforms ordinary objects and sounds into a whole new experience, showed high correlations between physical metaphor and gestural metaphor as well as between gestural metaphor and embodied metaphor, showing that bodily feelings were related to the form and gesture inputs of the artwork. The main and sub metaphors showed consistency in sound and sub metaphors supported the main metaphor including various sounds from everyday life. A researcher or a designer, therefore, can use this study as a reference to design concept mapping of a sonic interactive object, considering the design elements and metaphor types that can be constructed in a way that they work together effectively as a communicative element to enable a performer or a visitor to recognize what they are expected to do with the object more instinctively.