인터랙티브 미디어아트에서의 관객 표정에 따른 시각·청각적 감정 표현 연구

Abstract

감정 표현은 표정, 소리, 몸짓 등 여러 가지 수단이 있고 이는 모두 일종의 기초적 언어 단위로서 사회에 만연하게 녹아 들어 있다. 하지만 인간 대 인간, 오프라인 현장 위주로 발전해온 문화적 표현들이 점점 화면 안의 가상공간으로 치환, 전이되는 흐름에서 기존에 존재하던 감정 표현들은 기기나 매체에 맞추어 위축되고 단순화되는 상황이다. 그중에서도 특히 표정은 감정을 표현하는 가장 직접적인 수단이면서도 온라인 환경에서는 사용되지 않았다. 지금까지 화면 밖의 표정은 감지되지 않는 경우가 많았기 때문에, 화면 안에서는 격한 감정을 표현하면서도 실제로는 무표정이거나 최소한의 감정만 나타내는 일이 현대인에게서 자주 발견된다. 대상을 지칭하는 언어와 수단이 사라지면, 그 대상 또한 희미해지듯이 이러한 현상에서 감정 표현 수단을 단순화하는 데에만 초점을 맞춘다면 실제 인간의 감정 이미지 양상 또한 미래에는 상당히 많이 변질할 가능성이 있다. 따라서 감정을 표현하는 수단과 그 속성에 대해 충분한 이해를 바탕으로 표현 방식을 다양화하고 실제 만날 때 사람들이 많은 감정 신호들을 섞어 사용하듯 복합적인 감정 표현을 개발할 필요성이 있다. 이를 위해 감정에 대한 이론적 배경과 선행 사례조사를 통해 공통 메커니즘을 파악하여 작품에 적용하고자 하였다. 작품 ‘Mirror of Truth’는 표정으로 나타나는 감정을 블록(block)이라는 소재로 치환하여 시각화하고 이를 다시 청각화함으로써 관객과의 다양한 감정 상호 교류 및 체험을 유도하는 인터랙티브 미디어아트 작품이다. 작품은 행복, 놀람, 슬픔, 공포, 혐오, 분노의 6가지의 감정을 표정 인식 AI를 통해 인지하도록 설계되었다. 그리고 그것을 색감, 형태, 사운드 등의 조합과 분해를 통해 작품 속 가상공간에서 감정을 시각, 청각화하는 구조이다. 따라서 사용자는 감정을 각기 다른 블록 형태로 치환하여 현재의 상태나 특정 상황에 따른 감정 상태를 해석할 수 있게 되고 이는 일종의 언어로서 감정의 다차원적 체험을 할 수 있도록 하였다. ‘Mirror of Truth’는 감정의 혼합되며 쌓이고 합쳐지는 특징을 모티브로 한 감정 블록 시스템을 중심으로 사용자의 감정을 표현하도록 구상되었다. 작품에서 감정 블록 시스템은 인식하기 쉬운 6가지 기본 감정이 제일 작은 단위가 되어 쌓이고 넘치는 과정을 통해 혼합된 이차적 복합 감정들을 나타낸다. 여기서 감정의 주체인 관람객과 객체인 거울 속 AI는 끊임없이 서로의 역할을 주고받으며 상호작용을 하는 구조이다. 관람객들은 이러한 과정을 통해 감정의 속성을 이해하고 체험하도록 유도된다. 본 연구 작품에서 제안하는 표현 방식이 앞으로 인터랙티브 미디어아트 분야를 비롯한 여러 분야에서 감정 표현 방식으로써 널리 사용되고 관련하여 더 다양한 연구가 진행될 수 있기를 바란다. ;Emotional expression has various means such as facial expressions, sounds, and body gestures, all of which are pervasive in society as basic language. However, In the situation that the cultural expression developed offline is gradually translated into virtual space on screens, the emotional expressions in the real world are shrinking and being simplified for the means. Among the expressions, the facial expression is the most direct in expressing emotions, which has not been used in an online environment because of the difficulty to detect facial expressions in electrical devices. Accordingly, modern people tend to express emotions freely on screens but make no to little facial expressions in reality. As the language and means of referring to an object disappear, the reason for the object's existence also becomes obsolete. Likewise, focusing only on simplifying the means of expressing emotion could distort human emotional image considerably in the future. Therefore, there is a need to diversify online expression presentations based on a sufficient understanding of the means of expressing emotions to develop a mimicry of complex emotional expressions, an interaction of many signals, of the offline world. For such need, this work aimed to apply the mechanism of emotion common in both theoretical understanding and case studies.ﾠ The work "Mirror of Truth" is an interactive media artwork that induces various emotional interactions with the audience by replacing emotional facial expressions with visual block elements and auditory cues. The work utilizes facial expression recognition AI to detect six emotions: happiness, surprise, sadness, fear, disgust, and anger. Through the combination and decomposition of color, shape, and sound, emotions are conveyed through visual and auditory signals in the virtual space. Users can substitute their emotions into the visual blocks, which can be used to present or understand current or past emotional states, altering emotions into a linguistic property for a multidimensional experience. Mirror of Truth focuses on an emotional block system based on the mixing, accumulating, and merging of emotions. In the work, the emotion block system presents secondary complex emotions in which the six basic emotions become the smallest unit for accumulation and overflow. Visitors, the emotional subject, and AI, the object in the mirror, interact and respond to one another. Visitors understand and experience the nature of emotions through the interaction. It is hoped that the expression method proposed in this study will be widely used as an emotional expression method in various fields, including the field of interactive art, and more diverse research be conducted in relation to it.