놀이 유형과 제스처 인터페이스에 따른 관객 참여형 미디어 공연 연구

Abstract

공연은 역사적으로 다양한 문화와 장르가 융합되어 형성된 콘텐츠로, 디지털 기술의 발전과 더불어 관객의 관람 방식 또한 점차 다변화되고 있다. 디지털 기술의 핵심 개념 중 하나인 놀이는 현재 사회, 문화, 예술 등 여러 분야에 폭넓게 접목되고 있으며, 이는 예술 표현 양식의 확장 가능성을 제시한다. 현대 사회는 디지털 기술과 상호작용 미디어의 급속한 발전으로 인해 예술 경험의 양상 역시 빠르게 변화하고 있으며, 특히 미디어 공연 영역에서는 관객의 능동적 개입과 몰입이 새로운 예술 형식의 주요 구성 요소로 부상하고 있다. 본 연구는 미디어 공연에서 관객의 참여를 제고하기 위해 놀이 유형의 형식을 적용한 새로운 접근 방식을 제안하였다. 놀이 이론 관점을 기반으로 제스처 인터페이스를 활용한 미디어 공연에서 관객의 참여 구조를 심층적으로 탐색하고, 공연 제작을 통해 구체적인 관객 참여 시나리오를 제안하는 데 목적이 있다. 본 연구는 로제 카이와(Roger Caillois)의 놀이 유형인 아곤, 알레아, 미미크리, 일링크스(Caillois, 2018)를 제작 형식의 틀로 삼아 미디어 공연의 관객 참여 유형을 관조적, 능동적, 해석적 참여라는 세 가지 범주로 분류하고 각 유형의 참여 특성과 제스처 특성을 분석하였다. 먼저, 관객 참여 유형 관련 이론을 고찰하고 미디어 공연에서의 관객 참여 유형을 관조적 참여, 능동적 참여, 해석적 참여의 세 가지로 구분하였다. 또한 로제 카이와(Roger Caillois)의 놀이 이론을 미디어 공연 맥락에 적용하여 아곤(경쟁), 미미크리(모의), 알레아(우연), 일링크스(현기증)의 네 가지 놀이 구조가 각각 어떻게 공연 구성과 관객 경험에 반영되는지 분석하였다. 이를 통해 놀이 유형이 관객 몰입과 상호작용 유도에 핵심적인 역할을 수행함을 확인하였을 뿐만 아니라 미디어 공연에서 네 가지 유형의 개념을 재해석하였다. 한편, 제스처 인터페이스에 대한 분석에서는 미디어 공연에서 제스처가 단순한 입력 도구를 넘어 신체와 기술, 감정과 공간, 의미와 서사를 연결하는 통합적 매개 장치로 작동함을 밝혔다. 제스처 기반 미디어 공연은 기술적 방식과 표현 유형에 따라 제어 제스처 기반 동작 인식, 커뮤니케이션 제스처 기반 동작 인식, 제어 제스처 기반 음성 인식, 커뮤니케이션 제스처 기반 음성 인식 등의 네 가지 유형으로 분류할 수 있는데, 이러한 각각의 유형이 생성하는 상이한 참여 경험을 분석하였다. 마지막으로 관객 참여 유형, 놀이 구조, 제스처 인터페이스의 상호작용을 통합 분석함으로써, 놀이와 제스처 인터페이스에 따른 미디어 공연 참여 유형을 분석하였다. 관조적 미디어 공연의 참여는 주로 미미크리 놀이 유형에 기반하여 감상 중심의 수동적 수용 방식을 특징으로 하며, 커뮤니케이션 제스처를 통해 내면적 몰입을 유도한다. 능동적 참여와 해석적 참여의 제스처 유형은 제어 제스처 기반 동작 인식과 커뮤니케이션 제스처 기반 동작 인식과 병행되는데, 능동적 미디어 공연의 참여는 미미크리와 알레아가 결합된 놀이 구조 속에서 관객이 제스처나 언어 입력을 통해 직접 공연에 개입하는 방식으로 기술적 상호작용을 통해 하이브리드 경험을 형성하는 반면, 해석적 미디어 공연의 참여는 미미크리를 중심으로 아곤, 알레아, 일링크스의 놀이 유형이 복합적으로 작동하며 관객이 공연의 의미를 창조적으로 재구성하는 과정에서 제스처가 정체성 수행과 감정 표현의 매개로 기능한다. 이러한 이론적 분석을 바탕으로 본 연구는 작품 <배·별>을 제작하여 실험을 진행하였다. 해석적 미디어 공연 중심으로 미미크리와 아곤의 놀이 형식을 참고하여 스토리 시나리오에 따라 해당되는 제스처 인터페이스를 설계하였다. 구체적인 참여 시나리오와 디지털 구현 구조를 제작하여 시연을 진행하였는데, 시연 종료 이후 공연에 참여한 관객의 경험을 설문 및 심층 인터뷰를 통해 질적으로 분석하였다. 본 작품 공연을 기존의 관조적 감상과 명확히 구분되는 몰입적 체험으로 인식하고 있었으며, 서사 구조와 상호작용 설계를 통해 해석적 참여 욕구가 극대화되는 경험을 하고 있음이 확인되었다. 본 연구는 ‘놀이-제스처-참여 구조’의 상호작용에 주목하여 놀이의 형식이 관객의 몰입도를 어떻게 변화시키고, 제스처라는 인터페이스 형식이 자발적 참여를 어떠한 방식으로 매개하는지 탐색하였다. 이러한 접근은 소규모 미디어 공연의 실천적 기획뿐만 아니라 디지털 시대의 예술 소비 구조에 대한 이론적 이해를 확장하는 데 기여할 것이다. 본 연구는 향후 이머시브 공연, 인터랙티브 콘텐츠 디자인, 인공지능·메타버스 등 신기술 기반 공연 등 확장된 미디어 공연 분야에 실질적 기여를 할 수 있는 기초 연구로서의 의의를 가지며, 나아가 진화된 참여형 공연 패러다임을 구축할 수 있을 것으로 기대한다.;Performances are content that has historically been formed by the fusion of various cultures and genres, and with the development of digital technology, the way audiences watch them is also gradually diversifying. Play, one of the core concepts of digital technology, is currently being widely applied to various fields such as society, culture, and art, and this suggests the possibility of expanding the form of artistic expression. In modern society, the aspect of artistic experience is also rapidly changing due to the rapid development of digital technology and interactive media, and in particular, in the area of media performance, active intervention and immersion of the audience are emerging as key components of a new art form. This study proposes a new approach that applies the format of play types to enhance audience participation in media performances. The purpose is to deeply explore the structure of audience participation in media performances utilizing gesture interfaces based on play theory perspectives and to propose specific audience participation scenarios through performance production. This study uses Roger Caillois's play types — agon, alea, mime, and ilinx (Caillois, 2018) — as a framework for production formats, classifying audience participation types in media performances into three categories: contemplative, active, and interpretive participation. It then analyzes the characteristics of each type of participation and gesture. First, we reviewed theories related to audience participation types and categorized audience participation in media performances into three types: contemplative participation, active participation, and interpretive participation. Additionally, we applied Roger Caillois's theory of play to the context of media performances and analyzed how the four structures of play — agon, mimicry, aleaand ilinx — are reflected in performance composition and audience experience. Through this, he confirmed that play types play a key role in inducing audience immersion and interaction, and reinterpreted the four types in the context of media performances. Meanwhile, in his analysis of gesture interfaces, he revealed that gestures in media performances function as integrated mediating devices that connect the body and technology, emotions and space, and meaning and narrative, beyond being mere input tools. Gesture-based media performances can be classified into four types according to their technical methods and expression types: control gesture-based motion recognition, communication gesture-based motion recognition, control gesture-based voice recognition, and communication gesture-based voice recognition. The study analyzed the different participatory experiences generated by each of these types. Finally, by integrating and analyzing audience participation types, play structures, and gesture interface interactions, we analyzed media performance participation types based on play and gesture interfaces. Observational media performance participation is mainly based on mimetic play types and is characterized by a passive reception method focused on appreciation, inducing internal immersion through communication gestures. The gesture types of active participation and interpretive participation are based on both control gesture-based motion recognition and communication gesture-based motion recognition. Active participation in media performances is characterized by the formation of hybrid experiences through technical interaction, where audiences directly intervene in the performance through gestures or language input within a play structure combining mimicry and alea. In interpretive media performances, gestures function as a medium for identity performance and emotional expression as the audience creatively reconstructs the meaning of the performance through a complex interplay of mimicry, agon, alea, and ilinx. Based on this theoretical analysis, this study produced the work <Worship ·Farewell> and conducted an experiment. Referencing the play forms of mimicry and agon centered on interpretive media performance, a gesture interface corresponding to the story scenario was designed. Specific participation scenarios and digital implementation structures were created and demonstrated, and after the demonstration, the experiences of the audience who participated in the performance were qualitatively analyzed through surveys and in-depth interviews. The performance of this work was recognized as an immersive experience that was clearly distinct from conventional contemplative appreciation, and it was confirmed that the narrative structure and interaction design maximized the desire for interpretive participation. This study focused on the interaction between “play-gesture-participation structure” to explore how the form of play changes the audience's level of immersion and how the gesture interface mediates voluntary participation. This approach will contribute to expanding theoretical understanding of the structure of art consumption in the digital age, as well as practical planning for small-scale media performances. This study holds significance as foundational research that can make substantial contributions to expanded media performance fields such as immersive performances, interactive content design, and performances based on new technologies like artificial intelligence and the metaverse. Furthermore, it is anticipated to help establish an evolved participatory performance paradigm.