입체음향을 활용한 몰입형 VR 뮤직비디오 애니메이션 제작 연구

Abstract

Virtual Reality(VR), which has begun in earnest due to the development and development of technology, is a new new media content field that will bring new possibilities even after the pandemic brought by COVID-19. However, despite the rapid development of technology, the VR market lacks "killer content" that viewers can enjoy. Unlike general videos, VR needs to be developed through differentiated production because of its unique story progression and viewing method. Sound plays an important role as visual elements due to the lack of framing in VR display. In addition, many VR production studies are still actively progressing. However, among a number of directing research cases, it can be seen that sound-oriented research is insufficient compared to visual elements. The purpose of this study is to recognize the limitations of such directing and to focus on the elements of stereoscopic sound to propose a sound-oriented directing method and to understand its effectiveness through the production of VR animation music video that can help the development of various VR contents in the future. In this study, previous studies were examined focusing on VR animation, sound production, and stereoscopic sound. In order to understand the characteristics of VR animation and the method of production focused on sound, the sound production characteristics of general movies and VR movies were classified. In addition, the three-dimensional nature of video sound was studied to express the characteristics of VR which mimics the real world. In particular, to suggest that space can be effectively expressed using stereoscopic sound, stereoscopic sound elements were derived as location and direction, reverberation, and distance of hearing. Afterwards, through case studies, the three stereoscopic VR animations 'Pearl', 'Sonaria', and 'Walls in the Walls' were analyzed to reflect the stereoscopic sound elements derived earlier, and the production plan was proposed as followed. The production plan can be largely divided into 'position of sound', 'reflection of sound', and 'distance of sound'. First of all, the location of the sound has a directing effect that can draw the eyes of visitors through a sound source that varies depending on the location and direction of the sound in a three-dimensional space, and can create a vivid sense of immersion when the exact location is identified. The reflection of the sound can create a sense of space through the control of echoes and reverberations according to the space, and maximizes the emotions of the work through the emphasis of reverberation. Finally, the distance of sound can be intentionally distorted and used to reverse the mood or emphasize a specific sound, and the richness of sound that varies depending on the sound root can create a sense of distance in space. In order to apply the finally proposed production plan, the VR animation 'Plop' was produced with Quill, an immersive VR drawing tool. This VR content is aimed at finding people’s own "rest" away from the stuffy modern society, and allows viewers to experience and immerse themselves in three-dimensional sound. After the production of the work, a user survey was conducted to understand the effectiveness of the sound production method applied to the music video. Regarding the location of the sound, there were many opinions that it was possible to accurately identify the location when using a sound source with a large amount of effect, and that it had an effective sense of immersion and attracting attention. The reflection of the sound effectively expressed the sense of space, but received conflicting responses in maximizing emotional production. This part was improved by adjusting the echo effect that fits each emotion. The focus of the sound was said to be effective in creating tension in the mood of the work through intentionally overlapping sounds. However, in terms of distance, there was a limit to expressing only the overlapping and volume of sound, so it was found that it would be more effective when used in combination with the location of the sound and the reverberation of the sound. This study has a meaning in animation music video genres that actively use the spatial characteristics of VR, and in making the VR production method of creating new genres like music videos. It expects the development of VR contents such as music videos or games using stereoscopic sound in virtual reality.;기술의 개발과 발전으로 본격화된 가상현실(Virtual Reality) 미디어는 코로나-19가 불러온 비대면의 유행 이후에도 새로운 가능성을 가져다 줄 새로운 뉴미디어 콘텐츠 분야 중 하나다. 그러나 VR 기술의 빠른 발전에도 불구하고 관람자들이 즐길 수 있는 ‘킬러 콘텐츠’는 여전히 부족한 실정이다. VR은 일반적인 영상과 다르게 스토리의 진행과 관람방식이 다르기 때문에 차별화된 연출을 통해 전개될 필요성이 있다. 특히, 프레임이 없는 VR의 특성상 생생한 몰입감과 현장감을 위한 입체 사운드는 필수적인 요소로 간주되어야 한다. 그러나 VR 연출연구가 활발히 진행되고 있음에도 불구하고 다수의 사례 중 사운드 중심의 연구는 시각 요소 연출연구에 비해 적게 다뤄지고 있는 현황이다. 본 연구의 목적은 이러한 연출의 한계점을 설명하고 입체음향으로 연출된VR 애니메이션 뮤직비디오를 제작하는데 있으며, 이를 통해 향후 다양한 VR 콘텐츠의 발전에 도움이 될 수 있는 VR 뮤직비디오 애니메이션 제작방식을 제안하고자 한다. 본 연구에서는 VR 애니메이션과 사운드 연출, 입체음향을 중심으로 선행연구를 살펴보았다. VR 애니메이션의 특징과 작품 제작 방식을 이해하고 이에 적용할 수 있는 사운드 연출요소를 연구하기 위해 일반 영상과 VR 영상의 사운드 연출 특징을 파악했다. 또한 현실공간을 재현한 VR의 특성을 살리기 위해 영상 사운드의 입체성에 대해 알아보았다. 특히 효과적으로 공간감을 표현할 수 있도록 사운드가 입체적인 공간에서 연출될 때 나타나는 특징에 따라 위치와 방향, 반향음, 그리고 청점으로 정리하였다. 이후 3편의 입체영상 ‘Pearl’, ‘Sonaria’, ‘Wolves in the Walls’의 사례연구를 통해 앞서 정리한 입체음향 요소를 반영하여 분석하고 다음과 같은 입체음향 연출방안이 사운드를 강조하기에 효과적임을 도출해내었다. 입체음향의 연출 방식은 크게 ‘사운드의 위치’, ‘사운드의 반사’, ‘사운드의 청점’으로 나누었다. 가장 먼저 사운드의 위치는 입체공간에서 사운드가 가지는 위치와 방향에 따라 달라지는 음원을 통해 관람객의 시선을 유도할 수 있는 연출 효과를 보였으며, 정확한 위치를 파악할 수 있을 때 생생한 몰입감을 연출할 수 있다. 사운드의 반사는 공간에 따른 에코와 잔향의 조절을 통해 공간의 현장감을 연출할 수 있으며, 반향음의 강조를 통해 작품의 극대화된 감정을 연출한다. 마지막으로 사운드의 청점은 의도적으로 소리원근을 왜곡하여 사용해 분위기를 반전시키거나 특정 사운드를 강조시키는 연출을 할 수 있으며, 소리원근에 따라 달라지는 사운드의 풍부함을 통해 공간의 거리감을 연출할 수 있다. 도출된 입체음향의 연출방안을 적용하기 위해 VR 애니메이션 ‘풍덩(Plop)’을 몰입형 VR 드로잉 도구인 Quill로 제작하였다. 작품에서는 답답한 현대사회에서 벗어나 자신만의 ‘쉼’을 찾고자 하며, 관람자들이 입체 사운드를 통해 작중 캐릭터와 세계에 몰입하는 체험을 제공하고자 한다. 작품 제작 이후 뮤직비디오로서 입체음향이 서사에 어떻게 영향을 주는지, 또 VR의 몰입력과 상호작용성에 어떤 효과가 있는지 파악하기 위해 사용자 조사를 실시하였다. 사운드의 위치에 관해서는 양이효과가 큰 음원을 이용했을 때 정확한 위치 파악이 가능했고, 효과적인 몰입감과 시선유도를 한다는 의견이 많았다. 사운드의 반사는 공간의 현장감을 효과적으로 표현하였지만, 극대화된 감정 연출에 있어서는 상반된 응답을 받았다. 이 부분은 각각의 감정에 맞는 반향음 효과의 조절로 개선하였다. 사운드의 청점은 중첩된 사운드를 통해 작품의 분위기에 긴장감을 주는 연출이 효과적이라는 의견을 받았다. 다만 거리감에 있어서는 사운드의 중첩과 음량만으로 표현하는 데에 한계가 있어 사운드의 위치와 사운드의 반사 연출방안과 혼합하여 사용했을 때 더욱 효과적일 것으로 파악하였다. 본 연구는 VR의 공간성을 적극적으로 활용한 입체음향이 연출된 애니메이션 뮤직비디오를 제작하고 새로운 뮤직비디오의 연출 및 제작방식에 대한 효과를 파악하는 것에 의의를 가진다. 본 논문의 이론적 근거와 도출된 입체음향 연출 요소를 통해 향후 진행될 VR의 사운드 연출방안 연구의 발판을 마련하고, 입체음향을 활용한 뮤직비디오와 게임 등의 VR 콘텐츠 개발이 발전하기를 기대한다.