2D 스테레오 VR 애니메이션의 현전감 강화를 위한 공간 연출 방안 연구

Abstract

가상현실 기술은 최근 오감 관련 기술 및 HMD(Head Mounted Display) 장비의 발전으로 인한 안정화 국면에 접어들었고, 5G 기반 네트워크 보급과 함께 여러 분야에서 시장의 관심을 받고 있다, 코로나-19로 인해 비대면 작업이 현실 일상에 필수가 되면서 포스트 코로나 시대에도 새로운 가능성을 보여줄 것으로 기대하고 있다. 이러한 흐름 속에서 애니메이션 분야도 다양한 VR(Virtual Reality) 콘텐츠들을 선보이고 있는 가운데, 전통적 애니메이션 제작 방식인 2D 애니메이션의 감성과 표현방식을 활용하기 위한 2D 스테레오 VR 애니메이션을 제작하는 것이 본 연구의 목적이다. 이론적 배경 고찰, 연출 방안 도출, 2D 스테레오 VR 애니메이션 장면 제작, 사용자를 대상으로 한 평가 실험을 통한 검증, 제작을 위한 가이드라인 도출의 절차로 진행되었으며 연구에 대한 결론은 다음과 같다. 먼저 선행연구를 통해 가상현실의 동향을 살펴본 결과 HMD 위주의 몰입형 가상현실이 주류를 이루고 있고, 사용자들이 향유할 수 있는 콘텐츠들이 계속 요구되고 있다. 상상 속의 가상공간을 구현할 수 있다는 장점에 VR 애니메이션들이 활발히 만들어지고 있는데, 3D 그래픽 애니메이션이 대부분으로 드로잉과 컷아웃 기법의 2D 애니메이션 콘텐츠는 찾아보기 힘들었다. 하지만 여러 가지 방법으로 2D 애니메이션의 기법을 적용해보려 하는 연구들이 시도되고 있는 것을 확인할 수 있었다. 그리고 HMD의 스테레오 디스플레이 특성을 기반으로 최근의 가상현실 콘텐츠들은 대부분 입체기술을 적용하고 있기 때문에, 입체기술을 2D 애니메이션에도 적용 가능한지를 탐색하였다. 2D 스테레오(Stereo) 애니메이션 제작에 관한 연구도 역사적으로 꾸준히 진행되어왔다. 이러한 선행연구들을 바탕으로 2D 애니메이션에 입체기술을 적용한 VR 애니메이션 역시 가능하다고 볼 수 있다. VR 애니메이션은 매체의 특성상 기존의 영상 연출을 대신할 공간 중심의 연출이 요구된다. 더불어 2D 애니메이션은 상대적으로 공간감과 입체감이 약할 수밖에 없으므로 이를 보완하여 현전감을 강화하기 위한 연출 방안 역시 필요하다고 보았다. 이를 위해 VR 애니메이션의 연출에 관한 선행연구들을 탐색하였고, VR 영상의 특성 위주로 기존 영상의 연출을 대체할 수 있는 VR 애니메이션의 연출 방안들을 작업 단계와 영역별로 추출하였다. 그리고 입체영상의 공간과 깊이감을 지각하기 위한 원리와 건축의 인위적 원근법으로 공간감을 강조하는 원리들을 고찰하고 실제적인 공간을 기반으로 연출을 하는 분야인 연극과 전시의 공간 연출에 관한 연구들도 탐색하였다. 이를 바탕으로 2D 스테레오 VR 애니메이션에 적용할 수 있는 공간 중심의 연출 방안을 도출하였다. 본 연구는 어도비 애프터이펙트를 사용하여 2D 스테레오 VR 애니메이션을 제작하는 방식을 제안한다. 애프터이펙트의 3D 레이어와 VR 환경 구성 기능을 사용하여 3차원 가상공간 위에 포토샵으로 제작한 배경과 캐릭터 컴포지션을 배치하고 디지털 컷아웃 기법으로 움직임을 추가해 2D VR 애니메이션을 구현하였다. 이 방식으로 생성한 VR 환경을 똑같이 하나 더 제작하고 양쪽 VR 환경의 카메라 위치를 각각 양안 시차의 간격만큼 수동으로 조절하여 스테레오 VR 애니메이션을 구현할 수 있었다. 오큘러스 퀘스트 HMD로 완성한 영상을 확인한 결과 2D 스테레오 VR 애니메이션에서도 입체감과 공간감이 정상적으로 구현된 것을 확인하였다. 하지만 장면별로 공간감에 편차가 크게 나타나는 문제를 해결하기 위해 공간 중심의 연출을 기획과 스토리보드 단계에서부터 적용하여 레이어 별 공간 배치 및 동선을 설계하였다. 그리고 1차로 제작한 영상을 HMD에서 확인 후 레이어의 크기와 높이, 간격을 연출 방안에서 도출한 깊이와 원근에 대한 원리를 바탕으로 수정하였다. 또한 장면별로 시점과 공간면적을 통일하였으며, 그림자를 적용하고 장면 전환 효과들을 추가하여 2차 영상을 제작하였다. 2차 영상을 확인한 결과, 1차 영상보다 입체감과 공간감이 개선되었으며 장면과의 연결성도 개선되었다. 이러한 방식으로 제작된 2D 스테레오 VR 애니메이션이 사용자들에게 입체감, 현전감, 몰입감, 선호도 등에서 어떻게 효과를 보일 것인지 확인하기 위해서, 사용자들을 대상으로 실험 영상을 HMD로 감상하게 한 뒤 설문에 응답하게 하는 방법으로 실험 평가를 실시하였다. 그 결과 2D 스테레오 VR 애니메이션은 입체감, 현전감, 몰입감, 선호도 등에서 분명한 효과를 보였으며, 공간 중심의 연출 방안을 적용한 영상이 그렇지 않은 영상보다 더 높은 효과를 보였다. 또한, 3DS 맥스의 사실적 렌더와 비사실적 렌더(툰 렌더)를 이용하여 제작한 다른 장면과 함께 비교하였더니 3D 애니메이션이 입체감과 현전감, 볼륨감은 제일 강했지만, 2D 애니메이션과 비사실적 렌더로 제작한 2.5D 애니메이션은 입체감과 몰입감 면에서는 큰 차이가 없었다. 이를 통해 2D 스테레오 VR 애니메이션을 애프터이펙트로 제작할 수 있음과 공간 중심의 연출을 적용할 경우 입체감과 공간감, 현전감 및 몰입도 강화에 효과가 있음을 결론지을 수 있다. 마지막으로, 2D 스테레오 VR 애니메이션을 제작하는 과정에서 참고할 수 있는 가이드와 제작 프로세스를 개발하였다. 본 연구를 통해 얻은 결과를 볼 때, 기획단계에서부터 장면별로 구체적인 스테이징을 구성하고 HMD를 통해 실제 3차원 공간에서 레이어 별 공간 배치를 확인하는 방식으로 작업이 진행되어야 한다. 이러한 작업은 프리프로덕션은 물론 전반적 제작과정 전체를 통해 이루어져야 하며 끊임없는 스테이징 수정 단계가 포함되어야 한다. 본 연구에서는 이러한 단계를 반영한 2D 스테레오 VR 애니메이션의 제작 프로세스와 실제 제작 시에 참고할 수 있는 제작 가이드라인을 제시하였다. 2D 그래픽의 풍부하고 다양한 표현을 살린 2D VR 애니메이션을 구현하기 위해서는 적절한 조명과 그림자 효과를 추가하여 볼륨감을 강화할 필요가 있다. 따라서 이러한 작업에 필요한 별도의 맵(Depth map) 제작을 통한 후편집 작업에 관한 후속 연구가 필요하다. 본 연구가 2D 애니메이션 고유의 표현기법과 감성이 가상현실을 포함한 새로운 뉴미디어 콘텐츠로 확장되는 하나의 계기가 되기를 바라며, 2D VR 애니메이션에 국한되지 않고 다른 가상현실 콘텐츠 개발에서도 더욱 풍부한 깊이감과 공간감 있는 연출 방안을 탐색하기 위한 새로운 방향을 제시할 수 있기를 기대한다.;VR technology is now entering a stable stage of evolution thanks to the developments of the five-senses-related technologies and HMD equipments and, also with the help of the dissemination of 5G network, attracting the attention of various markets. It is also expected to show new possibilities at the age of post-pandemic as the untact operations become imperative in everyday work environments. In the animation area. various VR contents are being introduced keeping pace with these trends. The purpose of the study is to produce 2D VR animation using the sensibility and expression methods of traditional 2-D animation. The study was processed in the order of research on the theoretical backgrounds, derivation of suggested direction methods, production of 2D stereoscopic VR animation scenes, experiments on user experience and the analysis of the results, and suggestion of production guidelines. A review of VR trends reflected on previous studies show that the immersive VR has been the main stream of development and the continuous demand is observed for the interesting contents users can enjoy. VR animations are actively produced because of the merit that they allow the producers to materialize easily what they imagine, but the majority of them are made in 3D animation and it is difficult to find 2D animation contents made by drawing and cutout techniques. Nonetheless, it is still possible to find some attempts trying to apply various 2D animation techniques. For the study, we explored the possibility of applying stereoscopic techniques to 2D animation, because the recent VR contents adopt stereoscopic techniques based on the binocular display characteristics of HMD. Historically the research on the production of 2D stereoscopic animation has never been disrupted. Judging from these research background, it can be considered possible to produce VR animation which apply stereoscopic techniques to 2D animation. The characteristics of VR animation as a communication media require directions centered on space instead of existing image directions. It is also judged that, in 2D animations, the senses of space and dimension are relatively weak, so some direction methods for reinforcing presence are needed. For this purpose, we investigated the previous studies related to the direction of VR animation and could have derived new direction methods that would replace existing ones depending on each direction element. We investigated also the principles of space and depth perceptions in stereoscopic images and the principles in architecture for articulating spatial perception via artificial perspectives. At the same time, we explored researches related to the space directions in play and exposition taking place in real space. The results from all these investigations were used to derive the space-centered direction methods that could be applied to 2D stereoscopic VR animation. The production method of 2D stereoscopic VR animation and the way the space-centered direction was actually applied to it can be summarized as follow. In this study, Adobe After Effects is used for the production of 2D stereoscopic VR animation. Using 3D layers and the VR environment composition functions of After Effects, the background produced by Photoshop and the character compositions are arranged in 3D VR space and the movements are added using digital cut-out techniques to realize 2D VR animation. The same technique is applied to obtain one more identical VR environment and the camera positions of these two VR environments are manually adjusted according to the binocular disparity distance to realize a stereoscopic VR animation. We tested the completed images with Oculus Quest HMD and could verify that the feelings of space and dimension were normally realized in 2D stereoscopic VR animation. However, depending on the scenes, we could also find the problem that considerable deviations in spatial perceptions occur due to the distance between the point of view and the layer interval. To overcome this problem, we applied the space-centered direction, from the stages of planning and storyboard, to the design of space arrangement and movements. Then we verified the previously produced images and corrected the size, height and distance of layers by applying the principles of depth and perspective derived for direction method. In addition, we unified the point of view and space area for each scene, applied shadows and added scene change effects to produce second images. The test results of these second images showed that the senses of space and dimension, together with the continuity of scenes, were improved. To verify what effects our 2D stereoscopic VR animation would produce for the users in respect of sense of dimension, presence, sense of immersion, and preference, we conducted evaluative experiments using subjects who appreciated with HMD the images we produced and then answered to the questionnaire. The results reveal that 2D stereoscopic VR animation show significant effects of sense of dimension, presence, sense of immersion, and preference, and that the images produced by applying space-centered direction induced stronger effects than the images made without this direction technique. Furthermore, we compared our images with the ones produced using either photorealistic rendering or non-photorealistic rendering (toon rendering), and found that 3D animation showed the strongest sense of dimension, presence and volume perception, but we could not find any significant differences in senses of dimension and immersion between 2D animation and 2.5D animation produced by non-photorealistic rendering. These experimental results lead us to the conclusion that 2D stereoscopic VR animation can not only be produced using After Effect, but also it is possible, if we apply the space-centered direction to the image production process, to obtain intensified sense of dimension, presence and sense of immersion. Finally, we developed a production process and some guidelines that can be helpful for the realization of 2D stereoscopic VR animation. Judging from the research results, the production of animation should be processed in the way that, from the planning stage, detailed staging for each scene is composed and then space arrangement for each layer in 3D space is verified. These works should be performed not only in preproduction stage but also throughout all the production process, and also should include continuous correction of staging. In this study, the production process of 2D stereoscopic VR animation which reflects the afore-mentioned stages and the guidelines useful during the actual production process are proposed. In order to realize 2D VR animation rich in various and ample expressions of 2D graphics, it is needed to reinforce volume perception by adding proper lighting and shade effects. It is therefore necessary to do some follow-up studies concerned with post-editing and creation of a map (Depth map) specialized for these works. We hope that the present study would serve as a momentum for the unique expression techniques and sensibility of 2D animation to be extended to the new media contents including VR. It is also hoped that this study would suggest a new research direction for exploring direction methods richer in depth and sense of dimension not only in the production of 2D animation but in the development of the other VR contents.