주성분 기반 음원 모델링을 통한 실시간 충돌 사운드 재현 연구

Abstract

가상현실 분야에서는 가상환경의 실재감을 높여 사용자의 몰입감을 증대시키기 위한 많은 연구가 이루어져 왔다. 이러한 연구의 중심에 있는 것이 가상환경 내에서의 사용자의 인터랙션(Interaction)에 따른 그래픽과 사운드의 표현인데, 현재까지의 연구들은 사운드보다는 컴퓨터 그래픽스의 사실감을 높이는데 집중되었다. 가상공간 사운드에 관한 연구들은 비교적 최근에 시작되어, 주로 가상환경 안에서의 사운드 전파(Sound Propagation)와 청취자의 위치변화에 따른 3차원 사운드 재현에 초점이 맞추어져 있었다. 그러나 이러한 3차원 입체 사운드 이외에도 실제 생활 속에서 발생하는 소리, 즉 물체간의 물리적 접촉에 의해 발생하는 사운드의 경우는 청취자의 지각과 감정에 큰 효과를 주어 인터랙션이 발생한 상황을 효과적으로 인식하게 도와준다. 대부분의 가상현실 응용 시스템에서는 가상환경 내에서 발생할 수 있는 모든 상황에 대한 사운드를 녹음하고 단순 재생 하는 방법으로 재현하였다. 그러나 실제로 모든 인터랙션 상황을 예측하기 어렵고, 녹음된 충돌 사운드의 단순 재생을 위해 많은 저장량이 필요하기 때문에 매우 비효율적이다. 또한, 인터랙션 상황이 변하거나 물체의 특징이 달라질 경우 사운드를 변형하기가 힘들기 때문에 상황에 맞지 않은 사운드를 재생하게 되는 단점이 있었다. 많은 저장량과 상황 적응력의 부족함을 보완하기 위한 몇 가지의 기존연구가 제안되었다. 첫 번째로, 녹음된 충돌 사운드 중 반복 패턴을 가지고 있는 사운드에 대해 재구성을 하거나 사운드 변형을 통해 녹음된 사운드의 상황 적응력을 높이는 방법이 제시되었으나, 반복패턴을 가진 사운드에 한정되어 적용 대상 충돌사운드가 많지 않았다. 두 번째로, 충돌 물체의 물리적 속성을 이용해 발생하는 사운드를 진동모드 해석방식으로 직접 모델링 하려는 시도가 있었으나 많은 계산이 요구되어 실시간성이 중요한 가상현실 응용분야에 적합하지 않았다. 따라서 본 연구에서는 충돌사운드의 실시간성과 상황 적응력을 높이기 위해, 물리적 속성을 이용해 사운드를 생성하여 인터랙션 상황을 묘사하는 것이 아니라 녹음된 사운드들을 사용하되 주성분 분석을 통해 물질특성별 고유사운드를 표현해 실시간성을 높이고, 이를 바탕으로 실시간에서 들어오는 상황변수를 이용해 고유사운드를 변형함으로써 충돌 인터래랙션 상황에 맞는 사운드를 재현해 상황 적응력을 높이는 기법을 제안한다. 즉, 실제세계에서 녹음된 사운드 샘플들을 대상으로 물질 진동 사운드의 스펙트로그램 차이를 분석하여 비슷한 특징을 가지는 음원들을 자동으로 군집화 한 후, 스펙트로그램의 통계적 특성을 통해 군집 대표 소리로서의 고유사운드 표현을 구축하는 것이다. 이러한 물질특성별 고유사운드들은 가상공간에서 발생하는 인터랙션 상황에 대해 대상 물체들의 무게, 부피 등 상황 속성들이 군집의 기준 속성과 어떻게 차이가 나는가에 따라 실시간으로 변형됨으로써 상황 적응적인 가상 사운드를 생성하게 된다. 본 연구에서 제안하는 방법을 구현하여 실험한 결과, 진동모드 해석에 의해 직접 생성된 충돌사운드와 사운드의 차이가 거의 유사하고 실시간으로 계산되는 것을 확인 하였으며, 물질특성 고유사운드를 변형해 사용하기 때문에 적은 저장량이 요구되는 것을 확인할 수 있었다.;To enhance the sense of immersion in virtual reality, it is necessary to provide both auditory and visual cues, and yet most researches on synthetic world have focused on high quality graphics only. However, there are many cases that are not clear to be aware of the situations without provision of appropriate sounds. Among many others, collision situation is one of such sound-generating frequent interaction types in virtual environment and is thus difficult to be grasped precisely without delivering sounds. Currently, most of commercial systems use pre-recorded samples of sounds for expressing the collision and use simple playback of sounds by triggering. This is not efficient in the aspect that a lot of samples should be collected in advance, and be kept and searched during run-time. Also, re-recording is often necessary for some new colliding conditions, for instance, such a case that relevant object properties are changed. There have been two approaches to deal with those problems : one is synthesizing sounds by physically based modal analysis and another is the method of adjusting recorded samples to generate desired sound patterns. However, the former method is difficult to be calculated in realtime and the latter restricts target sound patterns as repetitive ones and thus rarely adaptive to various collision situations. In this paper, we suggest a realtime adaptive synthesis method of interactive collision sounds that can deliver the situation in terms of colliding object materials, their weight, length, cross section, decay time, and collided area. The overall approach can be described in two parts : First, we construct so-called 'basis' for each group consisting of similar sound patterns. Secondly, during run-time, some necessary 'basis' are selected and modified according to the colliding situation. During the bases model construction phase, real world sound samples are automatically clustered by similarity in their spectrogram features. Then, principal component analysis is applied to the samples in each cluster and finally represent each cluster as eigen vectors in high magnitude, mateiral info(weight and so on), and other situational factors. During run-time, collision situation is compared to those bases sound conditions. Two sound bases with best matching condition are selected and reconstructed as a combined spectrogram. Before and after their combination, its weight, length, cross section, decay time and collided area are modified according to the situation properties. Our approach is as fast as sample-based sound modeling methods, and as adaptive as physically-based sound modeling methods. To show the feasibility of our approach, we implemented an interaction sound engine embedded in virtual reality application, and found the real-time collision effect and sound synthesis results. In conclusion, we proposed a novel sound synthesis method that can provide the enhanced situation awareness according to the realtime virtual environment occurrence.