장면 및 음원 복잡도 축소에 의한 3차원 사운드 재현의 실시간화 기법

Abstract

Recent studies have shown that the combination of auditory and visual cues enhances the sense of immersion in virtual reality or interactive entertainment applications. However, realtime 3D audiovisual rendering requires high computational cost. In this paper, to reduce realtime computation, we suggest a novel framework of optimized 3D sound rendering, where we define Audio Scenegraph that contains reduced 3D scene information and the necessary parameters for computing early reflections of sound. During pre-computation phase using our framework, graphic reduction and sound source reduction are accomplished according to the environment containing complex 3D scene, sound sources, and a listener. That is, a complex 3D scene is reduced to a set of significant facets for sound rendering, and the resulting scene is represented as Audio Scenegraph we defined. And then, the graph is transmitted to the sound rendering engine which clusters a number of sound sources for reducing realtime calculation of sound propagation. For sound source reduction, it is required to estimate early reflection time to test perceptual culling and to cluster sounds which are reachable to facets of each sub space according to the estimation result. During realtime phase according to the position, direction and index of the space of a listener, sounds inside sub space are played by image method and sounds outside sub space are also played by assigning clustered sounds to buffers. Even if the number of sounds is increased, realtime calculation is very stable because most calculations about sounds can be performed offline. It took very consistent time for 3D sound rendering regardless of complexity of 3D scene including hundreds of sound sources by this method. As a future study, it is required to estimate the perceptual acceptance of the grouping algorithm by user test.;실감 재현이 중요한 가상현실 응용에서는 사용자에게 고급 그래픽 환경을 제시하고 사용자의 인터랙션에 즉각적인 피드백을 제공함으로써 실재감과 몰입감을 증가시키는 연구가 진행되어왔다. 실재감, 공간감 전달을 위해 시각과 청각을 함께 활용하는 것이 효과적이나 가상현실 응용에서는 그래픽 분야의 속도와 환경개선에 그 초점이 맞춰져왔으며, 3차원 사운드 재현의 경우는 막대한 실시간 계산량의 증대, 범용 하드웨어의 버퍼 수 제한 등의 이유로 지금까지는 많은 연구가 이루어지지 않았다. 실시간 인터랙션에 따라 청취자에게 전달되는 사운드는 음원과 청취자의 위치 관계에 따라 달라지므로 매번 새롭게 계산되어야 한다. 또한 공간감 등의 3차원 사운드 재현에 필요한 전파, 반사, 잔향 등의 요소들 역시 공간과 청취자, 음원의 관계에 따라 계산되어야 한다. 이처럼 3차원 사운드의 실시간 재현만으로도 많은 계산량이 요구되고 있으나 가상현실 응용에서는 3차원 사운드 재현 외에도 그래픽 렌더링, 사용자 인터랙션 등의 다른 요구들도 동시에 처리해야 함을 고려하면 계산량은 더욱 증가되므로 실시간 계산량을 최소화 하는 것이 필요하다. 이에 따라 본 연구에서는 다수의 음원을 포함하는 복잡한 가상환경에서 환경의 특성이 반영된 3차원 사운드의 재현을 그 목적으로 하였다. 보다 실재감 있는 3차원 사운드를 가상현실에 적용하기 위하여 사운드 전파에 중요한 빈 공간(Hole & Gap)을 보존하면서 가상환경을 이루는 객체를 단순화 하고 사운드 전파에 필요한 최소의 정보로 환경을 표현할 수 있는 오디오 씬그라프를 제안, 활용하였다. 또한 사용자의 인지 능력 및 인터랙션 범위에 기반한 음원 재생대상 축소와 군집화를 함께 적용한 알고리즘을 제안하였다. 본 논문에서 제시하는 알고리즘을 적용하여 20여만개의 다각형으로 구성된 가상공간, 100여개 이상의 음원을 대상으로 초기반사까지의 3차원 사운드 재현을 실험하였다. 실험 결과 음원의 개수 증가에 따라 전처리 시간은 증가하지만 실시간 계산시간은 일정하게 유지되는 실시간 속도가 안정적인 결과를 얻을 수 있었다. 본 연구는 실제 디자이너들이 제작한 가상환경 모델을 변형하거나 축소하지 않고 그대로 이용하면서 3차원 사운드를 재현했다. 장면 및 음원 복잡도를 축소시키는 알고리즘을 전처리과정으로 적용하여 음원 증감에 따라 영향을 크게 받지 않는 실시간 처리 속도에 대한 결과를 얻었다. 또한 사운드 렌더링 측면에서 가상환경을 표현하는 오디오 씬그라프 구조를 통하여 독립적인 사운드 렌더링이 가능하게 하였으며, 이러한 구조를 응용하면 시각적 효과가 무의미한 응용 컨텐츠(시각장애인들을 위한 컨텐츠)에 효과적으로 사용 가능하다. 그래픽 렌더링은 제공되지 않지만 사운드 렌더링 계산에서 환경의 구성 및 특성을 고려하고 있으므로 독립적인 3차원 사운드 재현결과 사용자는 실재감과 공간감을 얻을 수 있을 것이다. 향후 연구로는 다양한 가상환경에 대한 실험과 디자이너가 제작한 3D 모델 데이터의 텍스춰에 따른 흡음률을 자동으로 제공하는 기능을 확장하는 연구가 필요할 것이다. 또한 음원 축소 및 군집화의 적용 전후를 비교한 사용자 테스트를 통하여 군집화 알고리즘의 신뢰도를 평가하고자 한다.