입체 영상 재현을 위한 듀얼 스트림 MPEG-4 인코더의 설계 및 구현

Abstract

최근 사용자들은 높은 질의 영상 즉, 하이비전(high vision)뿐만 아니라 영상 정보의 현실감 부여와 정보 전달의 리얼리티에 관한 많은 정보를 요구하고 있다. 현실성 및 자연성이 뛰어난 영상을 구현하기 위해서는 인간의 생활 공간을 그대로 재현할 수 있는 기술이 필요하며, 그러한 영상 시스템으로서 3차원 입체 영상에 대한 기대가 고조되고 있다. 3차원 입체 영상 통신 기술의 정착을 위해서는 많은 양의 데이터를 전송가능한 양으로 압축하여 전송하는 데이터 압축 기술의 확립이 필요하다. 특히, 3차원 입체 영상은 오른쪽 눈과 왼쪽 눈에 입력되는 좌·우 영상으로 구성되어 있기 때문에 2차원 영상을 전송하기 위한 대역폭 보다 두 배의 대역폭이 요구된다. 그러나 입체 영상을 이루는 좌우 영상간에는 높은 상관 관계가 존재하기 때문에 두 영상간의 공간적 중복성을 제거하여 높은 압축율을 얻을 수 있다[1]. 기존의 JPEG, MPEG과 같은 단일 스트림 압축 기술들은 왼쪽 영상과 오른쪽 영상을 서로 독립적으로 압축하여 전송하기 때문에 입체 영상의 중복성을 제거 할 수 없다. 입체 영상 압축을 위한 방법들이 꾸준히 연구되고 있으나 국내에서는 현재 기술개발 단계이기 때문에 해외 의존도가 높을 뿐만 아니라, 대부분 하드웨어 방식이므로 비용이 높다. 현재 입체 영상 인코딩·디코딩 방식으로 MPEG-1과 MPEG-2가 주로 쓰인다. 방송, 통신 및 컴퓨터가 통합되고, 무선과 유선이 융합되는 새로운 정보 통신 기술의 진화로 인하여, 영상 서비스에 대한 기술 경향도 영상 정보의 효율적인 전달 및 저장이라는 기존의 동영상 압축 표준이 갖는 기능 이외에, 보다 더 향상된 기능을 제공하는 방향으로 나아가고 있다. 기존의 웹서비스가 단순 제공에서 벗어나 사용자를 참여시키는 형태로 발전해 왔듯이, 입체 영상 서비스도 단순히 바라만 봐야하는 수준에 머물지 않을 것이다. 원하는 대로 화면 구성도 조작할 수 있고, 또한 푸시(push) 기반의 서비스가 통합될 수 있는 서비스가 필수 요건이 될 것이다. 이를 가능하게 하는 것이 MPEG-4이다. MPEG-4는 현재 각광받고 있는 인터넷, 모바일 환경 등의 멀티미디어 서비스에 필수적인 핵심 기술이다. 본 논문에서는 MPEG-4 표준 스펙을 기반으로 하여, 입체 영상 재현을 위해 데이터를 효과적으로 인코딩하고 전송하는 방식을 제안하고, 이에 대한 인코더를 설계하고 구현하였다. 본 논문에서 설계한 듀얼 스트림 MPEG-4 인코더는 소프트웨어 방식으로 구현하였으며, 두 입체 영상 스트림을 입력받아 두 스트림을 Above and Below 입체 영상 포맷으로 머지(merge)하여 압축함으로써 압축율은 물론이고 데이터 전송 시 두 영상간의 동기화 문제를 해결할 수 있도록 하였다. 제안하는 방식은 MPEG-4를 이용한 통신, 방송, 가상현실, 교육, 의료 등 입체영상 관련 응용에 적용될 수 있다. ; In this thesis, we propose a good MPEG-4 encoder to achieve low bit rate compression of stereo image pairs. Although a series of JPEG and MPEG standards represent an image compression technology, they may be not efficient for the compression of stereo image pairs. Typical stereo images have a high degree of similarity and correlation between left and right image. Therefore, most part of information in one image stream may appear in the other image stream. However, Monocular compression schemes such as JPEG will compress a stereo image by dividing the left frame and right frame stream. Without exploiting the inherent redundancy in a stereo pair, twice as many bits will be required to represent a stereo pairs compared to a single image. Therefore, they are no efficient way in implementing encoder. Such stereo pairs require the new encoding mechanisms, called Dual Stream MPEG-4 Encoder, which give us an efficient compression. Whenever transmitting and storing stereo pairs, we use MPEG-4 technology. The MPEG-4 leads to an efficient compression for treating stereo image streams. Characteristic of this research is that handles left stream and right stream at the same time. In such a case, multimedia streams captured for representing stereo image have a high degree of similarity and correlation. Therefore, stereo streams compression may be the optimal reduction scheme for action, shape, color, and brightness compensation than general multimedia stream. Therefore, stereo streams can transmit very at low bit rate and high compression rate. And, this method would give us a somewhat reduction in design or implementing cost of any encoder or decoder. Also, proposed method will be extended to treat the N-way stereo streams as well as 2 stereo streams. Future research will be focused on algorithmic enhancement of the MPEG-4 process with respect to correlation of stereo image stream, multiple streams with multiple cameras, and object based compression for higher coding efficiency.