웨이브릿과 히스토그램 분석을 이용한 효율적인 장면 전환 검출 기법

Abstract

최근 멀티미디어에 대한 관심이 증가하면서 그에 따른 기술 또한 매우 빠른 속도로 증가하고 있다. 특히 하드웨어 기술의 급속한 발전과 영상 처리 기술 및 영상자료 저장 방식의 발전으로 텍스트 정보 대신 영상 정보의 사용이 증가하고 있으며, 영상 정보의 검색 기능에 대한 사용자들의 욕구는 비디오에 대한 수동적인 접근 방식에서 자신이 원하는 부분만을 선택적으로 검색할 수 있는 보다 편리한 환경을 요구하고 있다. 이를 위해서는 영상 자료를 의미있는 단위로 나누기 위한 비디오 파싱(Parsing)과 클러스터링(clustering), 브라우징(browsing) 등을 포함하는 비디오 검색 시스템의 구현이 필요하다. 여기서 장면 전환 검출 기술은 효율적으로 비디오를 분석하기 위한 가장 기본적인 과정이다. 본 연구에서는 최근 압축 표준으로 자리잡고 있는 웨이브릿 변환을 이용하여 영상의 특징 정보를 추출한 후, 특징 정보의 히스토그램 분석을 통하여 장면 전환을 검출하는 방법을 제안한다. 웨이브릿 변환은 푸리에 변환의 일종이나 지역적 특성을 반영하므로 불연속 점의 표현에 뛰어나다는 장점을 가지고 있다. 또한 웨이브릿 변환을 사용하여 압축이 가능하므로 압축 진행 중에 장면 전환을 확인할 수 있는 장점이 있다. 2차원 이미지에 웨이브릿 변환을 수직, 수평 방향으로 적용하면 서로 다른 단계의 다중 해상도를 가진 부대역(subband)을 얻을 수 있다. 부대역은 한 개의 저주파 성분과 세 개의 고주파 성분으로 나뉘게 되며, 저주파 성분은 원영상의 1/2 해상도를 가진 닮은 형태가 된다. 고주파 성분은 다시 수직, 수평, 대각선 방향의 고주파 성분을 가지며 그 중 수직 방향의 고주파 성분만을 특징 정보로 사용하였다. 기존의 히스토그램 장면 전환 검출(histogram scene change detection) 기법은 입력 영상 내에 카메라 동작(camera operation)이 발생한 부분을 장면 전환점으로 나누는 문제점이 있으며 에지를 사용한 장면 전환 검출 기법은 검출 가능한 장면이 제한적이다. 본 논문에서 제안한 알고리즘을 여러 영상에 대하여 실험한 결과, 같은 물체의 특정 정보는 화면 확대·축소 카메라의 상·하·좌·우 이동에 변함이 적어 카메라 동작이 발생하는 경계의 문제점을 해결하였으며, 또한 프레임 사이의 섬광이나 선명한 조명에 의한 문제점도 해결하였다. 제안한 알고리즘은 여러 종류의 장면 전환 검출이 가능하며, 정확도에서도 우수한 결과를 보임을 실험을 통해 증명하였다;Recently, along with the increasing interest to the multimedia, the technology of multimedia is progressing rapidly. Particularly, due to the improvement of hardware, image processing and image storing, the use of image data is increased instead of text data. And more convenient environment which enables to search images selectively is demanded rather than the conventional passive environment. To construct this environment, a system implementing video parsing - to divide image data into useful clip, clustering, and browsing - is needed. And the cut detecting is the first step to be done to analyze video data efficiently. This study suggests a cut detecting method using wavelet transformation which is becoming compression standard recently. That is to extract a detail information of image using wavelet transformation. And then detect a cut by the average of the histogram of detail information. Wavelet transformation is a kind of Fourier Transform, but it reflects locality. So it is good at expressing discrete points. Besides it's possible to compress image by wavelet transformation, so we could detect cuts during the compressing. Applying wavelet transformation to two dimensional image in vertical and horizontal directions, enables to get subbands with multi-resolution. Subbands consist of one low frequency component and three high frequency components. And low frequency component becomes small image similar to original image with half resolution of original. High frequency component has three directions - vertical, horizontal, and diagonal. And I used only vertical high frequency component among them for the detail information. From the test, histogram scene change detecting method had a problem of dividing scene as a cut where there is a camera operation, and cut detecting method using edge could detect cut restrictedly. From the verification, new algorithm, with various and many images, the same objects has same detail informations. Therefore, when camera zoomed in or out object, object's characteristics unchanged. When camera moved up or down, left or right, the characteristics also not changed. The problems that camera operations could be a cut and highlight between frames divided into scenes, are solved in this paper. Suggested algorithm could detect various scene changes, and showed high accuracy at detecting scene changes.