템포럴 웨이브릿 기반 동영상 템포럴 텍스처의 특성 연구

Abstract

The main focus of research in video retrieval systems is extracting proper information to optimize user s requests. Generally video media is so huge and fast to process its contents in timely fashion. It is impossible to describe every features directly from the video sources unlikely a text retrieval systems. That is why human has a possibility to commit a fault in extracting visual informations under certain condition. Therefore a video retrieval system uses automatic index system to overcome this difficulty according to internal video traffic. Video index systems are simply composed by author s name, publishing date, size, keywords, subtitle, soundtracks and other visual effects. The visual features are the most important to distinguish video frames owing to their specific motion behavior in every shot. We use dominant colors, color layout information, object shape, textural information, and motion tracking information. In this thesis, we propose a new transformation which convert video shot into temporal video texture by applying temporal wavelet to the syntactically divided video shot. A given video shot may have corresponding compressed form such as well-known AVI or MPEG. There have been many studies on texture on 2-dimensional image, but these work deal with only texture s moving in their object domain. In this thesis we define temporal texture to be applied to video stream transmitted frame by frame or shot by shot. Our temporal texture is obtained from temporal wavelet generated by shot transformation. Shot s motion features are integrated into some parts of temporal wavelet. This features show that background is automatically removed and motion features are combined to indicate corresponding motion values. When changing video shot into temporal wavelet, wavelet coefficient is calculated and divided to construct overall motion features. On final step, we can analyze the lowest level of visual information to get and classify its features. Our approach is somewhat simple but gives good results in applying practical run-time video stream. Also video index system is implemented by only temporal wavelet transformation and conventional temporal texture. In this thesis, we have two approaches to extract motion features using temporal texture. The first approach is to use quantitative values within spatial texture. This approach is good for classifying temporal texture directly without use of motion feature. The second approach is to extract the motion information from temporal texture. The various features could be obtained from applying weights to temporal wavelet. Our temporal wavelet has several properties resulting from weight generation process. Basically permanent information such as unchanged background area and non-moving part of objects are eliminated in the process of transforming the given video shot. But shape informations are blurred during motion by the order of their speed. The proposed technique on video shot gives an experimental results which shows our temporal wavelet and temporal texture would be applied to extract video index from video shot. Also we find that video motion feature could be directly obtained from compressed video if they are compressed by wavelet transformation. ; 동영상 검색 시스템에서는 해당 동영상의 정보를 이용하여 어떻게 사용자가 원하는 동영상을 선택하게 할 것인가 하는 것이 주 연구 대상이다. 동영상 데이터는 데이터의 크기가 크고 데이터의 양이 증가하는 속도도 빠르다는 특징이 있다. 동영상 검색을 위한 색인 시스템을 구축하고자 하면 문서 검색 시스템에서 하듯이 사람이 직접 키워드를 입력하거나 동영상을 기술하는 여러 정보를 입력하는 것은 불가능하다. 지나치게 주관적이 될 수 있다는 문제점이 있으므로 동영상 검색 시스템을 위한 색인을 구축하려면 데이터의 용량의 측면과 객관적인 데이터 기술이라는 측면에서 자동으로 색인을 구축할 수 있어야 한다. 동영상의 색인으로 사용될 수 있는 정보는 기존의 문서 검색 시스템의 색인과 유사하게 저자, 발행연도, 크기, 키워드 등의 문서적인 정보도 있을 수 있으며 그 동영상에 포함된 자막 정보도 중요한 정보가 될 수 있다. 그러나 무엇보다도 동영상 검색 시스템에 있는 가장 중요한 특성인 시각적인 특성은 동영상을 위한 색인에 가장 중요한 정보를 제공한다. 이러한 동영상을 위한 시각 정보로는 색, 색의 배치 관계, 형상 정보, 텍스처 등이 있다. 또한 오브젝트의 움직임 정보도 동영상의 특징을 표현할 수 있는 중요한 특성이다. 본 연구에서는 대상 동영상에서의 오브젝트에 대한 사전 지식이 전혀 없고 데이터의 용량 때문에 동영상 데이터가 웨이브릿 변환을 이용한 동영상 압축이 되어 있는 경우에 움직임 정보를 추출하기 위해 템포럴 텍스처를 생성하였다. 템포럴 텍스처에 관해서는 기존의 여러 연구가 있었으나 주로 이 연구들은 텍스처가 움직인다는 의미로 사용하였다. 본 연구에서는 이러한 기존의 템포럴 텍스처 정의를 임의의 움직임 정보에서 생성되었으며 지역적으로는 통계적 유사성을 보이는 패턴으로 확장하였다. 이러한 템포럴 텍스처를 생성하기 위해 시간적인 중복성을 제거하기 위한 템포럴 웨이브릿을 이용하였다. 동영상 데이터를 템포럴 웨이브릿 변환하면 웨이브릿 계수열이 만들어지고 여기에서 웨이브릿 계수열의 특정 부분이 움직임 정보를 표현한다. 이러한 계수열의 특정 부분을 이용하여 한 장의 템포럴 텍스처 영상으로 만들었다. 이 텍스처를 분석하여 움직임 정보를 동영상 색인에 사용될 특성 중의 하나로 이용할 수 있게 하였다. 웨이브릿 변환되어 압축된 동영상 데이터에서 움직임 정보만을 추출하여 표현한다면 오브젝트 분석을 어렵게 만드는 배경을 소거하는 문제가 해결되며 오브젝트의 형상에 관계없이 움직임 정보 자체만을 대상으로 특성을 추출할 수 있다. 템포럴 텍스처를 이용하여 동영상의 움직임 정보를 표현하기 위해 두 가지 기법을 사용하였는데 한 가지 접근 방법은 이 동영상 템포럴 텍스처가 움직임 정보를 표현하지만 텍스처의 특성을 가지고 있으므로 기존의 공간 텍스처에 적용할 수 있는 정량적 특성 벡터 추출 기법을 사용하는 것이고 또 다른 접근 방법은 움직임 정보가 차지하고 있는 영역의 특성을 파악하여 움직임의 궤적을 계산하여 특성 벡터로 사용하는 것이다. 동영상 템포럴 텍스처는 생성 과정의 특징 때문에 다음과 같은 특성을 가지게 된다. 배경과 같은 불변의 정보는 삭제되며 오브젝트의 형상에 관한 특성은 알 수 없다. 또한 오브젝트의 움직임의 순서는 알 수 없다. 따라서 이 특성에 기인한 시스템 적인 한계가 내재한다. 첫째, 오브젝트의 형상에 관한 내용은 알 수 없으며 둘째, 반복 운동의 경우 여러 번 반복해도 한번 이동한 결과와 텍스처의 특성치 중 일부는 차이를 보이지만 움직임 궤적, 운동 중심 같은 특성은 유사한 결과를 보인다. 셋째, 오브젝트의 크기보다 움직임의 크기가 작을 경우 궤적은 운동 방향과 직교 방향 혹은 다른 방향일 수 있다. 본 연구에서는 템포럴 웨이브릿 변환을 이용하여 생성된 템포럴 텍스처가 움직임 정보를 효율적으로 표현할 수 있음을 보였으며 템포럴 텍스처를 이용한 움직임 정보의 추출은 동영상 검색 시스템에서 템포럴 텍스처의 특성과 운동 궤적을 자동으로 계산하여 색인 정보로 사용할 수 있음을 보였다.