명암도 기반 정합과 복합적 가시화를 통한 단일 및 다중 모달리티 영상 퓨전

Abstract

실세계에서 서로 다른 형태의 정보를 가지는 영상들은 그 특성에 따라 상호보완적인 정보를 제공한다. 이와 같은 상호보완적인 정보를 추출하여 유용하고 복합적인 정보를 가시화하는 것은 영상분석, 컴퓨터 비젼, 컴퓨터 그래픽스, 가상×증강현실 분야 뿐 아니라 의료, 국방분야 등으로의 응용에 있어서 중요한 역할을 한다. 이를 위해서는 우선적으로 서로 다른 기하학적 특성을 가지는 영상들을 공간적으로 정렬하고, 정렬된 영상을 통합된 형태로 가시화하는 연구가 필요하다. 본 논문에서는 명암도 기반 정합과 복합적 가시화를 통한 단일 및 다중 모달리티 영상퓨전 방법을 제안한다. 주요 접근 방법으로는 첫째, 두 영상이 기하학적으로 완전히 정렬되면 명암도 유사성 측정을 위한 평가함수인 상호정보가 최대화된다는 가정 하에 두 영상에서 대응되는 위치의 명암도간 통계적 의존관계나 정보중복성을 계산하여 영상간 변환관계를 추정하여 정합한다. 둘째, 관심부위를 구성하는 윤곽선으로부터 최소거리를 결정하는 거리변환을 통하여 거리변환볼륨을 생성하고 선택적으로 샘플링 크기를 조절함으로써 특정 관심객체를 표면수준에 따라 선택적으로 빠르게 가시화한다. 셋째, 명암도 가중치 혼합, 불투명도 가중치 혼합, 깊이 정보를 이용한 불투명도 가중치 혼합을 포함하는 영상단계 혼합과 배타적 혼합, 포괄적 혼합을 포함하는 누적단계 혼합을 통하여 단일 및 다중 영상과 관심부위 영상간 특성에 적합한 영상혼합을 수행한다. 실험 결과로는 기하학적 특성이 서로 다른 다중 모달리티 영상을 사용하여 정합을 수행함으로써 육안평가를 통한 정확성, 초기조건 변화와 잡음 첨가를 통한 견고성과 계산시간 비교×분석을 통하여 구현 결과를 검증하고, 정렬된 영상으로부터 선택적 볼륨렌더링을 통한 관심객체 가시화와 함께 단일 및 다중 모달리티 영상간 단계별 혼합방법을 적용하여 복합적 가시화 결과 영상을 제시한다. 본 논문에서 제안한 명암도 기반 정합은 영상에서 의미 있는 지역으로부터 생성된 샘플집합간 상호정보를 추정함으로써 사용자와의 상호작용을 줄이고, 비모수화 밀도추정으로 기존 평가함수보다 견고하게 밀도추정이 가능하다. 또한 다해상도 기법을 적용한 확률적 최적화로 좁은 지역적 오류를 확률적 경우로 인해 효과적으로 통과함으로써 견고한 수렴을 유도한다. 이와 같이 정렬된 영상으로부터 전역적 형태 정보를 이용한 선택적 볼륨렌더링 적용으로 서로 다른 객체들 간에 비슷한 명암도로 인해 동일 객체로 인식되는 것을 막고, 관심객체를 효과적으로 나타낼 수 있으며, 단계별 영상혼합을 통하여 단일 영상 가시화 한계를 극복하여 동일 공간 상에 다중 영상을 함께 표현함으로써 복잡한 형태와 상대적 관계를 효과적으로 나타낼 뿐 아니라 상호보완적인 정보를 통합된 형태로 가시화한다. ; In real world images with information of different types provide complementary information according to their properties. To visualize useful and complex information from complementary information, it is an issue of importance to both the medical and the military applications as well as image analysis, computer vision, computer graphics, and virtual reality. Thus it is necessary to align images with different geometrical features and visualize as integrated form. This thesis presents a mono- and multi-modality image fusion by intensity-based registration and combined visualization. The proposed method is based on the three key ideas as follows. First, the registration method applies mutual information as cost function to measure the statistical dependency or information redundancy between the intensities of corresponding location in both images, which is assumed to be maximal if the images are geometrically aligned. Second, since the selective volume rendering generates distance-transformed volume using a 3D distance transform and control sampling size, the approach visualizes an interesting region selectively and quickly on surface level. Third, the data intermixing method for visualizing multiple volume data together includes both image level intermixing and accumulation level intermixing. The image level intermixing includes intensity-weighted intermixing, opacity-weighted intermixing, and opacity-weighted intermixing with depth information. In accumulation level intermixing it contains exclusive intermixing and inclusive intermixing. As experimental results optimization of mutual information for multiresolution image registration presents the visual inspection for accuracy, comparison results with initial condition change and addictive noise for robustness and computation time. Among the aligned image it offers results of ROI visualization by selective volume rendering and results of combined visualization by data intermixing. Since the proposed intensity-based registration estimates mutual information between sample points extracted from meaningful area in images, a few user-interaction is required to perform the registration. In addition it leads to robust density estimation and convergence as applying non-parametric density estimation and stochastic multiresolution optimization. The selective volume rendering using global shape information is that it can remove occluding objects and it able to visualize the exposed surface with high accuracy as done by direct volume rendering. Furthermore data intermixing method offers the effective visual output and interrelationships of multiple data using two different level intermixing methods in same space.