Automatic Stitching Algorithm Using Normalized Cross-Correlation and Thresholding for Fluorescence Microscopy Images of Brain Tumor Cells

Abstract

When a picture is divided into multiple images due to the limitation of the field of view (FOV), to see the whole picture, image stitching is in need. That is, combining into the original form. Same works for 10x magnification DAPI (4',6-Diamidino-2-Phenylindole, Dilactate) stained fluorescence microscopy image of brain tumor, the glioblastoma (GBM) cells discussed in this thesis. These fluorescence microscopy images have been generated to study patients’ drug response at different types and concentration. The final target is to provide precision medicine for GBM patient. To a plate, that is composed of 384 wells, targeted anticancer drugs are tested in 7 different concentration in well unit and will be analyzed from extracted features. However, the limitation in fields of view (FOV) make one well is divided into 9 field images in 3x3 grid form. These field images are taken in specific order, but the exact position is unknown except the fact that adjacent fields share same parts. For more accurate analysis image stitching that process overlapping regions is required. Since the manual stitching consumes considerable time and efforts, automatic stitching is more efficient. Tools that support automatic stitching were also considered such as Fiji, AutoStitch, and Microscopy Image Stitching Tool (MIST), but the recommended overlap range was generally over 10% while fluorescence microscopy images we are dealing with, after reviewing few plates, came out to have maximum overlap range approximately 2.57%. Furthermore, the overlap range is very narrow that the presence of overlapping cell between neighboring images was uncertain. The image consists of cells with similar shape and size and empty backgrounds. Which requires the ability to identify matching regions and distinguish between similar but different images. Therefore, as there was no change in rotation or image size, normalized cross-correlation (NCC) based on the intensity was used to look for matching region in the narrow area, along with object detection to distinguish the difference between cells and to get their positional information. In this thesis, we propose stitching algorithm with minimum error regardless of the presence of overlapping cell for the experimental images.;관측시야(FOV: Field of View)의 제한으로 인해 사진에 담고자 하는 대상이 여럿으로 나뉘어 촬영되는 경우, 대상의 전체적인 형태를 다시 보기 위해서는 이미지 스티칭(image stitching)을 필요로 한다. 스티칭이란 영상 간의 중복되는 영역을 처리하고 올바른 배치로 그림을 원래의 형태로 결합시키는 것으로, 이는 본 논문에서 다루고자 하는 뇌종양 세포의 형광 현미경 영상에서도 동일한 이유로 필요시 된다. 뇌종양 중에서도 악성 뇌종양 교모세포종(GBM)을 다루고 있으며 교모세포종 환자들에게 정밀 치료를 제공하는 것을 최종 목표로 환자 별 약물 반응을 연구하고자 형광 현미경 영상이 생성되었다. 영상은 환자에게서 추출 및 배양된 뇌종양 세포가 플레이트(plate)에서 각기 다른 약물 및 농도로 처리된 결과를 담고 있다. 384개의 웰(well)로 구성된 플레이트는 웰 단위로 다른 약물 및 농도를 담고 있으며 총 60종의 표적 항암제가 7가지의 농도로 실험되었다. 영상은 10배율로 촬영되었으며 총 4개의 채널 중 DAPI로 염색되어 세포핵을 나타내는 핵 형광 영상이 사용되었다. 약물 처리 결과를 확인하고자 영상은 특징(feature) 추출을 통해 다양한 특징을 뽑아내며 중 이 중 의미 있는 특징들이 선별되어 분석될 것이다. 그러나 이 10배율 현미경 영상 또한 관측시야의 한계로 인해 하나의 웰은 3x3 매트릭스 형태로 총 9개의 필드로 나뉘어 촬영 되었다. 필드 영상은 정해진 일련의 순서대로 촬영되지만, 각 필드 영상이 웰 내 정확히 어디에 위치하는지에 대한 정보는 없다. 일부 웰을 수동으로 스티칭하며 확인한 결과 발생 할 수 있는 형광 현미경 세포 영상의 최대 중첩 범위는 약 2.57%이다. 같은 실험 환경을 가진 웰 단위 별로 분석을 하는데 있어 정확도를 높이기 위해서는 중복되는 영역을 처리하여 필드 영상들을 하나의 웰로 돌려 놓는 스티칭을 필요로 한다. 그러나 수동 스티칭의 경우 상당한 시간과 인력을 소모하며, Fiji, AutoStitch 및 MIST와 같이 자동 스티칭을 지원하는 프로그램은 형광 현미경 세포 영상에 적용하였을 시 좁고 불안정한 중첩 범위로 인해 안정적인 결과를 제공하지 못하였다. 그러한 관계로 본 논문에서는 실험 영상을 안정적으로 스티칭 할 수 있는 알고리즘을 제안하고자 한다. 알고리즘은 유사도를 구하는데 있어 영상에는 회전, 크기 변화가 없다는 점과 영상을 구성하는 빈 배경과 세포핵 중에서 세포핵은 서로 유사한 크기 및 모양을 지니고 있다는 점을 고려하여 비교 영상 간의 밝기차를 면밀히 살펴보는 정규 상호상관도(NCC: Normalized cross-correlation)를 사용한다. 그러나 다루는 영상은 최대 중첩 범위가 좁은 관계로 인접한 필드 간 중첩되는 영역 내에 세포가 존재 할 지 불확실하다는 문제가 있다. 이는 추가적으로 이웃하는 필드영상 간에 동일한 영역을 찾으면서 동시에 유사하지만 다른 영역을 구분 할 수 있는 능력을 필요로 한다. 그러한 관계로 제안한 알고리즘에서는 서로 다른 세포를 구분하고 각 세포의 위치 정보를 얻고자 삼각형 이진화(triangle thresholding)를 사용하며, 그 다음 정규 상호상관도를 통해 가장 높은 유사도를 보이는 영역을 찾아 9개의 필드 영상을 하나의 웰 영상으로 스티칭 한다. 결과적으로 제안한 알고리즘은 다른 스티칭 프로그램과 비교 시 본 논문에서 다루는 뇌종양 세포의 형광 현미경 영상을 스티칭 하였을 때 전체적으로 가장 안정적인 결과를 보여주었으며, 정확도 또한 높게 나왔다.