FocusCLIP

Abstract

Background: Focus quality assessment of fluorescence microscopy image poses significant challenges due to subtle differences in blur and fine structural details. Current approaches to perform focus assessment solely on images and associated focus labels often face limitations in accurately analyzing images from a variety of staining and imaging conditions. This necessitates a more sophisticated approach that can effectively integrate image features and focus order information to improve focus evaluation. Methods: We introduce FocusCLIP that overcomes these limitations through edge-guided feature fusion and adaptive text prompting. This approach fuses edge maps, processed through the Canny filter, with original images using the cross-attention mechanism to capture fine structural features. These features are then used to generate text prompts that describe stain and focus information. The adaptive text prompting technique dynamically adapts to specific stain characteristics and focus levels by enhancing learnable context prompts with image-derived condition tokens. It promotes semantic alignment between features generated from images and texts representing focus level, improving the accuracy of focus assessment task. Results: FocusCLIP demonstrated superior accuracy compared to existing methods on datasets including BBBC006, FocusPath, and our newly collected FluoMix datasets. The model showed robust performance under diverse staining and imaging conditions, indicating its effectiveness in various microscopy scenarios. Conclusions: The proposed edge fusion and adaptive text prompting ensure precise and contextually relevant analysis in the focus assessment. Consistent performance across multiple datasets highlights its potential to enhance biological research. Future work may include extending this approach to other imaging modalities and refining the text prompting. Additionally, extending the benchmark and further improving the model’s generalizability would also be promising research directions. The FluoMix dataset was released at https://kbds.re.kr, and our code will be made publicly available upon acceptance of this work.;배경:형광 현미경 이미지의 초점 품질 평가에는 흐림과 미세 구조적 세부 사항 간의 미세한 차이가 있어 상당한 어려움이 있습니다. 현재의 초점 평가 방법은 이미지와 관련된 초점 라벨에 의존하고 있으며, 다양한 염료 및 이미징 조건에서 이미지를 정확하게 분석하는 데 한계를 지니고 있습니다. 이러한 문제는 이미지 특징과 초점 순서 정보를 효과적으로 통합하여 초점 평가의 정확성을 향상시킬 수 있는 보다 정교한 접근 방식이 필요함을 시사합니다. 방법: 본 연구에서는 이러한 한계를 극복하기 위해 에지 기반 특징 융합 및 적응형 텍스트 프롬프트를 활용한 FocusCLIP을 제안합니다. 이 방법은 Canny 필터를 통해 처리된 에지 맵을 원본 이미지와 융합하여 미세 구조적 특징을 포착하는 크로스 어텐션 메커니즘을 사용합니다. 생성된 특징은 염료 및 초점 정보를 설명하는 텍스트 프롬프트 생성에 활용됩니다. 적응형 텍스트 프롬프트 기법은 이미지에서 파생된 조건 토큰으로 학습 가능한 맥락 프롬프트를 강화하여 특정 염료 특성과 초점 수준에 동적으로 적응합니다. 이를 통해 이미지에서 생성된 특징과 초점 수준을 나타내는 텍스트 간의 의미적 정렬을 촉진하여 초점 평가 작업의 정확성을 높입니다. 결과: FocusCLIP은 BBBC006, FocusPath, 및 새롭게 수집한 FluoMix 데이터셋을 포함한 여러 데이터셋에서 기존 방법들에 비해 뛰어난 정확성을 입증하였습니다. 이 모델은 다양한 염료 및 이미징 조건에서도 안정적인 성능을 발휘하여 여러 현미경 환경에서의 유효성을 나타냅니다. 결론: 제안된 에지 융합 및 적응형 텍스트 프롬프트는 초점 평가에서 정밀하고 맥락적으로 적합한 분석을 보장합니다. 여러 데이터셋에 걸친 일관된 성능은 생물학적 연구의 질을 향상시킬 잠재력을 강조합니다. 향후 연구 방향으로는 이 접근 방식을 다른 이미징 모달리티로 확장하고 텍스트 프롬프트를 더욱 정교화하는 것뿐만 아니라, 벤치마크를 확장하고 모델의 일반화 가능성을 한층 개선하는 방향이 기대됩니다. FluoMix 데이터셋은 https://kbds.re.kr에서 공개돼 있으며, 본 연구의 코드도 공개할 예정입니다.