Advancing Cross Attention Mechanisms for Cross Domain Applications

Abstract

This paper explores the advancements in cross-attention mechanisms and their applications across different bio-medical domains. This research is divided into two primary studies, each focusing on distinct applications of cross-attention. The first study presented discusses a lightweight cross-attention network augmented with a convolution guided filter to enhance the speed and efficiency of denoising low-dose computed tomography (LDCT) images. This approach reduces the number of network parameters while maintaining high performance, addressing common issues such as noise and artifacts in LDCT images. The proposed method combines a multi-dilation convolution guided filter and a cross-attention encoder, followed by a convolution decoder, which together significantly improve inference speed and image quality. The second study presented demonstrates a self-enhanced cross-attention ​​mechanism designed to predict peptide-HLA binding affinities. This method enhances traditional cross-attention by integrating self-attention to better capture the relationships between amino acids in peptides and HLA sequences. Using a transformer architecture, the self-enhanced cross-attention mechanism effectively processes the longer HLA sequences and shorter peptide fragments, preserving crucial information and improving prediction accuracy. The experiments demonstrate that both proposed methods outperform existing state-of-the-art techniques in their respective domains. The LDCT denoising model shows superior performance in terms of speed and image quality, while the peptide-HLA binding affinity predictor achieves higher accuracy and stability. These findings show the versatility and effectiveness of advanced cross-attention mechanisms in addressing diverse challenges across multiple domains.;이 논문은 교차 어텐션 메커니즘의 고도화와 다양한 도메인에서의 응용을 탐구한다. 연구는 각각 교차 어텐션의 다른 응용에 초점을 맞춘 두 가지 주요 연구로 나뉜다. 첫 번째 연구는 저선량 컴퓨터 단층촬영 (LDCT) 이미지의 잡음 제거 속도와 효율성을 향상시키기 위해 컨볼루션 가이드 필터가 추가된 경량 교차 어텐션 네트워크에 대해 논의한다. 이 접근법은 네트워크 매개변수의 수를 줄이면서도 높은 성능을 유지하여 LDCT 이미지에서 발생하는 잡음과 아티팩트와 같은 일반적인 문제를 해결한다. 제안된 방법은 멀티 딜레이션 컨볼루션 가이드 필터와 교차 어텐션 인코더를 결합하고, 그 뒤에 컨볼루션 디코더가 이어지는 방식으로, 추론 속도와 이미지 품질을 크게 향상시킨다. 두 번째 연구는 펩타이드-HLA 결합 친화성을 예측하기 위해 설계된 자가 강화 교차 어텐션 메커니즘을 보여준다. 이 방법은 전통적인 교차 어텐션을 자가 어텐션과 통합하여 펩타이드와 HLA 서열 간의 관계를 더 잘 포착한다. 트랜스포머 구조를 사용하여 자가 강화 교차 어텐션 메커니즘은 더 긴 HLA 서열과 더 짧은 펩타이드 조각을 효과적으로 처리하여 중요한 정보를 보존하고 예측 정확도를 향상시킨다. 실험 결과, 제안된 두 방법 모두 각 도메인에서 기존의 최신 기술보다 뛰어난 성능을 보였다. LDCT 잡음 제거 모델은 속도와 이미지 품질 면에서 우수한 성능을 보여주었고, 펩타이드-HLA 결합 친화성 예측 모델은 더 높은 정확도와 안정성을 달성하였다. 이러한 결과는 다양한 도메인에서의 문제를 해결하는 데 있어 교차 어텐션 메커니즘의 활용성과 효과성을 보여준다.