Detecting Mild Cognitive Impairment with Multimodal Deep Learning Using GRU-CNN and Digital Biomarkers from Mobile Application

Abstract

Mild Cognitive Impairment (MCI) involves cognitive decline that heightens dementia risk, while individuals can still manage daily activities, requiring regular monitoring. However, traditional cognitive tests, which require physical hospital visits and lengthy procedures, can be particularly challenging for older adults. Mobile app-based assessments with digital biomarkers provide a promising alternative, offering a quicker, more accessible means of distinguishing between cognitive impairment and normal cognition. In this study, we built a deep learning model for classifying MCI using voice and gaze features from Alzguard, a mobile app designed for cognitive assessment. Our study involved 202 participants, including 129 in the healthy group and 73 with MCI, all of whom completed Alzguard. This app includes tasks such as gaze-tracking and speech-based tasks. For model input, we extracted features, including Mel-Frequency Cepstral Coefficients and text embeddings from the speech task and X-coordinates from the gaze task. To address class imbalance, we applied Gaussian noise to MCI samples for training data augmentation. The model architecture included Gated Recurrent Unit (GRU) layers for each modality (text, voice, and gaze), which were processed through a 2D Convolutional Neural Network (CNN) and the two fully connected layers. Bayesian Optimization was used for hyperparameter tuning. The highest performance was achieved with a model that integrated MFCC, text, and X-coordinate features, reaching an average Area Under the ROC Curve (AUC) 80.0% and accuracy 70.5% with test dataset using 5-fold cross-validation. We achieved high performance using a multi-modal approach that incorporates voice, text, and gaze data from only two tasks, Memorize Sentence and Speak (speech) and Anti-Saccade (gaze), obtained from the mobile app Alzguard. Our findings suggest that digital biomarkers from mobile applications can provide sufficient features for classifying MCI, offering a faster and easier alternative.;경도인지장애 (Mild Cognitive Impairment; MCI)는 치매 발병 위험이 높아지는 인지 기능 저하로, 일상생활능력이 보존된 상태를 의미한다. 정기적인 모니터링이 필요하지만, 실제 병원 방문 및 장시간 소요되는 전통적 방식의 인지 검사는 노인들에게 부담을 줄 수 있다. 디지털 바이오마커를 이용한 모바일 어플리케이션 기반 평가는 이에 대한 대안을 제공할 수 있다. 본 연구는 인지 평가를 위해 설계된 모바일 어플리케이션 ‘알츠가드’의 음성과 시선 데이터를 사용하는 딥러닝 MCI 분류 모델 개발을 목적으로 한다. 정상군 129명과 MCI 73명을 포함한 총 202명의 참여자가 알츠가드를 수행하여 데이터를 수집하였다. 발화 과제에서 수집된 텍스트 임베딩과 MFCCs와 시선 추적 과제에서 수집된 눈 움직임의 x좌표가 모델에 이용되었다. 클래스 불균형을 다루기 위하여 훈련 데이터셋을 대상으로 가우시안 노이즈를 추가하여 MCI 데이터를 증강하였다. GRU-CNN 모델은 각 모달리티(텍스트, 음성, 시선)별로 개별 GRU 층을 사용하여 유용한 특징을 추출하고, 이후 스택된 데이터를 2D CNN을 통해 추가적으로 특징을 추출하는 구조이다. 이 모델을 이용하여 모델 훈련에 참여하지 않은 테스트 데이터(정상군 20명, MCI 20명)에서 5-fold 교차 검증에서 평균 AUC 80과 정확도 70.5를 달성하였다. 본 연구는 단 2가지의 과제와 모바일만을 이용하여 수집된 데이터를 활용하여 멀티모달 딥러닝 모델로 높은 성능을 달성하였다. 이 결과로 모바일 어플리케이션에서 수집된 디지털 바이오마커가 MCI 인지검사에서 더 빠르고 접근성이 높은 대안이 될 수 있음을 시사한다.