트리아지 간호사의 응급환자분류 의사결정지원을 위한 역강화학습 기반 프로그램 개발 및 평가

Abstract

본 연구의 목적은 트리아지 간호사의 응급환자분류 의사결정지원을 위한 역강화학습 모델을 개발하고 프로그램으로 구현하여 사용성을 평가하는 것이다. 이를 위하여 응급간호사정프레임워크를 기반으로 치료 우선순위 중심으로 설계된 한국형응급환자 분류도구（Korean Triage and Acuity Scale, KTAS）를 간호학적 타당성을 갖춘 방식으로 구조화하였다. 본 연구는 역강화학습 모델 개발 및 프로그램 구현, 사용성 평가로 구성된 프로그램을 개발하고 평가하는 연구이다. 본 연구에서는 국가응급의료정보망（National emergency department information system, NEDIS） 자료를 이용하였으며, 분석 대상은 NEDIS 자료의 2019-2023년 응급의료센터 방문자 전수조사 자료（n=39,345,964） 중 트리아지 간호사에 의해 KTAS 1~5단계의 응급 환자로 분류된 15세 이상의 성인 환자（n=17,335,294）이다. 역강화학습 모델은 트리아지 간호사가 실제 임상 상황에서 내린 응급환자분류 의사결정을 역으로 추정하여 그 과정에 내재된 기준을 보상 함수 형태로 도출하였다. 특히 트리아지 간호사의 최초 KTAS 분류단계가 최종 KTAS 분류단계와 상이할 확률을 학습하여 간호사가 초기 판단을 유지하거나 KTAS 단계를 변경하는 과정에서 발생하는 복잡한 판단 기준을 정량적으로 모델링하였다. 개발된 모델은 SHAP 분석을 통해 각 변수가 보상 함수에 미치는 상대적 기여도를 확인하였고, Ablation 분석을 통해 각 변수를 제거하였을 때 성능이 어떻게 변화하는지를 비교함으로써 트리아지 간호사가 어떤 변수를 근거로 KTAS 단계를 결정하는지 설명적으로 파악하였다. 또한 모델 검증을 위해 AUROC, AUPRC, F1-score의 성능 지표를 이용하였다. 역강화학습 모델을 기반으로 본 연구에서 구현한 웹 기반 AI KTAS Adult 프로그램은 SHAP 분석 기준 설명력이 높은 상위 10개 변수（주증상, 방문수단, 산소포화도, 질병여부, 연령, 방문경로, 의식수준, 혈압, 맥박, 성별）를 주요 입력 요소로 구성하였다. 프로그램 사용성 평가를 위한 연구 참여자는 2025년 8월 1일 부터 9월 1일까지 간호사 인증 온라인 커뮤니티를 통해 편의표집 및 눈덩이표집을 이용하여 트리아지 간호사 8명을 모집하였고 양적 사용성 평가에는 사후시스템사용성설문을 질적 사용성 평가는 인터뷰를 이용하여 분석하였다. 본 연구 결과 개발된 역강화학습 모델의 전체 KTAS 분류 성능은 AUROC 0.785, AUPRC 0.198, F1-score 0.208로 양호하였고, KTAS 3단계 분류 시 모든 성능 지표에서 가장 높은 성능을 보였다. Reward SHAP （Shapley Additive exPlanations） 분석에서는 주증상, 방문수단, 산소포화도가 트리아지 간호사의 최초 KTAS 분류단계가 최종 KTAS 분류단계에서 변경되는데 크게 기여하는 변수로 나타났다. Ablation 분석에서도 동일한 변수들이 제거될 경우 성능 지표가 크게 감소하여 SHAP 분석에서 확인된 중요도가 모델 성능의 실질적 저하로 연결됨을 확인하였다. 개발된 AI KTAS Adult 프로그램의 양적 사용성 평가 결과, 7점 만점에 전체 문항의 평균 점수는 2.52±0.43으로 나타났고, 시스템 유용성（2.27±0.27）, 정보의 질（2.48±0.34）, 인터페이스의 질（2.94±0.48） 순으로 양호하게 나타났다. 질적 사용성 평가 결과, 참여자들은 입력 절차가 간단하고 실제 분류와 일치하여 신뢰감을 경험하였고, 분류 경력이 부족한 간호사의 의사결정에 도움이 되어 추후 다양한 환자를 대상으로 적용가능성이 있다고 인식하였다. 또한 참여자들은 프로그램 사용 과정에서 주증상 및 임상 항목 입력의 어려움, 임상적 맥락과 기관 내부 정책으로 인한 분류 결정에 제약, 간호사의 경험적 판단 요소가 포함되지 않아 발생하는 분류 불일치 한계와 안전한 사용을 위한 명확한 가이드라인 마련이 필요하다고 인식하였다. 본 연구는 트리아지 간호사의 응급환자분류 의사결정을 역으로 추론하여 역강화학습의 이론적 기반을 간호학적 맥락에 적용한 최초의 시도로서 간호사의 내재된 의사결정 기준을 정량적으로 규명했다는 점에서 의의가 있다. 이는 역강화학습 모델이 간호사의 복잡한 임상적 판단 과정을 반영할 수 있음을 제시하여 임상의사결정지원 모델 개발을 위한 새로운 접근의 토대를 마련하였다. 향후에는 환자의 비정형적 자료를 통합한 멀티모달 역강화학습 모델을 적용함으로써 간호사의 KTAS 분류 과정을 충실히 반영하는 의사결정지원 모델로 활용될 수 있을 것이다.;This study aimed to develop an inverse reinforcement learning （IRL） model to support triage nurses’ emergency patient classification decisions, implement it as a program, and evaluate its usability. This study, based on the emergency nursing assessment framework, reorganized the Korean Triage and Acuity Scale （KTAS）, a system grounded in clinical urgency and care prioritization, to ensure nursing relevance and conceptual clarity. This study utilized data from the National Emergency Department Information System （NEDIS）. The analytic sample consisted of adult patients aged 15 years or older （n = 17,335,294） who visited regional or local emergency medical centers between 2019 and 2023 and were classified into KTAS levels 1–5 by triage nurses, drawn from the total NEDIS dataset （n = 39,345,964）. The IRL model inferred triage nurses’ clinical decision-making processes by reverse-engineering their real-world decisions and representing the underlying criteria as a reward function. In particular, the model learned the probability that the initial KTAS level assigned by nurses would differ from the final level, allowing the quantitative modeling of complex decision patterns such as maintaining, upgrading, or downgrading severity classifications. The developed model employed SHAP analysis to determine the relative contribution of each variable to the reward function, while ablation analysis examined performance changes after systematically removing specific variables, thereby clarifying which factors triage nurses rely on when determining KTAS levels. Model performance was evaluated using AUROC, AUPRC, and F1-score. Based on the IRL results, the implemented AI-KTAS Adult program incorporated the top ten variables with the highest SHAP importance scores as primary inputs—chief complaint, mode of arrival, oxygen saturation, disease category, age, route of arrival, level of consciousness, blood pressure, pulse, and sex. For the usability evaluation, triage nurses were recruited from August 1 to September 1, 2025, through a certified online nursing community requiring nurse verification. Convenience sampling was used, supplemented by snowball sampling, yielding a total of eight triage nurses. Quantitative usability was assessed using the Post-Study System Usability Questionnaire （PSSUQ）, and qualitative usability was evaluated through interviews. The model demonstrated favorable overall KTAS classification performance, yielding an AUROC of 0.785, an AUPRC of 0.198, and an F1-score of 0.208. The best performance across all metrics was achieved for KTAS level 3. SHAP analysis showed that chief complaint, mode of arrival, and oxygen saturation were the most influential variables contributing to discrepancies between initial and final KTAS classifications. Consistently, ablation analysis indicated that removing these variables resulted in substantial declines in model performance, underscoring their clinical relevance in IRL-based modeling. Quantitative usability testing produced an overall mean PSSUQ score of 2.52 ± 0.43 on a 7-point scale, with subsystem scores reflecting good usability in system usefulness （2.27 ± 0.27）, information quality （2.48 ± 0.34）, and interface quality （2.94 ± 0.48）. Qualitative results indicated that participants perceived the input process as straightforward, found the outputs generally aligned with their own classifications, and believed the system could assist less experienced nurses in decision-making across diverse patient presentations. Participants also perceived areas for improvement, including refining data input methods, integrating clinical context and empirical nursing judgment, and establishing safety guidelines for appropriate program use. This study is novel in applying IRL to nursing practice for the first time, inferring triage nurses’ clinical decision-making processes and quantitatively identifying the underlying criteria that guide KTAS classification. By demonstrating that IRL can capture the complex and nuanced nature of nurses’ clinical reasoning, this study provides a foundational framework for the development of advanced clinical decision-support models in emergency nursing. Future research should incorporate multimodal patient data to construct IRL-based models that more faithfully reflect nurses’ KTAS classification processes and enhance their generalizability and clinical utility.