직무기반 멀티미디어형 문항 개발 및 평가

Abstract

간호교육의 목적은 유능한 간호사를 양성하는 것이며, 다양한 현장에서 환자간호에 필요한 역량 갖춘 전문직 간호사를 양성하기 위해서는 실무교육이 중요하다. 간호교육에서 실무와 이론의 격차를 줄이기 위해서는 간호 직무의 현실성을 반영한 평가가 필요하다. 정보통신 기술의 발달과 COVID-19의 대유행은 비대면 교육으로의 급속한 전환을 초래하였고, 온라인 상의 평가체계에 대한 요구가 높아졌다. 특히, 보건의료분야에서는 2022년부터 의사국가시험이 컴퓨터기반 시험(Computer based test, CBT)으로 시행되며, 치과의사와 한의사 시험에도 확대가 예정되어 있어, 컴퓨터를 활용한 국가시험 체계로의 전환이 본격화되고 있다. 이에 본 연구는 컴퓨터에서 활용 가능한 직무기반 멀티미디어형 문항을 개발하고 타당도를 검증하여 임상실무를 반영한 평가체계 구축을 위한 기초자료를 제공하기 위하여 수행되었다. 본 연구는 문항개발단계와 문항평가단계로 진행되었다. 문항개발단계에서는 개발할 문항의 영역을 선정하고, 이에 따라 평가목표(안)을 도출하여 전문가 내용타당도를 검증하였다. 개발된 평가목표(안)에 따라 직무기반 멀티미디어형 예비문항 초안을 작성하였고, 임상전문가의 자문을 거쳐 동영상, 오디오, 사진 및 그림을 활용한 총 36개의 멀티미디어 문항을 제작하였다. 개발된 문항의 내용타당도 검증을 위하여 간호대학교수 5인과 임상간호사 5인을 대상으로 문항이 최신 임상 실무를 반영하는지, 기존의 지필형 문항과 비교하여 실무능력을 평가하기에 타당한지에 대한 CVI를 조사하였다. 문항의 이해도와 사용성을 확인하기 위하여 4학년 간호대학생 10인을 대상으로 예비조사를 시행하였으며, 응시 소요시간을 조사하였다. 문항평가단계에서는 서울, 경기, 전라, 경상 지역의 6개 간호대학 3, 4학년 학생 중 심혈관계, 호흡기계 대상자 간호의 내용을 이수한 학생을 편의표집하여 모의시험을 시행하였다. 모의시험에는 총 136명이 응시하였으며, 설문에 참여하지 않은 응시자 31명을 제외하고 총 105명의 자료를 분석에 활용하였다. 모의시험의 평균 응시시간은 21.2분이었으며, 모의시험의 평균 점수는 총점 36점 만점에 18.1점 이었다. 부적절한 2문항을 제외한 34문항의 평균 난이도는 .51 이었으며, 상하위집단 구분법에 의한 평균 변별도는 .31 이었다. 모의시험에 적용된 검사의 신뢰도 Cronbach’α는 .64 이었다. 준거타당도 검증을 위하여 모의시험 점수와 임상적 추론 역량 점수 간의 상관관계를 확인한 결과, 모의시험 점수와 임상적 추론 역량 점수 간에는 유의한 상관관계가 확인되지 않았다(r=.095, p=.336). 그러나, 응시자가 인식한 주관적 학업성취도 수준 점수를 상위집단과 하위집단으로 나누어 집단별 모의시험 점수의 차이를 분석한 결과, 이론 교과목에 대한 주관적 학업성취도가 높은 상위집단의 모의시험 점수가 하위집단보다 통계적으로 유의하게 높은 것으로 나타났다(t=2.880, p=.005). 실습 교과목에 대한 주관적 학업성취도 수준에 따른 모의시험 점수는 통계적으로 유의한 차이가 없었다(t=1.246, p=.216). 반응과정타당도의 검증을 위하여 모의시험에 응시한 대상자 중 10명을 편의표출하여 면담을 시행하였다. 면담 시 인터뷰 질문은 ‘시험문제가 어떠했는가, 기존의 지필형 문항과의 차이점, 멀티미디어형 문항이 임상수행능력의 향상에 도움이 되는 문항인가’, ‘응시자들이 문항의 풀이과정에서 어떻게 생각하고 해석하였는가’였다. 면담 결과, 개발한 직무기반 멀티미디어형 문항은 기존의 지필형 문항에 비교하여 직무와 관련성이 높다고 하였으며, 문제를 풀이하는 과정에서 이론적 지식과 실습에서의 경험 등을 통합하여 임상적 상황을 유추하여 풀이한 것으로 확인되어 반응과정타당도의 근거가 확보되었다. 본 연구에서는 직무와 연계된 평가목표에 근거하여 문항을 개발하고 임상 실무자의 내용타당도 검증과정을 거침으로써 직무의 실제성이 반영된 직무기반 멀티미디어형 문항이 간호대학생의 이론과 실무 통합능력을 평가하는데 타당한 교육 및 평가 전략임을 확인하였다. 또한, 직무기반 멀티미디어형 문항 개발 절차를 단계적으로 제시하여 교육현장의 교수자가 멀티미디어형 문항 개발시 활용 할 수 있는 예시자료을 제시한 점에 의미가 있다. 나아가, 신규간호사의 업무능력향상을 위한 실무 중심의 교육에 기초자료로 제공될 수 있을 것이다.;The purpose of nursing education is to foster competent nurses. Work-based clinical education is important to cultivate professional nurses with necessary competencies for patient care in various fields. To narrow the gap between theory and practice in nursing education, an evaluation that reflects the reality of clinical practice is necessary. Advancement in information and communications technology (ICT) and the outbreak of COVID-19 have caused a swift transition toward remote learning and an increased demand for an effective assessment system for online education. This study aims to develop and validate work-based multimedia assisted items (MAI) that can be used online to provide groundwork for building an evaluation system that reflects clinical practice. This study was conducted in two phases: 1) development of test items, and 2) validation of test items. During the development phase, the domain was identified and assessment objectives were delineated. Content validity of assessment objectives was evaluated by experts. Initial work-based MAIs were developed according to assessment objectives. A total of 36 MAI were developed using videos, audio, photos, and pictures and consulted by clinical experts. Content validity index (CVI) was evaluated by five nursing professors and five clinical nurses to determine whether the item could reflect clinical reality and assess clinical practice ability compared to previous paper-based items. Preliminary test was conducted on 10 senior nursing students to confirm the comprehensibility and usability of test items and appropriateness of test-taking time. During the validation phase of test items, mock test was conducted on junior and senior nursing students who had completed courses about cardiovascular and respiratory systems. The 136 participants were enrolled for the mock test. Of them, 105 were analyzed after excluding 31 participants who did not complete the survey. The average test-taking time of the mock test was 21.2 minutes. The average total score was 18.1 out of 36. The average item difficulty was 0.51 and the average item discrimination calculated by difference in the correct answer rate between high and low performers was 0.31 except for two items that indicated negative discrimination. The reliability of mock test by Cronbach’s α was 0.64. The criterion validity of the test was verified by analyzing the correlation between nurse clinical reasoning competency score and total score of the mock test assessed with developed MAI and by analyzing the difference in test scores of participants and perceived academic achievement. Results showed no significant correlation between total scores of the mock test and nurse clinical reasoning competency scores (r = 0.095, p = 0.336). However, there was a statistically significant difference in test score between the group with higher perceived academic achievement and the group with lower perceived academic achievement, with test score being higher in the higher perceived achievement group than in the lower perceived achievement group (t = 2.880, p = 0.005). A total of 10 participants were interviewed to verify the validity of the response process. Interview questions included how they felt about the mock test, the differences between MAI and paper-based test, whether the MAI was effective in improving their clinical practice competencies, and how they interpreted and analyzed throughout the problem-solving process. As a result of the interview, participants expressed that work-based MAIs were more relevant to nursing practice than paper-based items. It was also found that they solved items by integrating theoretical knowledge and practical experience, thus providing evidence for the validity of the response process. In this study, MAIs were developed based on assessment objectives derived from nursing activities and verified content validity. Work-based MAIs have been verified as an effective strategy for education and evaluation in assessing nursing students’ comprehensive competencies in both theory and practice. Results of this study can be used to suggest development processes of work-based multimedia assisted items that nursing educators can utilize when creating multimedia assessments. Furthermore, this study can be used as a basis for work-based education to enhance work competencies of newly graduated nurses.