간호학 임상실습교과목에서의 학습자 평가 현황과 개선방안

Abstract

The main goal of evaluation in clinical training is to benefit students during their learning by measuring and evaluating their level of achievement compared to the course outcomes. Therefore, in order to strengthen clinical training programs, the development of an evaluation system that can provide students with an effective study experience is a vital challenge. The purpose of this study was to investigate students’ and professors’ awareness and perceptions of evaluation methods in clinical practicum courses and to propose ways to improve those evaluation methods. The participants in this study were instructors and students with experience in clinical practicum including tenured professors, clinical instructors, on-site clinical instructors, expected nursing graduates who had completed all clinical practicum courses in their junior and senior years, and recent graduates (who had graduated ≤2 years prior to the survey) working in clinical practice. The final number of respondents was 194, including 47 instructors, 49 expected graduates, and 98 graduates. The questionnaires were developed by the researcher after studying the relevant literature and clinical practicum guidelines. The final survey consisted of 139 questions: 77 questions on the benefits for learning of evaluation methods used in each clinical practicum course, 19 questions asking about the adequacy of the evaluation methods, 10 questions soliciting opinions about evaluation in clinical practicum courses in general, 24 questions on the evaluators in clinical practicum courses, 1 question on issues in evaluation during clinical practicum, and 8 questions soliciting opinions about how to improve evaluation during clinical practicum courses. The internal consistency reliability of the questions was between 0.825 and 0.983. Key findings from the survey are presented below: First, both groups agreed that tests on terminology were helpful. There was a major gap between instructors and students in their perceptions of the benefits and adequacy of evaluation methods. While instructors found attendance, conferences, assessments of core basic nursing skills, nursing process case reports, and assessments made by on-site clinical instructors very useful, the majority of students found these methods to be average to somewhat useful Second, the two groups’ general opinions on evaluation contained no meaningful differences in terms of whether it would be more suitable for students to be provided with opportunities to practice prior to evaluation or with effective feedback based on the evaluation. However, students had more negative opinions than instructors on the objectivity and fairness of tests, and on whether assignments and evaluations increase the importance of studying, whether extra credit should be given for making progress and improvements, whether constructive evaluation is provided, whether the suggested assessment criteria were helpful, whether tests promoted additional studying, and whether assessors and students actively interacted with each other. Third, some categories showed differences between expected graduates and graduates. Graduates responded that assessments of core basic nursing skills and simulation-based practice helped them acquire useful skills for clinical settings, demonstrating that such assessments fostered hands-on knowledge. Fourth, the student group held more negative opinions about clinical instructors, but instructors and students equally valued self-evaluation and peer evaluation. Graduates and expected graduates were less satisfied than the instructors with the suitability of evaluations made by on-site clinical instructors, giving scores of lower than 3.0 to on-site clinical instructors and professors. In other words, students seemed to have the impression that on-site clinical instructors and professors did not understand them well. Both the instructor and student groups responded that performance-based evaluations were the most suitable and fair evaluation method, and that full-time clinical instructors best understood the students. In contrast, instructors perceived that full-time clinical instructors understood and evaluated the students best, whereas the graduates and expected graduates alike responded that the students themselves and their peers could provide a better evaluation. Fifth, when asked which areas should be improved, instructors, expected graduates, and graduates all had similar opinions. The following areas were commonly pointed out as requiring immediate improvement: enhancing performance-based assessments, introducing criterion-referenced evaluation system, reducing the number of norm-referenced (ranking-based) evaluations, promoting objectivity in evaluation methods, ensuring inter-rater reliability, and providing effective feedback based on assessment results. Relatively low priorities were expressed regarding the introduction of detailed assessment standards and inter-professional collaboration. Instructors assigned the same priority to enhancing performance-based assessments, ensuring inter-rater reliability, and providing effective feedback based on assessment results, while graduates prioritized, in descending order, a criterion-referenced evaluation system, ensuring inter-rater reliability, and providing effective feedback based on assessment results. All groups agreed that establishing inter-rater reliability was the most imperative area for improvement. Establishing detailed criteria and introducing assessment of inter-professional collaboration were deemed relatively less urgent. The finding of discordant perceptions of assessments between instructors and learners suggests that a productive evaluation process should be implemented to regularly evaluate whether assessments designed by instructors are working as intended and what learners think of such assessments. More than 80% of participants in all three groups agreed that it is necessary to increase the amount of effective feedback based on the evaluation. Professors, clinical instructors, expected graduates, and graduates alike suggested that a better feedback process should be implemented to make clinical training more meaningful. It is also important to explore the diversity of opinions among students regarding evaluation in clinical practicum courses. Expected graduates and graduates expressed distinct opinions on whether certain assessment methods were beneficial. Graduates with hands-on clinical experience found assessments of core nursing skills and case-based problem solving test to be the most helpful. These two skills are, in fact, the most critical psychomotor and cognitive skills of nurses in clinical settings. Since 99% of the nursing students move on to work as nurses after graduation, expanding assessments of these two skills and designing practicum courses to evaluate these skills repetitively and gradually will be essential. Another area for improvement is to narrow the gap among assessors. On-site clinical instructors are an integral part of nursing education, as they teach clinical practicum courses in nursing education programs while working in clinical settings. They have excellent knowledge and hands-on skills regarding the most up-to-date nursing practices compared to tenured professors or full-time clinical instructors. However, they generally have relatively few opportunities to receive training as educators. As the number of nursing students increases, students are allocated to many different sites for the same clinical practicum courses. This means that they are generally not evaluated by the same assessors, leading to inconsistencies in evaluation methods. Developing and making strategic use of diverse media forms such as case studies, standardized or virtual patients, web-based learning programs, and virtual reality-based study programs will be necessary to address differences in teaching methods, as well as standardizing educational opportunities to reduce inconsistencies across different assessors. Lastly, enhancing performance-based evaluations and transitioning to criterion-referenced evaluations should be considered. In the survey, 83.0% of instructors, 73.5% of expected graduates, and 70.1% of graduates responded that performance-based evaluations should be used more frequently. Introducing a criterion-referenced evaluation system was supported by 74.2% of instructors, 87.8% of expected graduates, and 70.1% of graduates. Instructors and students agreed that simulation practice and performance-based tests are more ideal for clinical practicum courses than written or oral tests. Furthermore, criterion-referenced evaluations focus on understanding and evaluating what an individual student can do, in contrast to norm-referenced grading systems in which students are ranked by their scores. Establishing performance standards for core abilities and evaluating each individual student against those standards will be beneficial for preventing excessive competition among students and for better understanding the level of achievement of individual students. This study was conducted based on the results of a survey conducted among instructors and students at a single university, meaning that there are limitations in the generalizability of its conclusions. Future studies should be carried out with a larger number of participating universities and respondents, as well as with more sophisticated tools for analyzing the responses. A suggestion for follow-up research would be to compare each student’s opinions and perceptions about evaluations with their performance on actual evaluations, and to identify the evidences of response process through qualitative data on instructors’ intentions and students’ reactions to evaluation methods. An ongoing collaboration among multiple organizations to develop tools for understanding clinical practicum evaluation methods to be used in formative assessments to improve the quality of courses and standardized plans would also be useful.;간호교육에 있어 임상실습의 중요성이 점점 더 강조되면서 수년 간 간호학 임상실습의 질적 개선을 위한 시도가 꾸준히 이루어졌으며, 이를 위한 평가체계 개선 노력이 이루어져왔다. 그러나 아직까지 타당하고 신뢰할 만한 평가체계가 미비하고 다양한 평가 방법으로 인해 평가의 신뢰성 저하의 문제가 지적되어 왔다. 임상실습평가는 임상실습교육의 목표가 어느 정도 달성되었는지를 측정하고 평가하여 학생의 학습을 돕는 것이 가장 우선적인 목적이므로 효과적인 학습 경험을 견인할 수 있는 평가 체계를 만드는 것이 실습교육 내실화를 위해 중요한 과제이다. 본 연구의 목적은 간호학 임상실습교과목에서의 평가 현황과 교수자와 학습자의 평가에 대한 인식 분석을 토대로 향후 임상실습교과목에서의 효과적이고 효율적인 평가를 위한 개선방안을 제안하는데 있다. 본 연구의 대상자는 E 대학 간호학 임상실습교과목에 참여한 경험이 있는 교수자와 학습자로서 임상실습교과목을 담당하여 지도한 경험이 있는 교수자에는 전임교수, 임상실습전담강사, 임상실습강사, 임상실습현장지도자가 포함되었다. 학습자는 3-4학년에 걸쳐 개설된 모든 임상실습교과목을 이수한 간호대학 졸업예정자와 최근 2년 이내의 졸업생이면서 임상현장에서 간호사로 근무하고 있는 자로 하였다. 최종적으로 설문에 참여한 대상자는 교수자 47명, 졸업예정자 49명, 기졸업자 98명으로 총 194명이었다. 본 연구에서는 연구자가 문헌고찰과 실습지침서 분석을 토대로 개발한 질문문항을 사용하였다. 개발한 문항에 대해 교육학 박사 1인과 간호학 박사 2인에게 내용타당도를 검토 받았으며, 간호학 임상실습을 지도한 경험이 있는 교수자 3인과 간호대학 학부생 2인에게 사전조사를 통해 문항의 이해도를 평가한 후 응답자가 이해하기 쉬운 문구로 수정보완한 후 사용하였다. 최종적으로 질문지는 임상실습교과목별 평가현황 및 평가방법의 유익성에 대한 질문 77문항, 평가방법의 적절성에 대한 질문 19문항, 임상실습교과에서 이루어지는 전반적인 평가에 대한 인식 10문항, 임상실습교과의 평가자에 대한 의견 24문항, 임상실습교과에서 평가의 문제점에 대한 의견 1문항, 임상실습교과에서 평가의 개선사항에 대한 의견 8문항으로 총 139문항으로 구성하였다. 질문지의 문항내적일관성신뢰도는 .825~.983이었다. 본 연구의 결과는 다음과 같다. 첫째, 교수자와 학습자가 모두 유익하다고 생각하는 평가방법은 용어시험이었으며, 전체 임상실습교과목에서 공통적으로 이루어지는 출석, 집담회, 핵심기본간호술, 간호과정 사례보고서, 임상실습현장지도자 평가 등에 대해서 교수자는 매우 유익하다고 생각하는 반면, 학습자는 보통에서 유익 수준이라고 생각하는 비율이 높아 교수자에 비해 유익성을 낮게 인식하는 것으로 나타나 평가방법별 유익성과 적절성에 대한 전반적인 인식에 차이가 있는 것으로 나타났다. 둘째, 평가에 대한 전반적인 인식을 살펴본 결과, 평가 전에 학생에게 연습기회를 제공하거나 평가를 기반으로 효과적인 피드백을 제공하는가에 대해서는 그룹 간의 유의한 차이가 없었으나, 평가의 객관성과 공정성, 과제와 평가가 학습을 의미있게 해주는가, 학생의 진전과 향상에 대해 점수를 부여하는가, 구성적인 평가를 제공하는가, 제시된 평가기준이 학습에 도움이 되는가, 평가를 통해 학습이 촉진되는가, 평가자와 학습자 간에 상호작용이 활발한가에 대해서는 그룹 간 유의한 차이가 있었는데, 전반적으로 교수자에 비해 학습자의 인식이 부정적인 것으로 나타났다. 셋째, 학습자 그룹 중 졸업예정자와 기졸업자의 의견에도 차이가 있는 항목이 있었다. 학습자 그룹 중에서 기졸업자가 임상현장에서 일하면서 도움이 되었다고 생각하는 평가방법은 핵심기본간호술 평가와 시뮬레이션실습 평가였으며, 이는 실무에 도움이 되었다는 평가로서 중요한 의미를 가진다. 넷째, 임상실습교과의 평가자에 대한 인식은 교수자에 비해 학습자가 부정적이었으나 평가자로서의 학생 자신과 동료에 대해서는 교수자와 학습자 사이에 유의한 차이가 없었다. 임상실습현장지도자 평가의 적절성에 대해 교수자에 비해 졸업예정자와 기졸업자는 부정적인 의견이 많았고 특히 임상실습현장지도자와 교과목 담당교수에 대한 학습자의 평점이 3.0 이하로 나타나, 학습자들은 임상실습현장지도자와 교과목 담당교수가 학습자에 대해 잘 파악하지 못한다고 느끼는 것으로 나타났다. 교수자와 학습자 모두 임상실습전담강사가 실습평가에 참여하는 것이 가장 타당하고, 공정한 평가자이며, 평가기준에 대해 가장 잘 이해하고 있고 학습자에 대해 가장 잘 파악하고 있다고 생각하였다. 교수자는 임상실습전담강사가 학습자를 가장 잘 파악하고 평가한다고 생각하였으며, 졸업예정자와 기졸업자는 학생자신과 동료가 학습자에 대해 잘 파악하고 평가한다고 생각하였다. 다섯째, 임상실습교과의 평가에서 개선이 필요한 부분에 대해서는 교수자, 졸업예정자, 기졸업자 간의 유의한 차이가 없어 개선방안에 대한 의견이 대부분 일치하는 것을 알 수 있다. 수행평가 강화, 절대평가제도 도입, 상대평가 비율 조정, 평가방법의 객관성 확보, 평가자간 신뢰도 조정, 평가에 근거한 효과적 피드백에 대한 개선이 시급하거나 필요하다는 의견이 다수 있었으며, 평가기준의 상세화나 전문직 간 협력에 대한 평가 도입 부분은 중도적인 입장이 많았다. 교수자가 가장 개선이 시급하다고 생각하는 항목은 수행평가 강화, 평가자 간 신뢰도 확보, 평가에 근거한 피드백이었으며, 학습자는 절대평가도입, 평가자 간 신뢰도 확보, 평가에 근거한 피드백 순이었다. 교수자와 학습자가 모두 시급하다고 생각하는 개선사항은 평가자간 신뢰도 확보였다. 상대적으로 평가기준 상세화나 전문직간 협력에 대한 평가 도입은 필요도가 낮게 나타났다. 이와 같이, 교수자와 학습자의 인식의 차이가 있다는 것은 교수자가 설계한 평가가 의도한 대로 작동되고 학습자에게 어떻게 받아들여지는지 지속적으로 분석하는 형성적인 평가과정이 강화되어야 함을 시사한다. 또한 교수자와 학습자 모두 평가에 근거한 효과적인 피드백을 위한 개선이 필요하거나 시급하다고 응답한 비율이 약 80% 이상이었으며, 전임교수, 임상실습강사, 졸업예정자, 기졸업자 모두 피드백이 부족하다는 의견제시가 많았는데, 의미있는 학습경험으로의 전환을 위해 형성평가와 피드백 강화가 필요함을 시사한다. 특히, 임상실습교과의 평가에 대해 학습자 간에도 인식의 차이가 있었던 부분에 대해 집중과 검토가 필요하다. 본 연구에서 졸업예정자와 기졸업자가 평가방법의 유익성에 대한 의견에 유의한 차이가 있는 것으로 나타났다. 임상실무경험이 있는 기졸업자가 유익성이 높다고 생각하는 평가방법은 핵심기본간호술 평가와 사례기반 문제해결능력 평가였다. 다양한 평가방법 중 핵심기본간호술 평가와 사례기반 문제해결능력 평가는 임상현장에서 간호사에게 가장 중요한 기본적 심동적 기술과 임상사례에 기반한 인지적 기술을 의미한다. 따라서 졸업 후 99% 이상이 간호사로 진출하는 간호대학의 특성상 이 두 가지 평가방법에 의한 평가의 비중 확대와 실습교육과정 내 반복적이고 점진적인 평가가 설계될 수 있도록 하는 노력이 필요하겠다. 또한 평가자에 대한 인식의 차이를 개선하기 위한 노력이 필요하다. 임상실습현장지도자는 임상현장에서 실무를 하면서 학생 실습을 지도하는 교수자로 간호교육 프로그램에서 학습자를 평가하는 주요 교수인력이다. 이들은 대학에 소속된 전임교수나 실습지도강사에 비해 최신 간호실무에 대한 지식과 실무역량이 뛰어나다. 그러나 이들은 현실적으로 교육자로서의 역할에 대한 훈련 기회가 많지 않다. 또한 간호대학생 수의 증가로 인해 동일한 임상실습교과목 이수를 위해 학생들은 서로 다른 다양한 현장에 배치되어 임상실습을 경험한다. 이는 학생들마다 평가자가 다를 수 있음을 의미하며, 다양한 평가자 간 편차가 존재하게 된다. 이러한 문제를 해결하고 교육기회의 표준화를 통한 평가의 편차 개선을 위해서는 학습사례나 모의환자, 웹기반 학습프로그램, 가상현실 학습프로그램 등의 다양한 학습매체 개발과 사용전략이 필요하다. 마지막으로 수행평가 강화와 준거참고평가로의 전환을 고려할 필요가 있다. 본 연구결과 수행평가 강화가 필요하거나 시급하다고 응답한 비율이 교수자 83.0%, 졸업예정자 73.5%, 기졸업자 70.1%였으며, 절대평가제도를 도입하는 것이 필요하다는 응답 비율은 교수자 74.2%, 졸업예정자 87.8%, 기졸업자 70.1%로 높게 나타났다. 또한 임상실습에서의 바람직한 평가방법에 대해 교수자와 학습자 모두 지필시험이나 구두시험보다는 시뮬레이션 실습과 실기시험 등의 수행평가가 적절하다고 생각하는 것으로 나타났다. 준거참조평가는 상대적 서열보다는 학습자가 무엇을 할 수 있는가를 파악하고 평가하는 것에 중점을 둔다. 따라서 핵심적인 역량에 대한 수행 준거를 설정하고 학습자 개개인이 수행 준거에 도달했는지를 평가함으로써 학생 간의 과도한 경쟁을 지양하고 학습자 개개인의 성취수준을 판단할 수 있는 평가로의 전환이 필요하다. 본 연구에서는 평가방법에 대한 교수자와 학습자의 주관적 인식을 주로 분석하였다. 본 연구결과를 토대로 다음과 같은 제언을 하고자 한다. 첫째, 타당한 평가방법에 대한 포괄적인 분석을 위해 개별 학습자의 실제 평가결과와 인식을 매칭하여 학습자의 학습성과별 평가에 대한 인식의 차이를 분석하고 교수자가 설계한 의도와 학습자의 평가에 대한 반응을 질적 자료로 수집하여 학습자의 반응과정에 대한 타당도를 검토하는 연구를 제안한다. 둘째, 수업 개선을 위한 형성평가에 활용할 수 있는 임상실습 평가방법에 대한 인식 도구를 개발하고 실습기관의 환경적 요인 및 기관 특성이 평가에 미치는 영향을 분석하여 표준화된 발전방안을 마련하기 위해 조사 대학과 대상자 수를 확대한 다기관 연구를 제안한다.