간호교육인증평가의 결과타당도 분석과 개선방안

Abstract

결과타당도란 검사를 사용한 후 의도한 결과와 의도하지 않은 결과를 검증하는 것이다. 본 연구는 간호교육인증평가가 인증평가의 목적과 특성에 부합했는지 여부를 확인하고 간호교육에 어떠한 영향을 미쳤으며 이를 토대로 향후 간호교육인증평가의 개선방향을 모색하는데 목적이 있다. 이를 위해 2019년 10월 15일부터 11월 14일까지 간호교육인증평가 실시 결과 ‘인증’판정을 받은 간호교육기관 소속 교원을 모집단으로 온라인 조사를 실시하였고, 응답한 223명을 대상으로 분석을 실시하였다. 설문지는 간호교육인증평가의 인증평가 목적 및 특성 부합도 18문항, 인증평가가 간호교육에 미친 영향 44문항, 인증평가에 대한 만족 및 부담 정도 6문항, 인증평가의 개선방향 15문항, 간호교육기관 교원의 배경특성 9문항으로 구성하였으며 주요 분석결과는 다음과 같다. 첫째, 간호교육인증평가의 인증평가 목적 달성도, 평가인증의 구성요소 충족도, 평가영역별 평가기준의 적합도는 ‘중간’ 정도로 나타났고, 인증평가 실시 이후 간호교육의 질은 향상된 것으로 확인되었다. 인증평가의 목적 중 ‘학습성과에 기반한 교육체제 구축 강화’의 달성도가 가장 높았으며 ‘국제수준에서 요구하는 간호교육의 질보증체제 확보’가 가장 낮았다. 목적 달성도는 대학교 유형, 간호학과 설립연도, 인증평가 평가위원 경험에 따라 유의한 차이가 확인되었다. 연구대상은 인증평가 실시 후 간호교육의 질이 향상되었다고 인식하였고 이는 대학교 유형이 사립인 경우, 부속병원이 없는 경우, 교수 이외의 직위에서 유의하게 높은 것으로 나타났다. 평가인증의 구성요소 충족도는 평가목표의 충족도가 가장 높았고 결과활용의 충족도가 가장 낮았다. 대학교 유형, 보직경험, 인증평가 평가위원 경험 등 연구대상의 배경특성에 따라 유의한 차이가 확인되었다. 평가영역별 평가기준의 적합도는 비전 및 운영체계 영역의 평가기준 적합도가 가장 높았고, 교육성과 영역이 가장 낮았다. 2주기 인증평가 참여경험, 인증평가 관련교육 이수, 간호학과 설립연도에 따라 유의한 차이가 확인되었다. 둘째, 간호교육인증평가가 간호교육에 미친 영향에 대한 분석결과, 인증평가가 교육과정, 교수-학습, 학생, 사회, 간호교육의 발전을 위한 전문적 지원 등 간호교육의 다양한 측면에 미친 영향은 ‘중간’ 정도로 확인되었다. 배경특성에 따라서는 교육과정은 대학교 유형, 설립연도, 직위에 따라, 교수-학습은 소재지, 2주기 인증평가 참여경험, 인증평가 평가위원 경험에 따라, 학생은 소재지, 대학교 유형, 인증평가 관련교육 이수, 2주기 인증평가 참여경험에 따라, 사회는 소재지, 대학교 유형, 직위에 따라, 전문적 지원은 인증평가 관련교육 이수, 2주기 인증평가 참여경험에 따라 유의한 차이가 확인되었다. 대학교 유형이 사립인 경우, 설립연도가 1991년 이후인 경우, 평가위원 또는 인증평가 관련교육 경험이 없는 경우 인증평가가 간호교육에 미치는 영향이 큰 것으로 확인되었다. 셋째, 연구대상의 간호교육인증평가에 대한 만족도는 낮은 것으로 확인되었으며 인증평가의 효과에 대한 만족도가 가장 높았고 평가절차에 대한 만족도가 가장 낮았다. 연구대상의 인증평가 평가위원 경험여부에 따라 인증평가의 운영, 효과에 있어 유의한 차이가 확인되었고, 간호학과 설립연도에 따라 인증제도 전반과 인증평가의 효과에서 유의한 차이가 있었다. 연구대상의 99.1%가 간호교육인증평가가 부담된다고 하였으며, 인증평가 평가위원 경험이 없는 경우 매우 부담된다는 응답이 82.1%로 유의하게 높게 나타났다. 넷째, 간호교육인증평가의 개선필요성 정도는 4.22점(5점 만점)으로 매우 높았고, 인증평가의 전반, 평가과정, 정부 지원, 한국간호교육평가원 지원, 대학본부 지원 등 대부분의 항목에서 개선이 매우 필요한 것으로 확인되었다. 인증평가의 운영과 제도 확산을 위해서는 인증평가 관련업무 부담 감소, 인증평가 담당직원의 지원, 자체평가보고서 분량 감소 등이 매우 필요한 것으로 나타났으며 특히 인증평가 관련 업무부담 감소가 가장 시급하다는 의견이 제시되었다. 본 연구는 간호교육인증평가의 의도한 결과와 의도하지 않은 결과에 대한 근거를 확인하는 결과타당도를 처음 분석하였다는 점에 의의가 있다. 인증평가가 간호교육의 질을 향상시킨 것으로 확인되었으나 인증평가의 목적 달성도와 간호교육의 다양한 측면에 미친 영향은 중간 수준이었다. 간호교육인증평가에 대한 만족도는 중간 이하였고 부담도는 매우 높은 것으로 나타나 이에 대한 방안이 모색되어야 한다. 동시에 평가기준의 범위 내에서만 간호교육이 재편되고 있음이 확인된 연구결과를 토대로 향후 간호교육의 다양성을 고려한 인증평가의 시행이 필요하며, 간호교육기관의 실제 상황이 아니라 평가기준, 평가절차, 평가자의 편향성에 의해 인증평가의 결과가 달리 도출되거나 활용되지 않도록 해야 한다.;Consequential validity is the verification of the intended and unintended consequences after the use of the test. This study aimed to identify whether the nursing education accreditation conforms to the purpose and characteristics of the accreditation, and to find ways to improve the nursing education accreditation in the future based on the basis of its impact on nursing education. The online survey was conducted on the population of faculties belonging to nursing education programs which were judged to be ‘accredited’ as a result of the nursing education accreditation from October 15, 2019 to November 14, 2019. A structured questionnaire consisted of 18 items for the purpose and characteristics of the accreditation for nursing education; 44 items for the effect of accreditation on nursing education; 6 items for satisfaction and burden of accreditation; 15 items for improvement of accreditation; 9 items for background characteristics of nursing education faculties. The results were as followed: First, it was found that the achievement of the purpose of accreditation for nursing education, the satisfaction of components of accreditation, and the suitability of accreditation criteria by evaluation area were found to be ‘intermediate’ and the quality of nursing education improved after the accreditation was conducted. Among the purposes of accreditation, the achievement of ‘strengthening the establishment of education system based on learning performance’ was the highest, and the lowest level of ‘securing quality assurance system of nursing education required by the international level’. In case of purpose achievement degree, significant differences were identified by the type of university, the year of establishment of the nursing department, and the experience of the accreditation evaluator. The participants reported that the quality of nursing education had improved after the accreditation. The quality of nursing education was significantly improved if the university type was private; if there were no affiliated hospitals; if the position was other than professors. In the accreditation component satisfaction, the degree of evaluation purpose satisfaction was the highest; result utilization was the lowest. Significant differences were identified depending on the participants’ characteristics, such as the type of university, experience of assignment of a position, and experience of the accreditation evaluator. The conformity of accreditation criteria by evaluation area was the highest in the area of vision and operating system, and the lowest in the area of education outcome. Significant differences were identified depending on the 2nd cycle experience of participating in accreditation, completion of education related to accreditation, and establishment year of nursing department. Second, the impact of the nursing education accreditation on various aspects of nursing education, including the curriculum, teaching-learning, students, society, and professional support for the development of nursing education, was ‘intermediate.’ Significant differences were identified in the impact of accreditation on the nursing education: the curriculum was different by the university type, the year of establishment and the position; the teaching-learning by the university location, the experience of participating in the accreditation preparation, the accreditation evaluator experience; the student, according to the location and type of the university, experience of the education related to accreditation, and the experience of participating in the 2nd cycle accreditation preparation; the society by the location, the university type and the position; the professional support depending on experience of accreditation-related education and the 2nd cycle accreditation. If the university type is private; if the establishment year is 1991 or later; if there is no experience of accreditation-related education or accreditation evaluator, there is a significant impact on nursing education. Third, the degree of satisfaction with nursing education accreditation was low: satisfaction with the effect of accreditation was the highest, and satisfaction with evaluation criteria was the lowest. Significant differences in the operation and effectiveness of the accreditation were identified depending on the experience of the accreditation evaluator, and significant differences were found in the overall accreditation system and the effectiveness of the accreditation, depending on the year of establishment of the nursing department. 99.1% of the participants said that nursing education accreditation was very burdensome. In fact, 82.1% reported that they were very burdened if they did not have experience as an accreditation evaluator. Fourth, the degree of need for improvement in nursing education accreditation was very high with 4.22 points (range 1 to 5 points), and it was found that improvement was very necessary in most categories, including overall accreditation, evaluation process, government support, the Korea Accreditation Board on Nursing Education (KABONE) support, and university headquarter support. It was suggested that reducing the burden of work related to accreditation, supporting staff in charge of accreditation, and reducing the amount of self-evaluation report were essential for the operation of accreditation and the spread of the system, especially the burden of work related to accreditation was most urgent. It is very meaningful that this study first analyzed the results of the nursing education accreditation to determine the basis for the intended and unintended consequences. Although accreditation has improved the quality of nursing education, the achievement of the purpose of accreditation and its impact on various aspects of nursing education were moderate. The satisfaction level for nursing education accreditation was below the middle level and the burden level was very high, so a solution should be sought. At the same time, based on results that confirmed that nursing education is being reorganized only within the scope of the evaluation criteria, the implementation of accreditation considering diversity of nursing education in the future is necessary, and the results of accreditation should not be derived or utilized differently by accreditation standards, accreditation procedures and evaluators bias, not by actual situations of nursing education institutions.