Modified-Angoff 방법과 Bookmark 방법을 이용한 노인전문간호사 자격시험의 준거설정

Abstract

최첨단 보건의료 지식과 기술의 도입으로 질병 예방 및 조기 발견과 치료의 효율성이 증가되어 질병 생존율이 급격히 증가하고 있다. 증가된 질병 생존율은 기대수명의 연장과 노인 인구의 증가를 가져온다. 동시에 우리 사회의 질병 구조의 변화를 초래하여 만성 노인성 질환의 유병률이 증가하고 있다. 이러한 보건의료 환경의 변화에 맞춰 전문 의료 인력인 간호사의 역할도 확대되고 전문화되어야 한다는 요구가 높아졌고, 이에 우리나라에서는 2000년에 전문간호사 제도가 도입되었다. 국민건강권 보장을 위한 양질의 우수한 보건의료 인력양성은 적정수준의 교육과 함께 성취수준을 확인할 수 있는 자격인증제도를 통해서 가능하다. 이에 따라 적정수준 이상의 전문간호 서비스를 제공할 수 있는 전문간호사의 역량을 담보하기 위한 방안으로 2005년 자격시험이 도입된 이래 현재까지 시행되고 있다. 그러나 자격부여를 위한 역량을 판단하기 위해서는 자격시험의 합격기준 설정에 대한 과학적이고 논리적인 근거가 필요함에도 불구하고 현재 전문간호사 자격시험은 관행과 행정편의에 의해서 총점의 60% 이상 득점을 합격기준으로 삼고 있다. 국민의 건강 및 생명과 직결되는 업무를 수행하는 전문간호사의 자격을 부여함에 있어서 자격부여의 판단 기준에 대한 과학적인 검토와 개선방안의 연구는 매우 중요한 과제이다. 이에 본 연구에서는 노인전문간호사 자격 1차 시험의 준거점수를 대표적인 준거설정 방법인 Modified-Angoff 방법과 Bookmark 방법을 적용하여 설정하고, 각 방법에 의한 점수와 기존 합격점수를 비교, 분석 및 평가하여 향후 개선방안을 제시하고자 하였다. 이를 위하여 본 연구에서는 Modified-Angoff 방법과 Bookmark 방법으로 각각 3회의 평정 라운드를 시행하여 각 준거설정 방법의 최종 분할점수를 산출하고, 이에 근거한 합격/불합격 판정결과를 도출하고 기존 합격 판정결과와 비교하였다. 본 연구에서 시행된 준거설정 방법에 대한 내적 평가는 준거 설정자 내 판정일치도, 준거 설정자 간 판정일치도, 각 준거설정방법에서 평정 라운드 간 판정일치도 및 분할점수의 평정 라운드 간 상관관계를 통해 실시하였고, 외적 평가는 준거설정 방법 간 판정일치도, 기존 합격준거와 준거설정 방법으로 결정된 분할점수 비교 및 판정일치도를 통해 실시하였다. 준거설정 방법의 절차적 평가로서는 준거 설정자들의 준거설정 방법에 대한 이해도와 명확성, 평정 용이성, 실용 가능성, 분할점수 확신도, 절차에 대한 평가를 시행하였다. 본 연구의 대상검사인 노인전문간호사 자격 1차 시험은 총 150문항의 5지선다형으로 구성되어 있으며, Bookmark 방법에 의한 준거설정을 위해서 2-모수 로지스틱모형 문항분석을 시행하였다. 그 결과 정답률이 100%인 2개의 문항과 문항변별도 초기값이 음수인 1개 문항은 문항모수가 추정되지 않아 이들 3개 문항을 제외한 총 147문항이 문항순서집에 포함되었다. 연구 결과, Modified-Angoff 방법 최종 라운드의 평정값 평균은 75.3이었으며 노인전문간호사 자격시험의 총점인 150점 만점으로 환산하였을 때 분할점수가 113.0점으로 산출되었다. Bookmark 방법 최종 라운드에서 산출된 분할점수는 150점 만점으로 환산하여 110.5점이었다. Modified-Angoff 방법의 분할점수에 근거한 합격률은 52.9%, Bookmark 방법의 분할점수에 근거한 합격률은 57.0%이었다. 이러한 결과는 기존 합격기준인 150점 만점의 60%인 90점과 비교하여 높은 분할점수가 산출된 것이며, 합격률 역시 기존 합격기준에 의한 합격률인 93.4%와 비교하여 커다란 차이를 보였다. 두 가지 준거설정 방법과 기존 합격기준 간의 판정일치도는 Modified-Angoff 방법과 Bookmark 방법 간 Kappa 계수 .917, Bookmark 방법과 기존 합격기준 간 Kappa 계수 .172, Modified-Angoff 방법과 기존 합격기준 간 Kappa 계수 .147 순으로 나타나 본 연구에서 사용된 준거설정방법 간에는 매우 높은 판정일치도를 보였으나 기존 합격기준과 각 준거설정 방법 간에는 매우 낮은 판정일치도를 보였다. 본 연구에서 시행된 두 가지 준거설정방법에 대한 내적 평가의 결과, Modified-Angoff 방법의 준거 설정자 내 판정일치도는 Bookmark 방법과 비교하여 현격히 높았으며, 준거 설정자 간 판정일치도는 평정 라운드가 반복되면서 높아지는 경향을 보였다. Modified-Angoff 방법 내에서 각 라운드 간 판정일치도는 2라운드와 3라운드 간에 ‘거의 완벽한 일치도(K=.852)’를 보였으나 Bookmark 방법에서는 ‘적당한 일치도(K=.571)’를 보였다. Modified-Angoff 방법의 평정 라운드 간 분할점수의 상관관계는 1라운드와 2라운드 간 가장 높은 정적 상관관계(r=.711)를 보였으나 Bookmark 방법에서는 1라운드와 2라운드 간 분할점수의 관계는 정적 상관관계(r=.336)이고 2라운드와 3라운드 간에는 부적 상관관계(r=-.185)를 보였다. 준거설정 방법의 외적 평가 결과, 두 가지 준거설정 방법 간 판정일치도는 1라운드 간 Kappa 계수 .116, 2라운드 간 Kappa 계수 .401로 라운드가 반복됨에 따라 판정일치도는 안정화되고, 최종라운드 3라운드 간 Kappa 계수는 .917로 ‘거의 완벽한 일치도’를 보였다. 절차적 평가 결과, 준거 설정자들의 준거설정 방법에 대한 이해도와 명확성, 실용 가능성, 분할점수 확신도는 매우 높은 수준으로 평가되었으며, 두 가지 방법에 대한 평정 용이성 비교에서는 동일하게 평가되었다. 전문간호사 자격시험의 준거설정 방법으로는 Modified-Angoff 방법을 더 선호하였으며 준거설정 세부 절차의 유용성은 비교적 높게 평가되었다. 본 연구의 결과를 바탕으로 우리나라 국가 자격인 노인전문간호사 자격 1차 시험의 합격기준에 대한 개선과제와 시사점을 제시하였다. 첫째, 현재 적용되고 있는 노인전문간호사 합격기준에 대한 심도 있는 분석과 검토가 요구되며, 전문간호사 자격시험의 합격기준 재고에 대한 공론화가 필요하다. 현재의 합격기준은 준거설정 방법으로 산출된 분할점수와 비교하여 현저히 낮은 기준이다. 둘째, 현재 전문간호사 자격시험의 질에 대한 검토가 필요하다. 본 연구에서 시행된 자격시험의 문항분석 결과 문항의 난이도와 변별도가 매우 낮은 문항들이 확인되었으며 이에 대한 분석과 대안 마련이 필요하다. 셋째, 전문간호사 자격시험의 준거설정 방법으로 Modified-Angoff 방법을 제안한다. Bookmark 방법의 경우 시험의 일차원성 가정과 균일한 문항난이도의 갖춘 검사 제작 등 충족되어야 할 선행 조건을 고려한다면 전문간호사 자격시험에서 Bookmark 방법의 채택은 현재 어렵다고 생각한다. 마지막으로 이상의 제안이 실행되기 위해서는 전문간호사의 역할과 업무범위, 자격규정 등 관련 법 제정과 개정이 요구된다. ;With the most advanced health-related knowledge and medical technology, the recent trends and structures of disease have experienced toward chronic senile diseases. This phenomenon precipitates the extension of life expectancy and the increase of the elderly population in Korea. In order to provide the good quality of healthcare, the specialization of nursing care has been required, and accordingly appropriately prepared healthcare provider, so called ‘Advanced Practice Nurse (APN)’ has been introduced in Korea since 2000. Ensuring the competency of APN becomes in reality with an optimum level of educational curriculum and certification examination. APN is certified through passing the certification examination, which passing criterion has been set according to an arbitrary fixed rule, 60% of scoring or above. Certification examination is one of the typical forms of criterion-referenced evaluation, where the standard setting is a core element and should be performed in scientific and logical manners. In this context, the current passing standard of certification examination for APN should be reconsidered. The purpose of this study was to set the passing standard for certification examination of gerontological APN using Modified-Angoff Method(MAM) and Bookmark Method(BM). Specifically, this study aimed to determine the cutoff scores using two standard setting methods, to compare them with the current passing score, and to raise issues on the passing standard and suggest the future direction based on the findings of the study. The certification examination of gerontological APN used in this study is composed of 150 items with 5 choices in the 4 areas of its contents. An ordered item booklet was formulated based on the results of item analysis with 2-parameters Logistic model based on the item response theory. 5 raters were recruited and all of them are either a current education expert or a practice expert in the area of gerontological APN. A total of 3 rating rounds per each standard setting method was performed by 5 raters. As results of this study, an average rating in the final round of MAM was 75.3 with a passing cutoff score of 113.0 out of 150 while the passing cutoff score of 110.5 out of 150 was determined in BM. Passing ratios were 52.9% in MAM, 57.0% in BM, and 93.4% according to the current standard. These newly set standards using MAM and BM are much higher than the existing cutoff score, and the passing ratios are apparently different from the existing one. The internal, external and procedural evaluation of standard setting methods were conducted and various levels of agreement of passing judgment were shown in intra-judge, inter-judge, inter-round within each method, and inter-methods. The level of agreement of passing judgment between MAM and BM was .917 and much higher than those between MAN and the existing criterion, and between BM and the existing criterion respectively. With the repeated rating rounds, the level of agreement of passing judgment displayed a tendency of being increased and stabilized. According to Judges’ opinion, their understanding on standard setting methods, and usefulness and applicability of standard setting methods were evaluated to be significantly high. Judges’ preference on standard setting methods was shown as MAM rather than BM in terms of its relevance and usefulness to set the passing standard for certification examination of gerontological APN. Based on the findings of this study, future directions and suggestions from a new perspective were discussed. This study is the first and unique one in setting the standard for certification examination for APN in Korea, and throughout this study, diverse meaningful implications were drawn to challenge the existing certification examination and its passing standard. Therefore, the passing standard for certification examination of gerontological APN should be reconsidered in terms of its validity. The policy making in areas of APN’s roles and practice scope will facilitate the reform of the existing system of certification examination.