Modified-Angoff 방법과 Bookmark 방법을 이용한 의사 국가시험의 준거설정

Abstract

오늘날의 교육은 분절된 교과 중심에서 지식 및 경험의 통합을 강조하는 역량 중심 교육(competency based education)으로 변화하고 있으며, 이에 맞추어 교육평가의 패러다임도 확대되고 변화하였다. 현대 교육 사회에서는 준거참조평가(criterion-referenced evaluation)가 규준참조평가(norm-referenced evaluation)보다 더 미래지향적 평가관으로 인정받고 있다. 준거참조평가는 개인의 성취 목표 도달 여부를 평가하여 교육과정과 교수·학습에 피드백을 제공하므로 개인의 성취에 긍정적 영향을 준다. 이러한 준거참조평가에서 가장 중요한 것이 바로 준거의 설정이다. 의사국가시험은 일정한 성취 목표 즉, 준거를 설정해놓고 의사로서 자격을 부여하는 최소한의 능력검사(minimum competency test)로서 준거참조검사이다. 의사는 국민의 생명을 다루는 직업으로 의사 자격, 면허를 부여하기 위해 그 능력을 평가하는 시험에서 준거는 곧 의사의 질을 좌우한다. 그러나 현실의 국가자격시험들의 준거가 실제 검사의 내용에 적합한지를 검토하는 사례나 연구는 드물다. 본 연구에서는 의사 국가시험의 필기시험을 대상으로 검사내용 중심 준거설정 방법으로 Modified-Angoff 방법과 Bookmark 방법을 사용하여 시험의 합격자를 결정하는 분할점수를 산출하였고 그 과정과 결과를 평가하였다. 새로운 방법을 적용하여 준거설정을 시행한 결과 산출된 분할점수와 분할점수에 따른 합격자와 불합격자 분류 비율은 방법간, 방법내, 기존의 합격기준과 비교하는 등 내적, 외적, 절차적, 점수의 재현성 측면에서 그 타당성을 검토하였다. 연구 결과, 분할점수는 Bookmark 방법이 가장 낮았고, 기존의 합격선, Modified-Angoff 방법 순서로 점수가 높았다. 합격률은 Bookmark 방법을 적용했을 때 97.6%, 기존의 합격선은 96.7%, Modified-Angoff 방법은 95.8%로 1%내외의 차이를 발생시켰다. 합격자 분류 비율의 일치도를 분석한 결과, 방법간 평정의 일치도는 Modified-Angoff 방법과 기존 합격 결정방법의 일치도가 .873으로 가장 높았고, Bookmark 방법과 기존 합격 결정방법의 일치도가 .840으로 매우 높았으며, Modified-Angoff 방법과 Bookmark 방법간 일치도가 .720의 순서로 나타났다. 따라서 기존의 결과와 더 유사한 결과를 도출한 방법은 Modified-Angoff 방법이다. 두가지 새로운 방법은 기존 방법과 매우 높은 일치도를 나타내었으며, 두 방법간 일치도도 높았다. 절차적 타당성 평가 결과, ‘의사로서 최소 능력', '최소수행능력자'를 규명하고 성취수준을 도출하는 것이 매우 어려운 과제임을 확인하였고 준거설정자들은 여기에 더 많은 논의와 교육, 준거설정 경험이 필요함을 제언하였다. 두가지 방법 모두 절차의 이행 정도는 양호한 편이었으나 Modified-Angoff 방법이 Bookmark 방법보다 분할점수의 확신도와 분할점수의 적절성에서 높은 평가를 받았다. Modified-Angoff 방법에서 준거설정자 자신이 평정한 점수의 적절성에 4점 이상의 긍정적 반응이 71.4%였으며 최종 분할점수에 대해서도 85.7%가 적절하다 이상의 긍정적 반응을 하였다. Bookmark는 준거설정자 자신의 점수에 53.9%가 적절하다고 평가했고 최종 점수는 38.5%가 적절하다고 평가하였다. 준거설정자들은 Modified-Angoff 방법의 결과에 더 신뢰감을 나타냈다. 의사 국가시험의 준거설정을 위하여 다양한 전공자들이 참여해서 준거설정자간 점수를 조정하는 라운드 시행에 있어서는 최소한 3라운드 이상의 시행이 적당할 것으로 판단된다. 두 방법에서 모두 1라운드와 2라운드의 점수 차이는 크게 변동되었지만 2라운드와 3라운간 차이는 미미했다. 3회에 걸친 평정과 토의를 하고나면 준거설정자들은 더 이상 값을 수정하지 않고 적절한 결과치로 받아들이는 경향을 보였다. 준거설정자들은 Modified-Angoff 방법이 더 평정하기 용이하다고 느꼈으며, 실전 적용 가능성에 대해서도 Modified-Angoff에 더 긍정적으로 반응하였다. 실제로 Bookmark 방법에서 준거설정자들은 체감난이도와 문항분석에 의한 난이도의 차이에 혼돈을 느꼈다. 따라서 다양한 전공과목이 혼재한 시험에서 한 개의 분할점을 찍는 어려움 때문에 준거설정자들은 Bookmark 방법의 평정을 어렵게 느꼈으며 따라서 실제 적용 가능성에도 부정적으로 반응하였다. 그러나 실제 평정 작업은 Bookmark 방법이 매우 효율적이었으며, 준거설정자간 수렴, 준거설정자내 수렴도 잘 되는 편이었다. 문항수가 많은 시험에서 모든 문항을 검토해야 하는 Modified-Angoff 방법보다 모든 문항을 검토할 필요가 없는 Bookmark 방법이 시행, 평정, 토의 등에 있어서 소요 시간도 적고 효율적이었으며 점수의 수렴도 잘 되는 장점이 있었다. 그러나 준거를 설정하는 과정에서 준거설정자간 의견의 차이가 컸으며 준거설정 방법에 대한 이해부족, 그리고 최소능력보유자에 대한 이견 등 여러 문제점이 노출되었다. 본 연구는 의사 국가시험은 준거참조검사를 지향하여야 하므로 제작 단계부터 준거참조검사제작 원리와 절차를 준수할 것을 제안한다. 시험의 하위영역을 명확히 구분하고 해당 전문가들이 검사를 제작할 수 있어야 하며, 의사로서 최소능력보유자에 맞는 분할점수가 도출되어야 한다. 이러한 판정을 위한 준거설정자를 구성할 때에는 내용전문가와 임상의사의 경력에 따라 다양하게 구성하여야 하고 나아가 의료정책결정자, 의학교육자등의 이해관계자들을 포함하여 합의에 의한 조정과 의사결정이 원활히 이루어 질 수 있도록 이들에게 충분한 교육을 실시해야 할 것이다. 이러한 근본적인 제도의 개선 없이는 의학교육의 질을 높이기 어려울 것이며 의료의 질을 향상시키는데도 한계가 있을 것이다.;The future society of the 21st century is a knowledge-based society which creates new value by means of the knowledge to be a driving force for national development. Efforts to reset the direction of the school in accordance with these changes have been made throughout the world. Today's education is changing as a competence-based education which emphasizes in the integration of knowledge and experience instead of the fragmented curriculum centered, accordingly enlarged paradigm of education evaluation. In modern society the criterion-referenced evaluation is considered as more desirable than norm-referenced evaluation. Criterion-referenced evaluation provides feedback on whether individual achievement goals to reach the curriculum and teaching and learning so that gives a positive effect on the individual's accomplishments. The most important criterion in this evaluation is the setting of the referenced criterion. Licensing examination for primary physician is a criterion referenced test which accomplished certain goals ie, a criterion of minimum competency as a qualified physician. As the importance of licensed profession's role dealing with the life of the people, the quality of physician depends on the criterion of licensing examination for physician. However, the criterion in reality is uniformed to arbitrary fixed rule of common national qualification examination and practices to review appropriate methods based on the contents of the actual tests or studies are rare. In this study, it was suggested that the possibility of applying alternative methods setting a criterion using appropriate method that is used in educational assessment studies targeting absolute written examination. The process and results of criterion-referenced standard settings ie, the Modified-Angoff and Bookmark methods are evaluated according to the general procedure for calculating the cutoff point for determining the successful candidates for the target test. These alternative standard setting methods are compared to conventional acceptance criteria according to the ratio of successful applicants and failed applicants classification performed by applying the new criterion results. It was reviewed internal, external, procedural validity and reproducibility of the score in terms of its feasibility. The performance level of primary physician is drived from the Dreyfus model of skill acquisition. Minimally competent person as a primary physician is in the level of completed advanced beginner. The results shows that Bookmark method's cut off score is the lowest, the score of conventional acceptance criteria, the score was as high as Modified-Angoff method in sequence. Success rate is 97.6% when applied to the Bookmark method, the conventional acceptance criteria is 96.7%, Modified-Angoff method gave rise to a difference of about 1% to 95.8%. The analysis classified applicants in proportion to agreement and the agreement coefficient measured by Kappa between acceptance of the existing method and that of Modified-Angoff was the highest with 0.873, the degree of match between Bookmark and the existing method was very high as 0.840, and agreement between the Modified-Angoff and Bookmark methods was in the order of 0.720. Therefore, Modified-Angoff shows more similar results with conventional methods. Two new methods showed very high concordance with conventional methods, were also high agreement between the two methods. Procedural validity evaluation results at the same time gives the many implications that the process of applying the new methods. Due to the wide range of medical disciplines of ‘minimum knowledge and skills as a physician’, identifying ‘what the minimally competent person can do or not’ was confirmed a very difficult task to standard setting panelists so that more discussion, education and experience are needed. Analysis of questionnaire obtained from standard setting panelists to evaluate procedural criteria of the standard setting procedures and conceptional understanding. Both methods conducted all procedures as well as they're required but the panelist’s rating score of Modified-Angoff was higher than the score of Bookmark in confidency of the cutoff score. In the Modified-Angoff Method 4 points or more positive reactions to the adequacy of his own score was 71.4% while 85.7% for the final division score's appropriateness. Bookmark method had 53.9% rated their scores on the panel considers appropriateness. The final score was assessed that 38.5% is appropriate. panelists are shown more confidence in the result of Modified-Angoff method. The KMLE written test is composed of various constructs. Therefore, detailed discussion after each round with other panelists was crucial to convergence. No matter which method implemented, the round conducted between panelists to adjust the minimum score more than three rounds are judged to be adequate. In both methods, the score difference between the first round and the second is significant whereas the score difference between the second round and the third round is minimal. After 3 rounds, panelists tend to accept the final result. Round discussion and coordination process in accordance with the agreement of the panelists can be carried further. Modified-Angoff is considered feasible to adopt to national licensing examination. The standard setting panelists responded more positively to the Modified-Angoff for the practical applicability. In fact, there were several difficulties in the Bookmark methods applied in. The rating was done putting one cutoff on ordered item booklet based on total score. Basically there was confusion about the gap of difficulties caused by declining and item analysis. Due to a variety of knowledge, panelists felt difficult in marking one split points in this long test and that made panelists consider Bookmark method is not feasible to adopt. But the real work of Bookmark method is very effective, converged well between panelists. Therefore, if the multi-dimensional aspects are solved and methodological ways are compensated, it seems to be a good alternative. When a test has a lot of test items to be reviewed and has enough examinee for item analysis, Bookmark method may be a feasible method because it is efficient in less time consuming and well-converged. Cut score’s adjustment was discussed. Because medical licensing exam is directly related to public safety, the conservative standard setting is required. Therefore, this research suggests that the cut point is better to be adjusted upward regard to the standard error of measurement. Finally, the limitations and suggestions for future research studies are recommanded, and the practical issues of standard setting are discussed. As empirical studies increase in the standard setting performance, practical issues become diverse. Adjustment of the cut score, panel selection and domain of test are considered. Such discussions based on the experience of standard setting performed on reality presented practical suggestions as useful information on standard setting for license test.