한국어능력시험의 문항에 대한 연구 : 제2회 한국어능력시험 1급 읽기 영역 문항 분석을 중심으로

Abstract

This study focuses on reviewing theoretical structure of the Korean Proficiency Test developed to evaluate proficiency of Korean as a second/foreign language and providing the basis appropriate the test items through a qualitative research. Testings in education have various purposes. Testing itself is considered critical in that it gives motivation to learners and provides educational institute with database to improve the quality of education. In that sense, testings should be valid and reliable. Testings have to go through several steps to achieve validity and reliability : evaluation, correction, re-evaluation and recorrection. The most general way to improve testing is to review the test items which are basic units of testings and represent the theoretical structure and the content of testing. Therefore, testings could be enhanced through a consistent effort to evaluate test items. The Korean Proficiency Test has been performed once a year since 1997, which aimed at assessing proficiency of Korean as a second/foreign language. This test requires validity and reliability since it has washback effects on the learners and the language programs. However there was no report or analysis on the consequences of the test, so that in this study the test items would be analyzed through the qualitative research The purpose of this study is to review theoretical structure of the Korean Proficiency Test and to analyze the consequences of research on the test items. In the process of reviewing theoretical structure of Korean Proficiency Test this study revealed that Korean Proficiency Test, which was supposed to be criterion-referenced test, failed to provide any clear criteria to evaluate learners general Korean ability. To make it clear, this study showed the results of the Level 1-Reading part subject to learners who completed the novice course(200 hours) in Korean as a Second language school. The results distinctively differed from Group I (250 hours) and Group II (300 hours) in terms of total studying hours. Then, the study researched item discrimination, and item facility of each group. However, the findings showed that Korean Proficiency Test 1st level-reading part didn t fit to know whether Group I achieved their goals but to discriminate all the subjects. As a result, Korean Proficiency Test turned out to be inappropriate, considering the fact that Korean Proficiency Test is criterion-referenced test. On the other hand, test items of Korean Proficiency Test defined Group ll as mastered learners, and this result implies test items fit to the criterion-referenced test type. This study suggested that criterion of the current Korean Proficiency Test 1st level-reading part be applicable to Group II. Given the fact that Korean Proficiency Test is language proficiency test, item facility of Korean Proficiency Test needs to be reconsidered whether it is appropriate to give primary level of general language ability to those who pass the test. In addition, this study suggested that theoretical structure of testing should be reviewed since the problem of those items comes from the fact that expressions used in the test is mostly influenced by how Korean native speakers frequently use these expressions and how commonly textbooks of Korean language schools used them. The study consequently performed statistical analysis of the test results, which learners in the 1st level-reading part received, as a way to enhance validity and reliability of test items. Therefore, the study will be a critical basis for improving the quality of test items. ; 본고는 최근 외국어로서 한국어 숙달도 평가 기제로 개발된 한국어능력시험(Korean Proficiency Test)의 이론적 구성의 검토와 실제 실험을 통한 문항 분석을 통해서 평가 문항 개선에 자료를 제공하는 데 목적이 있다. 교육에 있어서 평가의 목적은 다양하다. 학습자에게는 학습 동기를 강화할 수 있으며 교육 기관의 프로그램에는 교육의 질을 향상시킬 수 있는 자료를 제공할 수 있다는 점에서 평가는 또한 매우 중요하다. 그리고 평가는 교육 전반에 이러한 역할을 한다는 점에서 타당하고 신뢰할 수 있어야 한다. 평가의 타당성과 신뢰성은 한 번의 개발로 얻어지는 것이 아니며, 평가, 수정, 재평가, 재수정의 개선 과정을 통해서 얻어질 수 있는 것이다. 이러한 평가의 재평가로 가장 보편적으로 쓰이는 방법이 문항 검증이다. 문항은 평가의 기본단위이며 평가의 이론적 구성과 내용을 대표하는 것이므로 문항분석의 결과를 토대로 문항 개선 뿐 아니라 평가의 질적 가치를 높일 수 있기 때문이다. 최근 외국어로서 한국어 숙달도 평가 기제로 개발된 한국어능력시험은 1999년 3회까지 치러졌다. 이 평가는 전반적인 외국어로서 한국어 능력을 평가한다는 점에서, 학습자에게는 현재 자신의 능력에 대한 위치를 알려주고, 또한 그 능력을 공인하는 평가여서 특히 타당성과 신뢰성이 요구된다. 그러나 아직까지 평가 결과에 대한 보고나 검증 결과가 제시되지 않고 있다. 이에 본 연구에서는 한국어능력시험의 이론적 구성을 검토하고, 실제 문항에대한 실험을 실시하여 결과를 분석하였다. 한국어능력시험의 이론적 구성 검토를 통하여 한국어능력시험은 준거참조평가임에도 불구하고 평가 기준과 평가 결과해석의 기준이 되는 준거가 명확하게 제시되지 않고 있음을 알 수 있었다. 이에 본 연구에서는 실제 문항 분석을 통하여 이 시험에서 완전학습자로 나타나는 학습자의 특성을 밝힘으로써 평가 준거를 명확히 할 수 있는 자료를 찾고자 하였다. 실험에서는 국내 외국어로서한국어 교육기관에서 1급(200시간)을 수료한 학습자를 대상으로 하여 1급 읽기영역을 실험하였으며 평가 결과를 분석하였다. 평가 결과는 수강시간을 기준으로 250시간 이하 수강자 집단과 300시간 수강자 집단으로 크게 변별되었으며 이에 따라 두 집단 각각의 문항변별도 문항난이도 등을 분석하였다. 분석 결과 한국어능력시험 1급 읽기 영역의 문항은 국내 교육기관에서 250시간 정도를 수강한 학습자들에게는 목표에 어느 정도에 도달했는지를 나타내기보다 오히려 서열화하는 평가로 나타났다. 따라서 이것은 한국어능력시험의 이론적 평가 방식이 준거참조평가임을 볼 때 평가 방식에 부합되는 문항이라고 보기 어렵다. 한편 이 문항들은 300시간 정도를 수강한 학습자들에게는 완전학습자와 불완전학습자로 분류하는 데 매우 적절한 평가인 것으로 나타나서 준거참조평가의 의의를 잘 살릴 수 있는 것으로 드러났다. 이러한 결과는 현행 한국어능력시험이 준거참조평가임을 볼 때, 1급 원기의 준거수준은 국내 교육기관에서 300시간 정도의 학습기준으로 해석할 수 있다. 따라서 한국어능력시험이 숙달도 평가임을 고려할 때 이러한 난이도의 설정은 우선 전반적인 언어능력의 초급 1등급으로 설정하기에 적절한 지 재검토가 필요하다. 또한 이러한 문항에서의 문제점은 평가의 이론적 구성에서 평가 어휘 선정을 한국어 모국어 화자들의 어휘 빈도에서 추출했다는 점이나, 또한 평가 문법 항목이나 어휘를 교육기관의 교재를 분석하고 공통되는 부분을 참조로 했다는 점에서 기인할 수 있으므로 평가 이론적 구성에 대한 검토 또한 필요할 것으로 여겨진다. 본 연구는 한국어능력시험의 평가 문항 개선을 위한 한 가지 방안으로 1급읽기 영역을 학습자들에게 실시하고 평가 결과에 대한 통계적 분석을 시도하였으며 이러한 자료는 앞으로의 평가 문항 개발에 자료가 될 수 있으리라고 생각된다.