컴퓨터 기반 읽기 평가에서 지문 제시 방식이 한국 대학생의 평가 결과 및 인식에 미치는 영향

Abstract

오늘날 컴퓨터 기술이 전문화되고 대중화되면서 많은 영어 평가들이 컴퓨터를 이용해서 수험자의 능력을 측정하고 있다. 컴퓨터 기반 평가에서는 지필 기반 평가에서 제공할 수 없는 기능들을 재현할 수 있다는 특징에 착안하여 수험자에게 좀 더 편리하고 다양한 평가 방식과 진정성 있는 평가를 구현할 수 있다는 장점이 있다. 이러한 흐름에 맞추어, 본 연구는 컴퓨터 기반 영어 읽기 평가에서 특정 독해 지문의 지문 제시 방식이 수험자의 평가 결과와 인식에 미치는 영향에 대해서 알아보았다. 본 연구에서는 영어 읽기 평가에서 총 세 가지 문항 유형에 대해 컴퓨터 기술을 이용한 지문 재배열 기능을 적용하여 제시 방식을 다르게 재현시켰다. 문항 유형은 문장 삽입, 문장 삭제, 문단 나열인데, 이 유형들은 지필 평가로 진행 되었을 때, 수험자가 따로 문장이나 단락들을 머릿속으로 재배열해야 하는 것을 요구하는 문항들이다. 따라서 수험자가 지문 재배열 기능을 사용한다면 머릿속으로 생각해야하는 부차적인 문제를 제거하여 오직 수험자의 읽기 능력을 측정에 도움을 줄 수 있고 수험자 또한 편리하게 읽기 평가를 볼 수 있다. 또한 지문 재배열 기능을 추가하면 더욱 진정성 있는 읽기 평가가 될 수 있다. Jamieson(2005)은 진정성 있는 읽기 지문, 즉 실제 생활환경에서 접하는 글은 대부분 길고 완성된 단락인 반면, 실제 평가에서는 흔히 짧고 단편적인 지문을 많이 볼 수 있다고 지적하였다. 이 점을 감안하여 본 연구에서도 진정성 있는 독해 평가를 위해 지문 재배열 기능을 추가하여 실제 일상 환경에서의 글을 읽는 것과 같은 환경을 제공하고 수험자가 지문의 글을 논리의 흐름에 따라 순서대로 구성하여 파악할 수 있도록 하였다. 본 연구는 총 대학생 46명이 참가하였고 본 컴퓨터 기반 평가 실험을 진행하기에 앞서 동질성 검사로 통제, 실험 집단을 나누고 수준 별 상. 하위 집단도 구분하였다. 평가 결과를 위해 지문 재배열 기능이 각 집단의 독해 점수에 영향을 끼쳤는지 살펴보았고 학생의 수준에 따라서도 독해 점수에 유의미한 결과를 가져다주는지 분석하였다. 또한 지문 재배열 기능이 각 유형별 문항의 점수에 영향을 끼쳤는지 알아보았고 마지막으로 실험 평가가 끝나고 참여자의 반응과 태도를 조사하기 위해 설문 조사를 실시하였다. 이와 같은 절차와 분석을 토대로 본 연구의 연구 질문에 대해 다음과 같은 결론을 도출하였다. 첫째, 지문 재배열 기능이 있는 평가를 본 실험 집단의 평가 결과와 지문 재배열 기능이 없는 평가를 본 통제 집단의 평가 결과를 서로 비교해 보았을 때 실험 집단의 점수 결과가 더 높은 유의미한 차이가 나타났다. 이는 실험 참가자들이 컴퓨터 기반 평가 결과가 지문 제시 방식으로부터 영향을 받았다는 점을 보여 준다. 둘째, 참여자들의 수준이 재배열 기능의 유무에 따른 점수에 영향을 알아보면, 상위 집단이 아닌 하위 집단에서만 평가 결과에 대한 점수가 유의미하게 나왔다. 이는 영어 독해 실력이 낮은 집단이 지문 제시 방식의 기능에 매우 영향을 받은 반면, 영어 독해 실력이 높은 상위 집단의 경우는 지문 제시 방식의 기능의 유무에 영향을 거의 받지 않았다고 해석할 수 있다. 따라서 수험자의 영어 독해 능력이 낮을수록 지문의 재배열 기능이 있는 평가가 도움이 되었다고 볼 수 있다. 셋째, 컴퓨터 평가에서 지문 재배열 기능의 유무가 각 문항 유형의 평가 결과에도 영향을 미치는 지에 대해 알아보았는데 문장 삽입 유형과 문단 나열 유형이 통계적으로 유의미한 차이가 있는 것으로 분석되었다. 이는 두 가지 유형에서 지문 재배열 기능의 여부가 평가 결과에 영향을 끼쳤다고 할 수 있다. 넷째, 두 가지 컴퓨터 기반 평가에 대한 전체 참가자의 인식에 대해 분석하였는데, 집단 구분 상관없이 거의 대부분의 참가자들이 지문 재배열 기능이 있는 평가에 더 긍정적인 답변을 하였다. 다섯째, 지문 재배열 기능이 있는 컴퓨터 기반 평가에 대한 전체 참여자들의 장. 단점 인식에 대해 조사하였는데 주된 장점으로 검토하기 수월함, 문맥흐름 파악 수월, 검토하기 수월함 등이 있었다. 주된 단점으로는 익숙하지 않다는 의견이 가장 많이 보였다. 마지막으로 각 집단에서 기술하는 지문 재배열 기능이 없는 컴퓨터 평가에 대한 참가자들의 장. 단점 인식은 통제 집단이나 실험 집단 두 집단 모두 장점으로는 둘 다 익숙한 방식이고 번거롭지 않다는 점을 꼽았고 단점으로는 머릿속에서 재배열해야하는 번거로움 및 시간이 오래 걸린다는 점을 언급하였다.;As computer technology of today has specialized and popularized, many English evaluators measure examinees' competency with computers. Computer-assisted language testing has an advantage of providing functions that paper-based test cannot, so that it realizes more convenient and various means of authentic assessment. This study examined that the influence of testing mode in the particular text on examinees' English reading performance and perception under computer-based test. In this study, three types of questions were used to examine the effect of computer testing mode: inserting a sentence, deleting a sentence, and listing passages. Regarding three types of questions, this study recreated presenting method using computer technology. When these types were tested through paper-based test, examinees were required to think of rearranging sentences or passages within their heads. Thus, by using passage rearrangement function, examinees can get rid of secondary problem of thinking procedure within their heads. The function would help testing examinee's reading competency and examinees can easily go through reading test. Also, by adding the passage rearrangement function, the test can be more authentic. Jamieson(2005) claimed that authentic reading passages that people encounter in everyday lives are usually long and complete paragraphs, meanwhile there are more short and fragmentary texts in assessment. Having this considered, this study added the passage rearrangement function for authentic reading comprehension so that examinees can grasp logical organization of the reading as they do from daily lives. In this study, 46 university students participated. Before processing the experiment of the computer-based test, the participants were divided into control and experimental groups and also distinguished high and low reading competent groups by a prior test. The effects of the passage rearrangement function on reading scores by each group were examined and how much meaningful result it gives to students from different level of competency was analyzed. Also, the influence of the passage rearrangement function on each question type were analyzed. Lastly, after the experimental exam. a survey was conducted to see participants' responses and attitudes. Based on this procedure and analysis, there are several conclusions as following. First, when the experimental group with the passage rearrangement function and the control group without such function were compared, there was statistically significant difference between the two groups. It means that the participants were influenced by the passage rearrangement function in the computer-based test. Second, when the influence of the rearrangement function on test scores of different participants' level were analyzed, only at the low level group showed statistically meaningful results. It means that the low level of the participants were highly affected by passage presenting method while the high level of the participants were barely influenced by the method. Therefore, only the lower reading competent examinees were more influenced from the passage rearrangement function than the high level of the examinees. Third, how the passage rearrangement function in the computer-based test had an impact on each question type was tested, and it was analyzed that the question types of inserting a sentence and listing passages showed statistically meaningful results. It can be said that the passage rearrangement function influenced the results of these two question types. Fourth, the participants' perception on these two computer-based tests showed that regardless of the groups, majority of the participants left positive remarks on the test with the passage rearrangement function. Fifth, when asked advantages and disadvantages of the computer-based test with the passage rearrangement function, the big advantages included ease at skimming through the text and conveniency in grasping the text. Major disadvantage was that the participants were not used to such system. Lastly, when each group was asked to answer the advantages and disadvantages of the computer-based assessment without the passage rearrangement function, the advantages for both groups were that they were already used to the method and the testing procedure itself was not cumbersome. Meanwhile, they answered that the disadvantages were complexity of rearranging the text within their heads, and it took so long.