컴퓨터기반 평가와 지필 평가 수행 결과 비교

Abstract

Computer-based test was first introduced to ESL testing in the early 1980’s. Since then it has grown rapidly and many major tests have computerized their tests. However sufficient research has not been done to prove the construct validity of computer-based reading tests. Studies in L1 show that computer screen reading is slower than reading from a page. Whether screen reading affects reading comprehension has not yet been agreed upon. And very little research has been done on the effect a computer-based test might have on an EFL learner’s performance on a reading test. The purpose of the study was to investigate whether the test mode would affect an EFL learner’s performance on an English reading test. An additional goal was to examine whether the reading performance varied according to different text length and item-types depending on the test mode. The subjects of this study were 101 Korean university students who study English as a foreign language. The students were divided into computer-based test group and paper-based test group. Both groups took two tests. The first test had 3 short texts, follow by 18 multiple choice questions. The length of the short text was between 200-300 words. The second test had 2 long texts which were about 700 words in length and was also followed by 18 multiple choice questions. After the second test students filled out a questionnaire on computer familiarity and attitudes towards computer-based language tests. The computer-based test group also answered to an open-ended question on the difficulties they’ve experienced while they took the computer-based test. The groups’ test results were analyzed according to the length of the text, the location of information within the text, the level of understanding, and the item-type within the task. The major findings for the study are as follows. First, no significant difference was found between the two groups’ test results. The mode of test delivery did not affect the students’ performance on the reading test. Second, on both short and long texts the two groups did not show significant difference, which indicate that the text length did not have a strong influence on the test performance. Third, there was no statistically significant difference between the two groups due to the item type. Fourth, the responses from the questionnaire showed that although students were highly familiar with computers and most students used it on a daily bases, their attitude towards computer-based language test were negative. Most students preferred the paper-based test as a choice for a language test. Also a strong correlation was not found between students’ computer familiarity and the reading test results. Fifth, according to the questionnaire most students found the fact that they couldn’t mark or take notes on the computer screen while taking the test to be inconvenient. Also many students complain of eye strain. These should be considered when designing a computer-based test. The results of this study indicate that the mode of test delivery did not affect the Korean students’ performance on the English reading test. No statistically significant difference was found between the two groups regard to text length or item-type. Secondly, although the Korean students were highly familiar with the computer the students’ attitudes towards computer-based tests were not positive. Thirdly, the students pointed out that computer-based tests can causes physical fatigue. Also current computer-based test programs do not allow marking, which students consider as an important test taking strategy. Careful test designing will be able to lessen these shortcomings.;영어 읽기 능력은 말하기나 쓰기 능력과 달리 직접적인 평가가 불가능 하다. 쓰기와 같은 다른 능력을 통해 간접적으로 측정하기 때문에 다른 어떤 능력보다도 평가 방식의 영향을 많이 받게 된다. 영어 독해 평가 결과를 단순히 영어 읽기 능력으로 해석 할 수 없는 점도 평가 방식, 수험자 특성 등이 평가 결과에 영향을 미치며 또한 이들이 상호작용을 하기 때문이다(Brown, 1994). 최근에 많은 영어 평가들이 컴퓨터기반 또는 웹 기반 평가 방식으로 바뀌고 있다. 그러나 매체의 변환이 평가에 영향을 미치는 또 다른 요소로 작용 할 가능성이 있다. 특히 읽기 평가에 있어서 컴퓨터 스크린 읽기가 지면 읽기와 또 다른 읽기 능력을 측정 할 수 있다는 가능성이 제기되고 있다. L1 연구 분야에서는 1980년대부터 컴퓨터 스크린을 통한 읽기에 대한 연구가 이루어졌으나 English as a second language/English as a foreign language(ESL/EFL) 분야에서는 컴퓨터를 통한 읽기에 대한 연구는 미비하다. 컴퓨터기반 ESL/EFL 독해 평가가 수험자의 어떤 능력을 측정하는지 알기 위해서는 많은 연구가 필요하나 현재까지는 컴퓨터기반 EFL 독해 평가에 대한 연구는 부족한 상황이다. 따라서 본 연구에서는 외국어로서 영어를 학습하는 한국의 대학생들이 컴퓨터기반 평가 방식과 기존의 지필 평가 방식으로 영어 독해 평가를 봤을 때 평가 매체가 결과 점수에 영향을 미치는지 알아보기 위하여 대학생 1-3학년 101명을 대상으로 컴퓨터기반 평가 집단과 지필 평가 집단으로 분류하여 지문 길이를 달리한 두 차례의 독해 평가를 실시하였다. 본 연구를 통해 얻어진 결과는 다음과 같다. 첫째, 지필 평가 집단과 컴퓨터기반 평가 집단의 평가 결과 점수를 비교해 볼 때 유의미한 차이가 나타나지 않아 학생들이 영어 독해 평가에서 매체의 영향을 크게 받지 않는다는 것을 보여 준다. 둘째, 두 집단의 지문 길이 별 점수를 비교한 결과 유의미한 차이가 나타나지 않아 지문의 길이가 매체의 영향을 크게 영향을 크게 받지 않았음을 보여 준다. 셋째, 문항 유형에 따라 학생들의 평가 점수를 분석한 결과 정보의 위치에 따라 분류한 세부적 이해와 전반적 이해에서는 두 집단 간 큰 점수 차이는 나타나지 않았으나, 문항 유형의 이해력 단계에서 사실적 이해에서는 지필 집단이, 추론적 이해 에서는 컴퓨터기반 평가 집단이 조금 높은 점수를 나타냈다. 넷째, 학생들의 컴퓨터 친숙도를 설문 조사한 결과 학생들의 컴퓨터 사용 빈도가 매우 높아 컴퓨터 사용 경험 부족으로 인한 평가 편향성의 문제가 점점 줄어들 수 있다는 점을 보여 준다. 그러나 대부분의 학생이 지필 평가 방식을 선호하였고 학생들이 컴퓨터기반 평가의 불편한 점으로 지적한 문제점들을 컴퓨터기반 평가 제작시에 반영할 것을 제시 한다.