선다형 영어 독해 평가에서 지문 의존도에 영향을 미치는 요인 분석

Abstract

본 연구에서는 선다형 영어 독해 평가의 문항의 질을 높이기 위한 방안을 찾기 위해 짧은 지문 영어 독해 평가에만 익숙한 우리나라 고등학생들이 선다형 영어 독해 평가를 수행할 때, 시험방식 양상인 지문 길이나 문항 유형의 영향을 받는지, 또는 수험자 특징인 배경지식 수준이나 시험전략 사용 수준과 같은 구인 외 변인의 영향을 받는지 알아보기 위하여 제시된 지문에 얼마나 의존하고 있는지를 측정하는 지문 의존도 개념을 도입하여 본 연구를 실시하였다. 이를 알아보기 위해 고등학교 1학년 30명을 대상으로 지문이 없는 상황에서 문제를 푸는 무지문 평가와 지문이 있는 상황에서 문제를 푸는 유지문 평가를 두 차례 실시하고, 배경지식과 시험전략의 영향을 알아보는 설문지를 실시하였다. 본 연구를 통해 얻어진 결과는 다음과 같다. 첫째, 시험방식 양상인 지문 길이와 문항 유형이 선다형 영어 독해 평가 지문 의존도 지수에 미치는 영향에 대해 살펴본 결과, 짧은 지문이 긴 지문보다 지문 의존도가 높았다. 특히 짧은 지문이면서 사실적 이해를 묻는 문항이 지문 의존도가 가장 높았다. 둘째, 시험방식 양상인 지문 길이와 수험자 특성인 배경지식 수준이 선다형 영어독해평가 지문의존도 지수에 미치는 영향에 대해 살펴본 결과, 지문 길이가 짧고 배경지식 수준이 낮을 때 지문에 더 의존하는 경향이 있었다. 셋째, 시험방식 양상인 지문 길이와 수험자 특성이 시험전략 사용 수준이 선다형 영어 독해 평가 지문 의존도 지수에 미치는 영향에 대해 알아본 결과, 지문 길이가 짧고 시험전략 사용 수준이 낮을 때 지문에 더 의존하는 경향이 있었다. 넷째, 시험방식 양상인 지문 길이와 문항 유형 그리고 수험자 특성인 배경지식 수준과 시험전략 사용 수준이 선다형 영어 독해 평가 지문의존도와 상관관계가 있는지 알아본 결과, 지문 길이, 배경지식 수준, 시험전략 사용 수준은 지문의존도와 부적인 상관관계가 있었다. 즉, 지문 길이가 짧을수록 배경지식 수준과 시험전략 사용 수준이 낮을수록 지문 의존도가 높아졌다. 또한 영어 능숙도를 제외 했을 때 이들 요인 중 선다형 영어 독해 평가 지문 의존도 지수에 가장 영향력이 큰 요인을 알아보기 위해 단계적 회귀분석을 실시한 결과 시험전략 사용 수준, 배경지식 수준, 지문 길이 순으로 설명력이 높았다. 마지막으로 짧은 지문과 긴 지문의 지문 의존도의 차이가 발생하는 이유를 설명하기 위해 설문 조사를 실시한 결과 학생들 대부분은 짧은 지문에 비해 긴 지문은 시험시간이 촉박하고 심지어 부족하다고 인식하기 때문에 지문에 의존하지 않고 지문을 건너뛰며 읽는 경향이 있는 것을 알 수 있었다. 결국 이와 같은 습관은 지문에 대한 이해 부족으로 이어졌기 때문에 배경지식이나 시험전략에 의존하여 문제를 해결하려 한 것으로 해석된다. 이와 같은 연구 결과는 영어 독해 평가가 선다형 문항방식으로 출제될 경우 선다형 영어 독해 평가의 지문 의존도는 시험방식 양상인 지문 길이와 문항 유형의 영향 그리고 수험자 특성인 배경지식 수준과 시험전략 사용 수준의 영향을 받는다는 것을 보여준다. 학생들의 영어 읽기 능력을 정확하게 평가하는 좋은 문항일수록 지문 의존도가 높다는 전제하에 선다형 영어 독해 평가 제작 시 시험방식 양상인 지문 길이, 문항 유형이나 수험자 특성인 배경지식, 시험전략의 영향을 최소화하려는 노력이 필요하다.;The purpose of the current study is to provide information to help identify construct validity of the multiple-choice English reading comprehension test using the concept, 'Passage Dependency'. The present study investigated how and to what extent the absence and presence of passage affect the students' performance of multiple-choice English reading comprehension tests. For this purpose, the project was performed with thirty high school students. The main findings of this study were as follows. First, students showed significantly higher correct answer rates than chance scores in the passage-out condition. This suggests that students were able to solve their problems with the information on questions and options using their background knowledge and test-taking strategies. Second, the PDI of long passage was low because students could easily guess the answers on inferential questions. Third, the PDI was low when the level of background knowledge and test-taking strategies use was high. This suggests that students tend to depend on passage when they do not have much background knowledge or when they do not use a lot of test-taking strategies. Fourth, The shorter the passage is and the lower the background knowledge levels and the test-taking strategies levels are, the higher the PDI is. Fifth, students think that background knowledge and test-taking strategies are more important when they solve the problem on long passage than when they solve the problem on short passage. This explained why the PDI of the long passage was lower than that of the short passage to some extent. This study revealed that length, the background knowledge, the test-taking strategies affect passage dependency. It is desirable to pretest items and then eliminate those which can be answered by a greater than chance score and to use short passages with a single item per passage to eliminate interrelationships among items which serve as cues to subsequent answers. Another suggestion is to use passage whose content is unfamiliar or treated in novel manner to eliminate or reduce the factor of prior knowledge and test-taking strategies.