EAP 읽기 평가 도구로서 요약하기 과제의 타당도 연구

Abstract

본 연구는 학술 목적 영어의 읽기 평가 도구로서 영어 지문을 영어로 요약하는 영문 요약 과제와 국어로 요약하는 국문 요약 과제의 타당도를 증거 접근법을 통하여 연구하였다. 연구에는 서울 및 경기 지역에 위치한 대학에서 다양한 전공을 가진 48명의 한국 대학생들이 참가하였다. 사전 평가를 통해 영어 읽기 능력과 영어 쓰기 능력을 먼저 측정 하였고, 본 시험에서는 학생들이 영문 글을 읽고 영어와 한국어를 사용하여 요약문을 작성하였다. 연구의 결과는 다음과 같다. 첫째, 영문 요약 과제와 국문 요약 과제의 수행 결과를 상관 관계 분석한 결과 두 과제의 수행 결과 사이에는 통계적으로 유의미하고 보통 정도의 상관 관계가 있는 것으로 나타나 두 평가를 동일한 과제로 보기에는 부족하다는 연구 결과를 나타내었다. 상관 관계 분석에 이어 두 과제의 평균을 비교 분석 하였다. 평균 비교 분석 결과 국문 요약 과제의 채점 결과가 영문 요약의 채점 결과보다 높은 점수를 보였으며 이 차이는 통계적으로 유의미하여 두 평가를 동일한 평가로 보기는 어렵다는 결과를 드러냈다. 둘째, 영문 요약 과제의 수행 결과는 영어 읽기 평가의 전체 점수 및 영역별 점수와 모두 유의미한 상관 관계를 가지고 있는 것으로 나타났고 특히 영어 읽기 능력의 하위 영역인 사실적 이해 영역과 높은 상관 관계를 가지고 있는 것으로 나타났다. 반면 국문 요약 과제는 영어 읽기 평가의 전체 점수와는 상관 관계가 있었으나 영역별로는 주제 파악과 지칭 파악 영역과는 낮은 상관 관계를 추론적 이해 영역과 사실적 이해 영역과는 유의미하지 않은 상관 관계를 가지고 있는 것으로 나타났다. 이러한 결과는 영문 요약 과제가 영어 읽기 평가로 타당하고, 국문 요약 과제는 영어 읽기 평가 도구로 활용하는 것이 타당하지 않을 수 있다는 증거로 해석될 수 있다. 셋째, 회귀 분석 결과 영문 요약과 국문 요약 과제의 수행 능력은 모두 영어 읽기 능력에 의하여 설명되며 영어 쓰기 능력에는 영향을 받지 않는 것으로 나타냈다. 하지만 국문 요약 과제에 비하여 영문 요약 과제에서 영어 읽기의 설명력이 두 배 이상 높은 것으로 나타났다. 즉 영문 요약 과제가 국문 요약 과제에 비하여 더 타당한 영어 읽기 평가 과제라고 볼 수 있다. 본 연구가 영어 읽기 평가 도구 제작에 시사하는 바는 학술 목적 영어 읽기의 평가 과제로 요약하기 과제를 고안할 때 지침이 될 수 있다는 점이다. 먼저 답안 작성에 사용되는 언어는 한국어가 아닌 영어로 작성하도록 과제를 개발해야 할 것이며 특히 영어 읽기 평가 중 사실적 이해 영역과 높은 상관 관계를 가지고 있었다는 점에서 영어 읽기 평가 전체를 요약하기가 대체할 수 없을지라도 사실적 이해를 측정하는 문항들을 대체하여 일반적인 선다형 읽기 평가와 함께 요약하기 과제를 활용 할 수 있을 것이다.;The present study aims to explore the validity of summary tasks as EAP (English for Academic Purposes) reading assessment with an evidence-based approach. Participants were 48 Korean EFL college students with various majors from seven universities in Seoul and Gyeonggi regions. The students first took an English multiple-choice reading comprehension test and an English writing test. Then they were asked to read short passages in English and summarize them in English and Korean. Comparing the results of summary tasks written in English (English summary task) and summary tasks written in Korean (Korean summary task), a correlation analysis and a mean difference test, a paired t-test, were firstly conducted. Then evidence of validity was gathered using two methods: a correlation analysis and a multiple regression analysis. To provide evidence of criterion validity, a relationship between the reading test performance and the two types of summary tasks was investigated. Multiple regression analyses were conducted as an attempt to examine the fact that English reading ability is a major predictive factor of summary task performance in English and Korean. The results of the present study illustrated that the English summary task and the Korean summary task are two different measurements. The English summary task moderately correlated with the Korean summary task, which implies the two summary tasks may not be identical measurements. The mean difference between the two summary tasks was statistically significant. The Korean summaries were rated consistently of better quality than the English summaries. Even though the English summaries were found to have lower quality than the Korean summaries, the evidence of validity suggests that the English summary task may be a better measurement of Korean EFL students’ English reading abilities than the Korean summary task. The English summary task performance and the English reading ability were highly correlated, especially in the aspect of the factual understanding of reading. On the other hand, the Korean summary task performance and the English reading ability exhibited rather partial and moderate correlation. Such tendency remains in findings from multiple regression analysis. Between English reading ability and writing ability, reading is the only index of both English summary tasks and Korean summary tasks. However, English reading ability explained 44.3% of English summary task performance, while reading ability predicted 17.1% of Korean summary task performance. Thus, English summary task could be a more valid measurement for reading. The implications of these findings are deliberated with specific reference to summary task design, specifically how the use of the first or the target languages may affect test takers’ performance.