Effects of Input Format Types on Korean College English Learners' Performance and Strategy Use in a Web-based Listening Test

Abstract

외국어 언어 학습에 있어서 듣기 평가의 중요성과 더불어 듣기 능력을 얼마나 정확하게 측정해야 하는지는 듣기 평가 분야에 있어 매우 중요한 쟁점 중의 하나이다. 최근의 듣기 평가는 컴퓨터나 웹 기반을 활용함으로써 듣기 입력의 다양한 방법이 용이해졌으며 이러한 듣기 입력 방식이 수험자의 듣기 능력 평가에 어떠한 영향을 미치는지 살펴보는 것은 매우 중요하다. 이에 본 연구는 웹 기반 듣기 평가에서 세 가지 듣기 입력 방식이 수험자의 듣기 수행도에 어떠한 영향을 끼치는지 알아보기 위하여 각 입력 방식에 따른 상하 집단의 듣기 평가 점수, 각 입력 방식이 측정하는 듣기 구인의 통계적 검증, 그리고 수험 전략과 수험자의 반응 등 크게 세 가지 측면에서 조사하였다. 본 논문에서 비교되는 듣기 입력 방식은 입력 제시 방법에 따라 질문 미리보기, 듣기 자료 반복 듣기, 제시 질문의 구두, 또는 문자로의 전달 방식 차이 등으로 나누었으며, 이러한 세 가지의 입력 방식에 따라 여섯 가지의 웹 기반 듣기 평가 도구를 개발하였다. 실험은 서울 소재의 필수 교양 영어를 수강하는 대학생 336 명을 대상으로 두 학기에 걸쳐 실시되었다. 실험 참여자들은 듣기 입력 방식에 따라 여섯 그룹으로 나뉘었으며, 듣기 평가 후 설문조사를 하였다. 수집된 자료는 SPSS win 17.0 프로그램을 사용하여 듣기 평가 점수에 따라 이원분산분석(Two-way ANOVA)을 실시하였으며, 집단별 상하 그룹에 따라 각 듣기 입력 방식의 효과를 알아보았다. 구조방정식모델링(Analysis of MOment Structures) 18.0 프로그램을 사용하여 4개의 구조 모형을 개발하여 6개의 듣기 입력 방식의 모형 적합도를 살펴보았으며, 최종 모형을 선택하여 각 듣기 입력 방식이 측정하는 구인이 같은지 알아보았다. 또한 입력 제시 방법에 따른 다중 집단간 비교를 통해 두 집단간 측정 모델과 구조 모델의 동질성을 검증하였다. 또한 듣기 입력 방식에 따른 수험자의 전략에 차이가 나는지 알아보기 위하여, 참여자 중 16명은 각 문항을 푼 다음 그 과정을 회상하도록 하였으며, 실험 참여자 전체의 설문 조사를 통해 각 듣기 입력 방식에 대한 참여자들의 반응을 알아보았다. 실험 결과, 듣기 입력 방식 중 제시 질문의 구두 또는 문자로의 전달 방식에 따른 차이가 유의미하게 나타났는데, 질문과 선택지가 글로 제시된 경우 상 하위 학습자 듣기 수행도가 모두 향상되었다. 반복 듣기의 경우, 질문과 선택지를 들려주는 경우에는 상 하위 학습자 모두에게서 반복 듣기의 효과가 나타난 반면, 질문과 선택지가 글로 제시된 경우는 수행도에 영향을 끼치지 않는 것으로 드러났다. 미리보기의 효과는 질문과 선택지의 언어 제시 방식에 관계 없이 듣기 수행도에 영향을 끼치지 않은 것으로 나타났다. 각 집단이 측정하는 듣기 구인이 같은지 알아본 결과, 여섯 가지의 모형 중 모든 집단이 요지파악하기, 세부사항 파악하기, 추론하기의 세 가지 잠재 변인으로 이뤄진 모형에서 높은 적합도를 보였으며, 따라서 여섯 개의 듣기 방식이 측정하는 듣기 구인은 같은 것으로 결론 내렸다. 또한 입력 제시 방식에 따른 다중 집단간 비교 결과, 집단간의 측정 모델과 구조 모델의 동질성이 검증되었다. 회상하기를 통하여 학습자의 듣기 과정과 듣기 전략을 살펴본 결과, 미리 보기의 경우에는 전반적으로 제시 질문을 보고 듣기 내용을 예측한 후 선택지와 맞춰 정답을 선택하는 전략을 사용하였다. 상 하위 학습자의 전략 사용에서 차이를 보였는데, 상위 학습자의 경우 제시된 질문이나 선택지의 의존도가 상대적으로 낮은 반면, 하위 학습자의 경우에는 제시된 질문이나 선택지의 단어 혹은 관련된 배경지식에 상대적으로 큰 의존도를 보였다. 반복 듣기의 경우, 첫 번째 듣기에서는 전반적인 듣기 내용을 파악하고 두 번째 듣기에서 다시 내용을 확인함으로써 문제를 푸는 전략을 사용하였는데, 상위 학습자의 경우 지문의 길이와 상관없이 반복 듣기를 적극 활용하는 반면, 하위 학습자의 경우에는 듣기 지문이 길수록 듣기 지문에 관련된 정보가 제시되지 않는 첫 번째 듣기는 잘 활용하지 못하는 것으로 나타났다. 제시 질문의 구두 또는 문자로의 전달 방식에 있어서는 상 하위 학습자 모두 질문이나 선택지를 들려주는 경우에 읽는 경우보다 더 어려움을 느꼈다. 설문지의 결과에서는 대부분의 학습자가 질문을 미리 보거나 반복 듣기가 듣기 수행에 도움이 된다고 생각하였다. 이는 양적 결과와는 일치하지 않았지만 질문을 미리 보거나 반복해 듣는 것이 학습자의 듣기 평가 수행에 있어 심리적인 부담을 덜어줄 수 있는 것으로 해석된다. 또한 제시된 질문이나 선택지를 읽는 경우가 듣는 경우보다 듣기 수행에 도움이 된다고 생각하는 것으로 나타났다. 본 연구의 결과를 종합해 본 결과, 여섯 가지의 듣기 입력 방식이 수험자의 듣기 수행도와 전략에 있어 차이를 가져왔으나 각 입력 방식이 측정하는 듣기 구인에는 차이가 없는 것으로 나타났다. 이러한 결과를 토대로 평가를 개발하고 사용하는 이들은 듣기 입력 방식의 차이를 이해하고 조작적 정의에 따른 구인을 정확히 측정해야 할 것이다. 또한 본 연구가 듣기 평가의 결과를 해석함에 있어서 고려해야 할 요인들과 이 요인들이 언어 평가 수행 결과에 어떠한 영향을 미치는지 이해하는 데 도움을 줌으로써 제 2 언어 듣기 평가 도구 개발과 사용에 의미 있는 시사점을 제시할 것으로 기대한다.;This study investigates different types of input formats in a web-based listening test in three phases: First, different types of input formats were compared in order to examine their effects on the listening test performance. Second, the underlying structures of each format were tested to investigate whether those formats measured the same listening construct. Third, test takers' strategies were investigated through their test taking processes followed by their responses to each format. A total of 336 Korean university students participated in the study. A web-based listening test was designed based on six different input format conditions, representing three input variants: input preview, input frequency, and input modality. Questionnaires were developed to be administered after the listening test to probe participants responses to each input format. Retrospective protocol and interviews were conducted to examine test taking strategies and processes, involving 16 participants at two proficiency levels: high and low. An analysis of variance (ANOVA) was conducted to examine the effects of the three input variants by comparing the six different input formats. To examine the extent to which the different types of input formats affected the listening construct measured by the respective tests, the structural equation modeling (SEM) was employed. Additionally, multi-group analyses were conducted to examine whether underlying structures were equivalent across the formats. Results of verbal protocols, interviews, and questionnaires were analyzed. The results showed that significant differences were found in two modality formats: aural and written. Between two modalities, the written modality format had substantial effects on the listening test performance for two proficiency levels. With regard to the repetition formats, providing item stems and options in written modality did not influence test takers' performance. However, the scores for both proficiency level participants increased when item stems and options were provided in aural modality. In the preview formats, the effects of preview did not lead to any significant variation in test performance. The SEM results revealed that the six input formats measured the same listening construct, sharing the "three sub-skill factor model" which contains the following three latent variables: "Main Idea", "Detail" and "Inference". The results of the multi-group analyses revealed that the underlying measurement and structural invariances of the three sub-skill construct were equivalent across the three input variants. The protocol analysis showed a general pattern of test taking strategy in each format. Test takers in preview formats commonly employed the strategy of predicting and matching. Those in the repetition format generally used their initial listening for global understanding and additional listening for reconfirming what they had heard. Between the two modality formats, test takers in the aural modality format felt more difficulties than those in the written modality format because test takers in aural modality format had to retain what the questions were asking while listening to the text. It seemed more challenging for the low proficiency level test takers. Questionnaire responses indicated that participants felt input preview and repetition facilitated comprehension even though it did not have sufficient explanatory power. With respect to modality, participants favored items stems and options presented in written modality. The results of the study suggest that teachers and test developers need to clearly define the listening construct that one wishes to measure and then determine which of the input variants would best measure the intended construct. The study is expected to contribute to the development of L2 listening test by demonstrating how differently input format types affect listening test performance, test takers' strategy use, and listening construct that respective tests measure. Furthermore, it is expected to help test users and test developers use or construct tests that better fit for their intended purposes.