Measuring Student Engagement with Multimodal Literacy in English Learning

Abstract

본 연구는 다중양식 리터러시 참여(multimodal literacy engagement)의 구성 요소를 규명하고, 이를 측정하기 위한 척도를 개발하여 타당화 하였다. 과거의 리터러시(literacy)가 단순히 읽고 쓰는 능력을 의미했다면, 최근에는 리터러시의 의미가 확장되어 인터넷 및 게임과 같이 다양한 디지털 형태로 표현되는 의미를 이해하고 구성하는 능력으로 정의된다(Gee, 2003). 본 연구는 선행연구를 바탕으로 다중양식 리터러시 참여를 한 가지 이상의 이미지, 단어, 소리, 움직임 등을 활용하여 학습자가 의미있는 결과물을 만드는 활동으로 정의하였다(Jewitt & Kress, 2003; Mills & Unsworth, 2017; Walsh, 2008). 다수의 선행연구에서 교실에서 새로운 리터러시를 활용하는 것이 학생의 성취도와 의사전달 기술 증진에 도움이 된다고 보고했으나(Denielsson & Selander, 2016; Early & Marshall, 2008; Walsh, 2009, 2010), 학생들의 다중양식 리터러시를 측정할 수 있는 도구는 미흡한 상태이다. 따라서 학습맥락에서 학생들의 다중양식 리터러시 참여에 대한 심층적 연구를 바탕으로, 체계적 교육과 평가를 위해서 이론적 탐색과 실증적인 검증을 통한 평가도구 개발이 필요하다. 다중양식 리터러시는 교실환경에서의 첨단기술 활용한 학습활동과 관련이 있다. 예를 들면, 이미지, 동영상을 활용하여 새로운 문화지식을 창출하거나, 소셜미디어와 모바일을 활용한 활발한 상호작용을 통해 의견을 공유할 수 있다(Golonka, Bowles, Frank, Richardson, & Freynik, 2014; Tan & Kim, 2015). 이러한 활동이 일어나기 위해서는 참여(engagement)가 선행되어야 한다. 따라서 본 연구에서는 학습과정과 성과를 측정하기 위한 지표로 활용되었던 참여를 바탕으로, 다중양식 리터러시를 측정하는 구성요인을 제안하고자 하였다. 기존의 연구에서 참여는 인지, 감성, 행동의 세 가지 영역으로 구분되었으나(Kahu, 2013; Krause & Coates, 2008), 최근에는 동료학습자와의 상호작용을 통해 지식을 공유하고 형성하는 사회적 영역이 포함되어야 한다는 주장이 제기되었다(Wang et al., 2016). 다중양식을 활용한 학습환경에서, 학습자는 자신의 의견을 표현하기 위해 다양한 자원을 활용하며, 이 과정에서 동료학습자와의 상호작용을 한다. 따라서 본 연구에서는 참여를 행동, 인지, 감정, 사회적 참여라는 네 가지 영역으로 구분하여, 학생들의 다중양식 리터러시 참여의 구성요인을 제안하고 측정 문항을 구성하였다. 이에 본 연구는 다중양식 리터러시 참여 척도를 개발하고, 학생들의 특성인 성별, 학년, 선행경험에 따른 다중양식 리터러시 참여의 차이를 확인하고자 한다. 이를 위해 상정한 연구문제는 다음과 같다. 연구문제 1. 본 연구에서 개발한 다중양식 리터러시 참여 척도는 타당하고 신뢰할 수 있는가? 연구문제 2. 학생들의 성별, 학년 및 선행 경험에 따라 다중양식 리터러시 참여는 차이가 있는가? 다음과 같은 절차에 따라 본 연구의 문제를 검증하였다. SPSS 25.0 및 Mplus 7.0을 활용하였으며, 유의수준은 .05이다. 첫째, 선행연구 검토와 전문가 협의회를 통해, 다중양식 리터러시 참여 측정을 위한 초기 19문항이 개발되었다. 둘째, 척도의 구성요인과 타당도를 검증하고자, 데이터를 수집하였다. 본 연구는 인도네시아에서 실시되었으며 2018년 8월부터 12월까지 한 학기동안 인도네시아 S지역의 고등학교에서 다중양식 리터러시를 활용한 영어수업에 참여한 404명의 학생들을 대상으로 설문을 실시하였다. 셋째, 본 연구에서는 척도 개발을 위해 척도의 구인타당도 근거를 제시하기 위하여 교차타당화(cross-validation) 방법을 적용하여 탐색적 요인분석(EFA) 및 확인적 요인분석(CFA)을 실시하였다. 본 연구에서는 수집된 자료를 두 부분으로 나누어 탐색적 요인분석(EFA)과 확인적 요인분석(CFA)를 수행하였다. 일반적으로 새로운 도구 개발을 위해서는 탐색적 요인분석(EFA)을 실시하여 요인 구조에 대한 일차적인 근거를 마련한 다음, 수정된 도구에서 보다 엄격하게 요인 구조를 검사하기 위해 다른 표집을 대상으로 확인적 요인분석(CFA)을 실시한다(McCoach, Gable, & Madura, 2013). 분석 결과, 다중양식 리터러시는 해석(interpretive), 창조(creative), 정서(affective), 협력적 참여(collaborative)로 구성된 14개의 문항이 선정되었다. 각 요인별로 3문항, 4문항, 3문항, 4문항으로 구성되어 있으며, Cronbach's α도 .60이상으로 나타나 학생들의 다중양식 리터러시를 측정하기에 유효한 도구로 판단하였다. 넷째, 학생들의 성별, 학년 및 선행경험에 따른 다중양식 리터러시 참여 차이를 검증하기 위해, t검증과 일원배치분산분석(ANOVA) 분석을 실시하였다. 분석 결과, 학생들의 학년과 성별에 따라 다중양식 리터러시 참여는 통계적으로 유의한 차이가 있었으나, 선행 경험에 따른 차이는 없었다. 연구문제에 따른 주요 연구결과와 논의는 다음과 같다. 첫째, 본 연구는 선행연구에서 혼재되어 사용된 다중양식 리터러시 관련 개념들을 구분하고, 재정립하였다. 이를 바탕으로 다중양식 리터러시 참여에 대한 분류 체계 및 구성요인을 제안하였다. 본 연구에서는 4가지 영역의 14문항으로 구성된 다중양식 리터러시 참여 측정도구를 개발하였으며, 이는 정서적(emotional), 인지적(cognitive), 행동적(behavioral), 사회적(social) 측면에서 참여를 구분한 Wang 외(2016)의 연구와 일맥상통한다. 들쩨, 학생들의 성별, 학년은 다중양식 리터러시 참여에 통계적으로 유의한 차이를 보인 반면, 선행경험에 따른 차이는 없는 것으로 나타났다. 따라서 학습자의 학년과 성별을 고려하여 교수자가 개별화 교수를 지원한다면, 학생들의 다중양식 리터러시 참여를 독려할 수 있을 것이다. 본 연구의 결론을 바탕으로 한 후속연구에 대한 제언은 다음과 같다. 첫째, 본 연구는 전문가 협의회에서 논의되었던 내용을 반영하여 설문을 구성하였다. 추후 연구에서는 보다 체계적인 설문도구 개발을 위해, Delphi 조사와 같은 기법을 활용하여, 초기문항을 구성함으로써 신뢰도와 유효성을 확보해야 한다. 둘째, 본 연구는 인도네시아의 S지역을 대상으로 데이터를 수집하였기 때문에 많은 수의 데이터를 수집하는 것이 어려웠으며, 특정 나라와 지역을 대상으로 하였기 때문에 일반화에 한계가 있다. 향후 연구에서는 일반화를 위해, 다양한 데이터를 수집하여 분석하여 본 연구에서 개발된 측정도구를 점검할 필요가 있다. 그 예로, 한국과 중국의 고등학생 대상으로 데이터를 수집하여 분석하고 일반화할 필요가 있다. 셋째, 일반적으로 도구개발을 위해 탐색적 요인분석(EFA)을 많이 활용하고 있다. 최근 측정오차(estimate errors)간에 상관관계를 고려하지 않는다는 주장이 제기됨에 따라, 탐색적 구조방정식 모형(Exploratory Structural Equation Modeling: ESEM)이 제안되고 있다. 향후 연구에서는 이 기법을 활용하여, 측정도구를 개발한다면 보다 통계적으로 타당하고 신뢰로운 측정도구를 개발할 수 있을 것으로 사료된다. 이러한 한계점에도 불구하고, 본 연구는 다중양식 리터러시 관련 선행연구가 미흡한 상황에서, 자기보고식 측정도구를 개발함으로써 실증적 후속연구의 기반을 마련했다는 점에서 의의를 지닌다.;In this study, definition and dimensions of multimodal literacy engagement were discussed. Literacy was considered as the ability to read and write but its meaning has been broadened in these days with the development of digital technology so it could be redefined as ability to comprehend and construct different meanings utilizing various forms such as the internet and game (Gee, 2003; Kress & van Leeuwen, 1996). Many studies showed that utilizing multimodal literacy can promote students’ motivation and understanding, but there is still few proper scale to measure students’ multimodal literacy. Therefore, it is necessary to develop a measurement on the basis of theoretical review and empirical researches of multimodal literacy and engagement. Multimodal literacy is correlated to advanced technology used in classrooms, for example utilizing image and video to understand knowledge and create new products or using social media and mobile to make active interaction and share ideas and knowledge (Golonka, Bowles, Frank, Richardson, & Freynik, 2014; Tan & Kim, 2015). To evaluate and promote such activities in classrooms, engagement would be a good indicator to measure students’ involvement and performance. On the basis of literature reviewing, interpretive, creative, affective and collaborative engagement were selected as sub-factors of engagement. The purpose of the study is to develop and validate a multimodal literacy engagement scale and examine if students multimodal literacy engagement made difference with independent conditions. The research questions of this study are as follows: 1. Is the multimodal literacy engagement scale developed in this study valid and reliable to measure engagement? 2. Are there any differences in multimodal literacy engagement according to students’ gender, grade and prior experiences? After literature reviewing and discussion with experts, initial 19 items of students multimodal literacy engagement scale were developed. Then data was collected to confirm the factor construction and validation. SPSS 25.0 and Mplus 7.0 were utilized to take statistical analysis at a significance level of .05 . The survey was conducted from August to December, 2018 and a total of 404 students completed the survey. They were from six different high schools, located in S, Indonesia and the students all had prior experience in making multimodal projects and took English class with multimodal literacy. The cross-validation method was applied so that Exploratory Factor Analysis (EFA) and confirmatory factor analysis (CFA) can be conducted. In this study, the collected data was assigned in two parts and EFA and CFA were performed respectively. EFA was performed to establish a primary basis of the factor construction, and then CFA was performed on other samples to validate the scale more strictly (McCoach et al., 2013). As a result, a 14 item scale with four factors: interpretive, creative, affective and collaborative engagement with three, four, three and four items respectively was determined and Cronbach's α was greater than .60 (Cronbach's α= .80) showed it was a reliable scale to measure students’ multimodal literacy engagement. t-test and ANOVA test were conducted to examine the differences in multimodal literacy engagement level between different background (students’ grade, gender and prior experience). As a result, there were significant differences of engagement on students’ grade and gender, but no difference on students’ numbers of digital works that they conducted as prior experience. Through the analysis above, a reliable and valid scale to measure students’ multimodal literacy engagement was constructed. Major conclusions and discussions are as follows. Firstly, This study makes theoretical and empirical contributions to study in multimodal literacy engagement. Various related terms were clarified and definition, dimensions and measurement of engagement were discussed in detail. This study developed and validated a 14-item scale to measure students’ multimodal literacy engagement. The four factors of the scale was consistent with the four dimensions proposed by Wang et al. (2016). Secondly, there were differences in students’ multimodal literacy engagement between students’ gender and grade, but no differences with students’ prior experience. Therefore, it is necessary to personalize instruction according to gender and grade to promote their engagement. However, the study still had some limitations and more further studies are planned. There should be a more scientific method to construct the initial items such as Delphi technique to ensure its reliability and validation. Then, because the data was collected in S, Indonesia, there was a limitation to collect data in a large size. Thus, to generalize the scale, more various data such as high school students in Korean and China would be collected and analyzed. Lastly, although EFA is a widely used method, it has been criticized as well because it assumes that there is no correlation between estimate errors. Exploratory Structural Equation Modeling (ESEM) was proposed to make up for EFA. Therefore, ESEM would be utilized to conduct a more reliable and valid scale in the follow-up study. Despite these limitations, the study has significance of providing theoretical background and a valid tool for further study to measure student engagement with multimodal literacy.