예비교사를 위한 교육 데이터 리터러시 프로그램 개발 및 효과성 검증

Abstract

4차 산업혁명 이래로 빅데이터의 영향력이 사회와 경제, 정치의 전반으로 영향력이 확장되면서 데이터를 통해 문제를 발견하고 해결하는 데이터 기반 사회(data driven society)로 변모하게 되었다(Pentland, 2013). 이전에는 직접 관찰하고 경험 하며 정보를 얻어야하는 영역에서도 비디오, 이미지, 텍스트 그리고 로그 데이터등 ‘흔적’으로 남은 데이터를 추적하여 정보를 수집하게 되었고, 사람의 직관이 아닌 데이터에 기반한 의사결정(Data driven decision making)과 데이터 리터러시가 중시되기 시작했다(Provost & Fawcett, 2013). 데이터 활용에 대한 긍정적인 연구와 현장의 보고가 이어지면서, 교육 분야에서도 데이터 기반 의사결정이 주목받기 시작했다. 교육 정책의 수립부터 학습자 피드백에 이르기까지 학습을 위한 모든 교육적 의사결정의 결과는 학습자에게 중요한 영향력을 끼친다. 이러한 중요성은 교육적 의사결정이 데이터에 근거하여 내려진 합리적인 의사결정이어야 함을 말해준다(Mandinach, 2012). 이에 개별 교육구및 학교 단위에서도 데이터 활용하기 위한 움직임들이 일어났다(Gill et al., 2014; Mandinach & Gummer, 2013). 학습자들의 데이터를 수집하고, 주별, 교육구별 데이터를 활용하는 시도들로 교육구와 학교는 더 좋은 교육을 제공하는 방향으로 진보하였고, 지속적인 목표 설정과 평가, 피드백을 통해서 교육 프로그램 등을 평가하고, 개인과 조직의 높은 성취를 이룰 수 있도록 도모하였다(Gill et al., 2014). 이러한 흐름 속에서 Gummer와 Mandinach(2013)는 교사의 교육 데이터 리터러시를 강조하기 시작했다. 궁극적으로 현장에서 교육을 전달하고 학생들과 소통하는 주체는 교사가 데이터를 이해하고 활용할 수 있는 역량을 갖추어야 데이터를 활용하는 발전적인 흐름이 이어질 수 있기 때문이다. 교육 데이터 리터러시 (Educational Data Literacy)는 윤리적이고 비판적으로 데이터를 수집하고, 분석하 고, 해석하여 행동할 수 있는 교수적 지식과 행위로 전환하는 능력이며, 더 나아가 그것을 바탕으로 의사소통할 수 있는 능력을 의미한다(Data Quality Campaign, 2014; Gummer & Mandinach, 2015). 더불어 모든 과정에서 교육전문가로서의 책임과 역할에 부합하는 태도로 임해야함을 강조하였다(Data Quality Campaign, 2014). 본 연구에서는 위의 관점을 반영하여, 교육 데이터 리터러시(Educational Data Literacy)를 데이터를 수집하고 분석하여 이해 및 해석하는 과정을 거쳐 실천할수 있는 교수적 지식과 행위로 전환하는 능력이며, 이를 바탕으로 커뮤니케이션 하고 중요한 의사결정을 내리는 능력이라고 정의하였다. 예비교사의 데이터 리터러시 역량 함양을 위한 다양한 교수 중재 개발 및 효과 성에 대한 연구가 진행되어 왔다. 그러나 해당 연구들은 두 가지에서 한계점을 가지고 있다. 먼저, 데이터 리터러시의 일부 영역만을 다루고 있다는 점이다. Henderson와 Corry(2021)는 교육 데이터 리터러시에 관한 문헌 고찰을 통해 “데 이터 리터러시는 통계 리터러시, 평가 리터러시와 교육학적 지식 그리고 데이터 기반 의사결정을 한 우산 안에 담은 것”(Henderson and Corry, 2021, p. 233)이라고 밝혔다. 반면, 해당 연구는 평가리터러시에 초점을 맞추거나, 데이터 분석 및해석 역량을 제외한 교수적 의사결정에 초점을 맞추기도하였다. 데이터의 생산자 이자 소비자로서 교사가 데이터를 수집하고, 분석하고, 활용하기 위해서는 기본적인 통계적 지식과 실제적으로 데이터를 다루는 능력 또한 갖춰야한다. 또한, 학습 자의 특성을 분석하고, 그것을 바탕으로 교수를 설계하는 지식과 기술은 ‘교수설 계’ 관련 교과목에서 습득하는 능력이다. 따라서, 데이터를 수집하고, 분석하고, 해석하는 것과 교수적 의사결정을 연결할 수 있는 교육 데이터 리터러시를 향상 시킬 심화 과목이 필요하다. 두 번째로, 실제 상황을 반영한 맥락화된 지식과 기술을 학습할 기회를 제공하지 않는다는 점에서 한계가 있다. 교사의 데이터 기반 의사결정 문제 확인 및 정의부터 데이터를 수집하고, 분석하고, 이해 및 해석하는 데이터 사용 과정을 거쳐, 데이터를 실천할 수 있는 지식과 행위로 변환하여 적용하는 의사결정과 그에 대한 모니터링 및 피드백의 결과 평가로 이어진다. 각각의 단계가 유기적으로 연결되고 반복되는 순환적인 탐구의 과정(Mandinach & Gummer, 2016)으로, 데이터를 활용 하여 문제를 발견하고 해결하는 절차를 통합적으로 의미한다. 그러나 기존 연구에 서는 전반적인 과정보다는 일부 데이터 분석, 교수적 의사결정에 초점을 맞추어 정제되고 만들어진 데이터를 기반으로 ‘연습’ 방식으로 학습이 이루어졌다. 미래 교사로서 어떤 문제 상황과 데이터를 접할 수 있는지, 문제 해결을 위해 어떠한 과정을 거쳐야하는지를 실제적인 맥락에서 학습하지 못한다는 점에서 아쉬움이 있다. 따라서 본 연구에서는 ADDIE 모형의 절차에 따라 교육 데이터 리터러시 을 통합적으로 향상시키고, 예비교사에게 필요한 실제적이고 맥락화된 데이터 기반 의사결정 과정 학습할 수 있는 데이터 리터러시 교육 프로그램을 개발하였다. 이를 통해 예비교사들에게 통계적 지식과 교수적 의사결정으로 분리된 각각의 역량을 하나로 이어 통합적인 역량인 ‘교육 데이터 리터러시’함양하고자 하였다. 이를 위한 본 연구에서 설정한 연구 문제는 다음과 같다. 첫째, 예비교사의 교육 데이터 리터러시를 향상시키기 위한 프로그램의 구성 요소는 무엇인가? 둘째, 개발된 교육 데이터 리터러시 프로그램은 예비교사의 교육 데이터 리터러 시를 향상시키는가? 연구 문제에 대해 확인하고자, ADDIE 모델에 따라 예비교사를 위한 교육 데이터 리터러시 프로그램을 개발하였다. ADDIE는 Branch(2009)에 의해 설명된 교육 설계의 체계적인 접근 방법으로 ADDIE의 각 단계에 따른 구체적인 예비교사를 위한 교육 리터러시 프로그램 개발 절차는 다음과 같다. 첫째, 대상 학습자의 학습 요구와 학습이 발생하는 맥락을 파악하기 위해 예비 교사 대상 국내외 문헌을 조사하여 관련된 교육 연구과 사례를 분석하였다. 이를 통해 프로그램 설계를 위한 구성요소를 도출하였다. 둘째, 분석 단계에서의 선행 문헌 고찰과 요구분석, 과제분석의 결과를 기반으로 초기 교육 프로그램의 설계 및 개발을 진행하였다. 이를 바탕으로 프로그램을 설계하였으며, 전문가에게 주관식 문항으로 프로그램의 개선점에 대해 조사하였다. 이후 전문가 검토의 의견을 반영하여, 교육 프로그램 설계안을 수정하였고, 실행과 평가를 위하여 수업용 PPT, 워크시트, 실습 활동 가이드라인, 성찰일지를 제작하였다. 셋째, 실행을 위해 2022년 10월 31일부터 11월 21일까지 4주 간 총 8차시에 걸쳐 블록타임제로 수업을 진행하였다. 본 교육은 정규 교과목 강의와는 별개로 세미나 형태로 진행되었으며, 교육공학 및 교육측정평가 전문가 1인이 교수자로 수업을 운영하였다. 넷째, 본 프로그램의 효과성을 확인하기 위하여 교육 데이터리터러시의 사전-사후 변화를 확인하였다. 전문가 5인의 타당화 검사와 예비교사 5인의 검토를 통해 타당화된 사전 설문 문항을 제작 하여, 10월 31일 첫 차시에서 사전검사를 실시하고, 11월 21일의 마지막 8차시 수업 이후에 동일하게 사후검사를 실시하였다. 또한, 실습과제와 발표에 대해 평가 하였다. 먼저, 연구문제 1에 대한 결과는 다음과 같다. 첫째, 예비교사를 위한 교육 데이터 리터러시 개념에 대해 정의하고, 하위요소를 도출하였다. 둘째, 교육 데이터 리터러시 프로그램 설계를 위한 구성 요소를 도출하였다. 구성요소는 협력 학습, 프로토콜 제시, 퍼실리테이팅, 멘토/코치 참여, 통계에 대한 명시적 교수, 맥락화된 학습, 실습, 그리고 테크놀로지 활용으로 8개로 도출하였다. 이를 데이터 기반 의사결정 과정에 따라 적용하여 프로그램을 설계하였다. 셋째, 프로그램 설계 전략을 기반으로 프로그램을 개발하였다. 먼저, 초기 교수설계안을 개발하여 전문가 5 인에 대하여 전문가 검토를 실시하였다. 전문가 검토 결과 학습 목표의 구체화, 학습자의 동기 고려, 기초 통계에 대한 교육 추가, 실습 과제의 내용과 인원에 대한 고려, 평가 도구의 개선을 중심으로 교수설계안을 수정 보완하고 교수 자료를 개발하였다. 최종적으로, 교수자와 수업 실행을 위한 논의를 거쳐 교수설계안을 개발하였다. 개발된 프로그램은 통합적인 ‘교육 데이터 리터러시’ 역량을 함양할 수 있도록 설계되었고, 실제적인 데이터 기반 교수적 의사결정을 연습할 수 있다는 점에서 특장점이 있다. 이후 프로그램을 실행하였고, 실행 이후 평가 결과와 학습자 및 교수자의 피드백을 반영하여, 최종 프로그램을 개발하였다. 다음으로, 연구문제 2에 대한 결과는 다음과 같다. 첫째, 개발된 프로그램을 예비 교사 29명을 대상으로 4주 간 8차시의 블록타임제로 교육을 운영하였다. 수업은 화상회의 플랫폼을 통해 비대면 실시간으로 이루어졌으며, 개별 참여자들은 개인의 전자기기(노트북 등)을 통해 접속하였다. 원활한 소통과 프로그램 운영을 위하여 ZOOM 이외에도, Google에서 제공하는 Classroom , Doc, Sheet, Form의 다양한 도구를 활용하였다. 해당 참여자를 대상으로, 교육 데이터리터러시 수준을 측정하 였고 Shapiro-Wilk 정규성 검정을 통해 정규성을 따르는 것을 확인한 후에, 대응 표본 t 검정을 실시하였다. 결과적으로, p < .001 수준에서 사전-사후 간 0.87(SD = 0.51) 만큼 유의한 차이를 보였다. 교육 데이터 리터러시의 각각 하위요인에 대해서는 윌콕슨 부호순위 검정을 실시하였는데, 모든 하위 변인이 p < .001 수준에서 사전검사와 사후 검사의 차이가 유의하게 나타났다. 결과적으로 예비교사 대상 교육 데이터 리터러시 프로그램은 예비 교사의 교육 데이터 리터러시를 유의하게향상시켰다고 볼 수 있다. 또한, 실습과제와 발표에 대해 평가할 결과로 전체 14 개의 조 중 3개의 조가 모든 기준에 대해 ‘상’으로 평가되었고, 9개의 조가 1개 기준을 제외하고 ‘상’으로 평가되었다. 결과적으로, 데이터 기반 의사결정을 실제적으로 경험할 수 있는 과제에 전체 85% 이상 기준에 맞춰 수행하였음을 통해본 프로그램이 효과적이었음을 알 수 있다. 이러한 연구 결과에 대한 결론과 의의는 다음과 같다. 첫째, 예비교사의 교육 데이터 리터러시에 대한 새로운 관점을 제시하였다. 이를 통해 프로그램을 통한 학습이 지식에 머물지 않고 실천할 수 있도록 실제적인 맥락에서의 연습 기회 설계하였다. 따라서, 미래 교사로서 데이터 기반 교수적 의사 결정을 실행할 수 있도록 촉진했다는 점에서 의의가 있다. 또한, 기존 교육 및 프로그램에서 통합적인 교육 데이터 리터러시를 향상시키기 위한 새로운 방향성을 탐색하는 데 도움을 줄 수 있다. 둘째, 실용적인 측면에서 예비교사의 교육 데이터 리터러시를 향상시키기 위한 프로그램이 개발되었다는 점에서 의의가 있다. 를 통해 예비교사의 교육 데이터 리터러시 향상을 위해 향후 현장에서 적용할 수 있는 기반을 마련하였다는 점에서 의의가 있다. 본 연구의 제한점과 후속 연구를 위한 제언은 다음과 같다. 첫째, 본 연구에 참여한 29명의 통계 사전 지식과 데이터 분석 관련 경험이 다양 하였다. 따라서 후속 연구에서는 학습자의 사전 경험 및 지식 수준에 따라 기초 통계 학습이 선행되거나, 관련 지식을 갖춘 학습자들을 대상으로 프로그램을 적용 하는 방안을 고려해보아야 할 것이다. 둘째, 본 프로그램은 앞서 언급한 바와 같이 참여자의 사전 지식 수준의 편차가 커, 노코드툴인 Orange3를 활용하여 머신러닝을 통해 데이터를 분석하였다. 다만, 프로그램의 가장 큰 목적은 데이터 분석 기술을 향상시키는 것이 아니라 데이터 기반 의사결정에 대한 경험과 관련 역량을 함양하는 것이다. 따라서 본 강의에서 활용한 Orange3의 머신러닝 방법이외의 다른 데이터 분석 도구를 통한 분석 역시 고려해볼 수 있을 것이다. 마지막으로, 본 프로그램은 4주에 걸쳐 8차시의 블록타임제로 운영되었다. 총 8차시에 기초적인 통계 및 머신러닝 학습 및 데이터 분석 방법 학습까지 포함하면 서 데이터 기반 의사결정의 적용 및 실습에 적용을 위한 차시가 줄어들었다는 점에서 한계가 있다. 여러 교육적 사례를 고려하였을 때, 실제 데이터 관련 수업이한 학기 분량으로 이뤄지는 것과 비교하여서는 충분한 시간이 아니였음을 알 수있다. 따라서, 후속 연구로 본 프로그램을 실행할 때에, 개념 학습과 실습 및 적용 까지의 전체적인 학습이 이뤄질 수 있는 학습 내용 배분과 차시 조정을 고려할 것을 제언한다.;Since the Fourth Industrial Revolution, the influence of big data has expanded to society, economy, and politics in general, transforming into a data-driven society that discovers and solves problems through data (Pentland, 2013). In the past, even in areas where information should be obtained through direct observation and experience, information was collected by tracking the remaining data as 'traces' such as video, image, text, and log data, and decision-making based on data rather than human intuition (data driven) decision making) and data literacy began to be emphasized (Provost & Fawcett, 2013). As positive studies on the use of data and reports from the field continued, data-based decision-making began to gain attention in the field of education. From the formulation of educational policies to learner feedback, the outcome of all educational decisions for learning has a significant impact on learners. This importance suggests that educational decisions should be rational decisions made based on data (Mandinach, 2012). Accordingly, there have been movements to utilize data at individual school districts and schools (Gill et al., 2014; Mandinach & Gummer, 2013). In this trend, Gummer and Mandinach (2013) began to emphasize teachers' educational data literacy. Ultimately, teachers who deliver education and communicate with students in the field must have the ability to understand and utilize data so that a progressive flow of using data can continue. In this study, reflecting the above point of view, educational data literacy is the ability to transform educational data literacy into practical instructional knowledge and behavior through the process of collecting, analyzing, understanding, and interpreting data. It is defined as the ability to make important decisions. Research has been conducted on the development and effectiveness of various instructional interventions for the development of preservice teachers' data literacy competency. However, these studies have two limitations. First, it covers only some areas of data literacy. Second, it has limitations in that it does not provide an opportunity to learn contextualized knowledge and skills that reflect actual situations. Therefore, in this study, we developed a data literacy education program that can comprehensively improve educational data literacy according to the procedure of the ADDIE model and learn the actual and contextualized data-based decision-making process required for pre-service teachers. Through this, it was intended to cultivate 'education data literacy', an integrated competency, by connecting each competency separated by statistical knowledge and instructional decision-making to pre-service teachers. The research questions set in this study for this purpose are as follows. First, what are the components of the program to improve preservice teachers' educational data literacy? Second, does the developed educational data literacy program improve preservice teachers' educational data literacy? To confirm the research problem, an educational data literacy program for preservice teachers was developed according to the ADDIE model. ADDIE is a systematic approach to educational design described by Branch (2009), and the procedure for developing an educational literacy program for pre-service teachers in detail according to each stage of ADDIE is as follows. First, in order to understand the learning needs of target learners and the context in which learning occurs, domestic and foreign literature for prospective teachers was investigated and related cases of the Graduate School of Education were analyzed. Through this, the components for program design were derived. Second, the initial education program was designed and developed based on the results of prior literature review, demand analysis, and task analysis in the analysis stage. Based on this, the program was designed, and the improvement points of the program were investigated with subjective questions to experts. Afterwards, the educational program design was revised by reflecting the opinions of expert reviews, and class PPTs, worksheets, practice activity guidelines, and reflection journals were produced for execution and evaluation. Third, for implementation, classes were held on a block time basis over a total of 8 sessions for 4 weeks from October 31, 2022 to November 21, 2022. This education was conducted in the form of a seminar separate from the regular course lectures, and an expert in educational technology and educational measurement evaluation operated the class as an instructor. Fourth, to confirm the effectiveness of this program, pre- and post-changes in educational data literacy were confirmed. Produced pre-survey questions that were validated through a validation test by 5 experts and a review by 5 preservice teachers, conducted a pre-test in the first session on October 31st, and the same after the last 8th session on November 21st. A post-mortem examination was conducted. In addition, practice assignments and presentations were evaluated. First, the results for research question 1 are as follows. First, the concept of educational data literacy for preservice teachers was defined, and sub-elements were derived. Second, the components for the design of educational data literacy program were derived. Eight components were derived: collaborative learning, protocol presentation, facilitating, mentor/coach participation, explicit teaching on statistics, contextualized learning, practice, and technology utilization. The program was designed by applying this according to the data-based decision-making process. Third, the program was developed based on the program design strategy. First, an initial instructional design was developed and an expert review was conducted on 5 experts. As a result of the expert review, the instructional design was revised and supplemented and instructional materials were developed, focusing on the specification of learning goals, consideration of learners' motivation, addition of education on basic statistics, consideration of the contents and number of practice tasks, and improvement of evaluation tools. Finally, the instructional design plan was developed through discussions with the instructor for class execution. The developed program is designed to foster integrated ‘educational data literacy’ competency, and has a special advantage in that it allows practical data-based instructional decision-making to be practiced. Afterwards, the program was executed, and the final program was developed by reflecting the evaluation results and feedback from learners and instructors after execution. Next, the results for research question 2 are as follows. First, the developed program was operated on a block time basis for 8 sessions for 4 weeks for 29 preservice teachers. Classes were conducted non-face-to-face in real time through a video conferencing platform, and individual participants accessed through personal electronic devices (laptops, etc.). In addition to ZOOM, various tools such as Classroom, Doc, Sheet, and Form provided by Google were used for smooth communication and program operation. For the participants, the level of educational data literacy was measured, and after confirming that it followed normality through the Shapiro-Wilk normality test, a paired-sample t-test was conducted. As a result, at the level of p < .001, there was a significant difference between pre-post by 0.87 (SD = 0.51). For each sub-factor of educational data literacy, the Wilcoxon signed-rank test was conducted, and all sub-variables showed significant differences between the pre-test and post-test at the p < .001 level. As a result, it can be said that the educational data literacy program for pre-service teachers significantly improved the educational data literacy of pre-service teachers. In addition, as a result of the evaluation of practice assignments and presentations, 3 out of 14 groups were evaluated as ‘Good’ for all criteria, and 9 groups were evaluated as ‘Good’ except for one criterion. As a result, it can be seen that this program was effective through the fact that more than 85% of the overall criteria were met for tasks that could actually experience data-based decision-making. The conclusion and significance of these study results are as follows. First, a new perspective on educational data literacy of preservice teachers was presented. Through this, we designed practice opportunities in a practical context so that learning through the program does not stay in knowledge but can be practiced. Therefore, it is meaningful in that it has promoted the implementation of data-based instructional decision-making as a future teacher. It can also help explore new directions for improving integrated educational data literacy in existing education and programs. Second, from a practical point of view, it is meaningful that a program to improve preservice teachers' educational data literacy was developed. It is meaningful in that it has laid the foundation for future application in the field to improve the educational data literacy of pre-service teachers. The limitations of this study and suggestions for follow-up studies are as follows. First, the 29 participants in this study had various prior knowledge of statistics and experience related to data analysis. Therefore, in follow-up research, it is necessary to consider whether basic statistical learning is preceded according to the learner's prior experience and knowledge level, or how to apply the program to learners with relevant knowledge. Second, as mentioned above, this program analyzed the data through machine learning using Orange3, a no-code tool, as the level of prior knowledge of the participants varied greatly. However, the main purpose of the program is not to improve data analysis skills, but to develop experience and related competencies in data-based decision-making. Therefore, analysis through other data analysis tools other than the machine learning method of Orange3 used in this lecture can also be considered. Lastly, this program was operated on a block time basis for 8 sessions over 4 weeks. There is a limit in that a total of 8 classes include basic statistics and machine learning learning and data analysis method learning, and the number of classes for application and practice of data-based decision-making has been reduced. Considering various educational examples, it can be seen that the actual data-related classes were not enough time compared to the one-semester class. Therefore, when implementing this program as a follow-up study, it is suggested to consider the distribution of learning contents and adjustment of the order so that the overall learning from concept learning to practice and application can be achieved.