토픽모델링을 활용한 인공지능 기반 학생평가 연구 동향 분석

Abstract

본 연구의 목적은 국외 인공지능 기반 학생평가 연구 동향을 파악하여 국내 인공지능 기반 학생평가의 발전을 위한 시사점을 도출하는 데 있다. 본 연구에서는 국외 인공지능 기반 학생평가 연구의 동향을 분석하기 위해 토픽모델링을 활용하였다. 본 연구의 연구목적을 달성하기 위한 구체적인 연구 문제는 다음과 같다. 첫째, 인공지능 기반 학생평가 관련 주요 토픽은 무엇인가?, 둘째, 인공지능 기반 학생평가 관련 토픽별 주요 키워드는 무엇인가?, 셋째, 인공지능 기반 학생평가 연구 동향은 어떠한가? 본 연구는 위의 연구 문제를 분석하기 위해 국외 인공지능 기반 학생평가 동향 파악을 위해 토픽모델링 중 LDA 알고리즘을 활용하였다. LDA 분석에 활용한 연구 데이터는 SCOPUS 데이터베이스에서 주요 키워드로 검색한 국외 인공지능 기반 학생평가 연구 논문의 초록으로 선정하였다. 국외 인공지능 기반 학생평가 동향을 분석한 주요 연구결과는 다음과 같다. 첫째, 연구 데이터의 연도별 현황을 파악한 결과 인공지능 기반 학생평가 관련 연구가 지속적으로 증가하고 있으며 향후 증가세를 유지할 것으로 예측된다. 국외 인공지능 기반 학생평가 관련 연구는 2012년 제프리 힌튼(Geoffrey Hinton) 연구팀의 Alexnet이 ILSVRC(ImageNet Large Scale Visual Recognition Network)에서 압도적 성적으로 우승을 차지하고, 2016년 구글 알파고(Alpah Go)가 인간과의 바둑 경기에서 우승한 뒤 그 수가 급속하게 증가하였다. 이와 같은 현상은 사회적 이슈로 인해 인공지능에 대한 관심이 높아져 교육 분야에서의 인공지능 활용과 관련된 연구의 수가 증가하게 된 것으로 보인다. 국내의 경우 교육부에서 ‘디지털 인재양성 종합방안’을 발표하는 등 교육 분야의 인공지능 활용에 대한 사회적 관심을 높이고 있다. 이에 향후 교육 분야에서 인공지능 관련 연구의 성장세는 지속될 것으로 보이며, 이에 따라 인공지능 기반 학생평가 연구도 점차 증가할 것으로 예측된다. 둘째, LDA를 실시한 결과 국외 인공지능 기반 학생평가 연구에서 6개의 토픽(‘학생 맞춤형 교육을 위한 평가 연구’, ‘인공지능 기반 학생평가 분야 연구’, ‘데이터 기반 평가 사례 연구’, ‘수업 내 평가 사례 연구’, ‘평가 시스템 개발 연구’, ‘평가 알고리즘 개발 연구’)이 도출되었다. 토픽별 문서 수를 살펴보면 현재 연구는 데이터 기반 평가 사례 연구, 수업 내 평가 사례 연구 등 인공지능 기술을 활용한 평가 사례와 평가 알고리즘 개발과 같은 인공지능 기반 학생평가 체계 마련에 대한 연구가 주를 이루고 있음을 확인할 수 있다. 인공지능 기술을 활용한 평가 사례에 대한 연구의 수가 많은 것은 인공지능 기술에 대한 관심이 높아짐으로 인해 인공지능 기술의 교육적 적용에 대한 관심이 높아진 상황을 반영한 것으로 보인다. 또한, 인공지능 기반 학생평가 체계 마련에 대한 연구의 수가 많은 것은 학교 현장에서 보편적으로 활용할 수 있는 인공지능 기반 학생평가 시스템이 부족한 상황에서 기개발된 또는 프로토타입의 인공지능 기술을 활용한 평가가 개별 연구자에 의해 부분적으로 이루어지고 있기 때문으로 분석된다. 향후 안정적이고 접근성 높은 인공지능 기반 학생평가 시스템이 구축되고, 학교에서 인공지능 기반 학생평가 시스템을 보편적으로 활용하게 된 이후에 인공지능 기반 학생평가와 관련된 교사 역량 연구가 증가할 것으로 예측된다. 셋째, 도출된 6개의 토픽을 대주제로 분류하면 ‘인공지능 기반 학생평가 정의’, ‘인공지능 기반 학생평가 적용 사례’, ‘인공지능 기반 학생평가 도구 개발’, ‘학생 맞춤형 교육을 위한 평가’로 분류할 수 있다. 또한, OECD 학생평가 체계 분석틀을 기준으로 분류하면 평가 거버넌스, 평가 과정, 평가 결과 활용 범주로 구분할 수 있다. 한편, 평가 역량 범주의 경우 토픽에서 두드러지게 나타나지는 않았으나 ‘인공지능 기반 학생평가 분야 연구’토픽의 키워드에 평가 역량 관련 키워드가 포함된 것으로 보았을 때 해당 토픽에서 부분적으로 다루어졌을 것으로 예측된다. 이는 인공지능 기반 학생평가가 기존 학생평가의 틀을 유지하고 있음을 나타낸다. 하지만 OECD 학생평가 체계 분석틀에서 제시하는 평가 결과 활용 범주의 경우 피드백, 평가 결과 보고 및 기록 방식, 학습 확인 등 평가 결과를 형성적, 총괄적으로 활용하는 방식에 초점이 맞춰져 있고, 평가 결과 활용 목적이 구체적이지 않다. 반면, 인공지능 기반 학생평가는 평가 결과를 활용하여 학생 맞춤형 교육을 구현하고자 하는 구체적인 목적이 있다. 이 때문에 인공지능 기반 학생평가 관련 토픽은 OECD 학생평가 체계 분석틀 중 평가 결과 활용 범주와 연관성은 있으나, 완전하게 포함된다고 간주하기는 어렵다. 그러므로 인공지능 기반 학생평가 토픽을 OECD 학생평가 체계 분석틀의 범주로 분류할 때에는 평가 결과 활용 범주를 ‘학생 맞춤형 교육을 위한 평가 결과 활용’범주로 변경하여 인공지능 기반 학생평가의 방향성을 포함하는 것이 필요하다. 이러한 연구 결과를 바탕으로 도출한 결론은 다음과 같다. 첫째, 인공지능 기반 학생평가 결과를 활용하여 학생 맞춤형 교육을 실시할 수 있도록 학생평가 결과 데이터베이스를 구축할 수 있는 제반 환경을 조성해야 한다. 교육부에서 구축 예정인 K-에듀 통합플랫폼과 각 시⸱도교육청의 스마트기기 보급 사업을 활용하여 학생의 학습 데이터를 저장하고 이를 활용하여 개별 학생 맞춤형 교육을 위한 자료를 제공할 수 있도록 안정적인 환경을 조성해야 한다. 다만, 이와 같은 학생과 관련된 학습 데이터를 수집 및 활용함에 있어 학생과 학부모가 인공지능 기반 평가에 대한 이해에 기반하여 학생의 데이터 수집 및 활용에 동의할 수 있도록 여건을 조성해야 한다. 또한, 수집된 학생의 데이터를 안전하게 보관하고, 데이터가 초기 수집 목적인 교육적 목적 이외에 활용되지 않도록 보안 장치를 마련하는 것이 필요하다. 둘째, 인공지능 기반 학생평가의 타당도, 신뢰도를 보장할 수 있는 인공지능 기반 학생평가 시스템 개발이 필요하다. 학생평가를 계획함에 있어 타당도와 신뢰도를 확보하는 것이 중요하다. 따라서 국외에서 활용하고 있는 인공지능 기술을 국내 교육 환경에 맞게 변형하여 적용하고, 인공지능 기반 학생평가 도입 초기에 기존의 평가와 함께 진행하여 학생이 경험에 기반하여 인공지능 기반 학생평가 결과에 대해 신뢰할 수 있도록 해야 한다. 또한, 평가 결과와 함께 개별 학생의 수준에 맞는 피드백과 수준별 학습 자료를 제공하여 학생이 스스로 학습을 개선해 나갈 수 있는 경험을 제공함으로써 학생이 평가의 주체가 되는 학습으로서의 평가(Assessment as Learning)가 구현되도록 해야 한다. 셋째, 인공지능 기반 학생평가를 시행할 교사의 역량을 증진하는 방안의 마련이 필요하다. 인공지능 기반 학생평가를 학교 현장에서 보편적으로 활용하기 위해서는 이를 활용하여 평가를 시행할 교사의 역량을 증진하는 것이 선행되어야 한다. 인공지능 기반 학생평가 시스템을 교사가 효과적으로 활용하기 위해서 예비교사 양성 단계에 적용할 수 있는 인공지능 기반 학생평가 관련 교과목을 개발하고, 현직 교사의 역량 강화를 위한 경력별로 세분화된 교사 연수 프로그램 마련을 통한 체계적인 역량 증진 방안이 필요하다. 본 연구의 한계점은 다음과 같다. 첫째, 논문의 초록을 연구 데이터로 활용했기 때문에 데이터 전처리 과정에서 논문의 의미가 온전히 보전되지 않았을 수 있다. 둘째, 국외 인공지능 기반 학생평가 연구를 대상으로 분석을 실시했기 때문에 국내와 교육 환경에 차이가 있어 일반화에 한계가 존재한다. 인공지능 기술의 발달로 교육 분야에서의 인공지능 활용이 활발해질 것이며, 이에 인공지능 기반 학생평가도 보편화 될 것이다. 인공지능 기반 학생평가를 통해 학생 맞춤형 교육을 구현하여 예측할 수 없는 미래사회를 살아갈 학생의 역량을 기를 수 있을 것으로 기대한다. 본 연구는 국외 인공지능 기반 학생평가 연구 논문 동향을 분석함으로써 현재 진행되고 있는 인공지능 기반 학생평가에 대한 전반적인 이해를 제공했다는 점에서 연구의 의의가 있다. ;The purpose of this study is to derive implications for the development of domestic artificial intelligence-based student assessment by grasping the research trends of overseas artificial intelligence-based student assessment. In this study, topic modeling was used to analyze the trend of overseas artificial intelligence-based student assessment research. The specific research problems to achieve the research purpose of this study are as follows. First, what are the main topics related to artificial intelligence-based student assessment? Second, what are the main keywords for each topic related to artificial intelligence-based student assessment? Third, what is the trend of artificial intelligence-based student assessment research? In order to analyze the above research problems, this study used the LDA algorithm during topic modeling to identify trends in overseas artificial intelligence-based student assessment. The research data used in the LDA analysis was selected as an abstract of an overseas artificial intelligence-based student assessment research paper searched as a major keyword in the SCOPUS database. The main research results that analyzed the trend of overseas artificial intelligence-based student assessment are as follows. First, as a result of grasping the current status of research data by year, research related to artificial intelligence-based student assessment is continuously increasing and is expected to maintain the increase in the future. In 2012, Alexnet of Geoffrey Hinton's team won the ILSVRC(ImageNet Large Scale Visual Recognition Network), and Google AlphaGo won the game of Go against humans in 2016, and the number increased rapidly. This phenomenon seems to have increased interest in artificial intelligence due to social issues, resulting in an increase in the number of studies related to the use of artificial intelligence in the field of education. In Korea, the Ministry of Education is increasing social interest in the use of artificial intelligence in the field of education, such as announcing a comprehensive plan for fostering digital talent. Accordingly, the growth of research related to artificial intelligence in the field of education is expected to continue, and accordingly, research on artificial intelligence-based student assessment is expected to gradually increase. Second, as a result of conducting LDA, six topics('assessment research for personalized learning', 'artificial intelligence-based student assessment field research', 'data-based assessment case study', 'in-class assessment case study', 'assessment system development study', and 'assessment algorithm development study') were derived from overseas artificial intelligence-based student assessment research. Looking at the number of documents by topic, it can be seen that the current research focuses on preparing an artificial intelligence-based student assessment system such as data-based assessment case study, in-class assessment case study, and development of assessment algorithms. The large number of studies on assessment cases using artificial intelligence technology seems to reflect the situation in which interest in the educational application of artificial intelligence technology has increased due to the growing interest in artificial intelligence technology. In addition, the number of studies on the establishment of an artificial intelligence-based student assessment system is analyzed to be partially conducted by individual researchers using pre-developed or prototype artificial intelligence technology in a situation where there is a lack of an artificial intelligence-based student assessment system that can be commonly used in schools. In the future, after a stable and accessible artificial intelligence-based student assessment system is established and widely used in schools, teacher competency research related to artificial intelligence-based student assessment is expected to increase. Third, the six derived topics are classified as major topics, they can be classified into 'Definition of artificial intelligence-based student assessment', 'Case of applying artificial intelligence-based student assessment', 'Development of artificial intelligence-based student assessment tools', and 'Assessment for personalized learning'. In addition, classification based on the OECD conceptual framework for student assessment can be divided into assessment governance, assessment process, and use of assessment result categories. On the other hand, in the case of the assessment competency category, it was not noticeable in the topic, but it is included that it was partially covered in the topic considering that the keyword of the 'Artificial Intelligence-based student assessment field research' topic. This indicates that artificial intelligence-based student assessment maintains the existing student assessment framework. However, in the case of the use of assessment result category presented in the OECD conceptual framework for student assessment, the focus is on formatively and comprehensively utilizing assessment results such as feedback, assessment result reporting and recording method, and learning confirmation, and the purpose of using evaluation results is not specific. On the other hand, artificial intelligence-based student assessment has a specific purpose of implementing personalized learning using the assessment results. For this reason, topics related to artificial intelligence-based student assessment are related to the category of use of assessment results among the OECD conceptual framework for student assessment, but it is difficult to be considered to be completely included. Therefore, when classifying artificial intelligence-based student assessment topics into the category of the OECD conceptual framework for student assessment, it is necessary to change the using the assessment result category to the category of 'utilization of assessment results for personalized learning' to include the direction of artificial intelligence-based student assessment. The conclusions drawn based on these research results are as follows. First, it is necessary to create an environment in which a database of student assessment results can be established so that teachers conduct personalized learning by using artificial intelligence-based student assessment results. A stable environment should be created to store student learning data and provide data for personalized learning by utilizing the K-EDU integrated platform and the device distribution projects planned by the Ministry of Education. However, in collecting and using such learning data related to students, conditions should be created so that students and parents can agree to the collection and use of data based on their understanding of artificial intelligence-based assessment. In addition, it is necessary to safely store the collected student's data and to make a security plan so that the data is only used for educational purposes, as the initial collection purpose. Second, it is necessary to develop an artificial intelligence-based student assessment system that can guarantee the validity and reliability of artificial intelligence-based student assessment. It is important to secure validity and reliability in planning student assessment. Therefore, artificial intelligence technologies used overseas should be modified and applied to suit the domestic educational environment, and in the early stages of introducing artificial intelligence-based student assessment, students should be able to trust the results of artificial intelligence-based student assessment based on experience. In addition, feedback and level-specific learning materials should be provided along with the assessment results to provide students with an experience to improve their own learning so that students can be the subject of assessment. Third, it is necessary to prepare a plan to enhance the competency of teachers to implement artificial intelligence-based student assessment. In order to universally utilize artificial intelligence-based student assessment in the school field, it is necessary to enhance the competency of teachers using it. In order to effectively utilize the artificial intelligence-based student assessment system, it is necessary to develop artificial intelligence-based student assessment-related subjects that can be applied to the preliminary teacher training stage and to prepare a teacher training program subdivided by career. The limitations of this study are as follows. First, since the abstract of the paper was used as research data, the meaning of the paper may not have been fully preserved in the data preprocessing stage. Second, since the analysis was conducted on overseas artificial intelligence-based student assessment research, there is a limit to generalization due to differences between overseas and domestic educational environment. With the development of artificial intelligence technology, the use of artificial intelligence in the field of education will be active, and artificial intelligence-based student assessment will also become common. It is expected that students will be able to develop their ability to live in an unpredictable future society by implementing personalized learning through artificial intelligence-based student assessment. This study is meaningful in that it provided an overall understanding of the ongoing artificial intelligence-based student assessment by analyzing the trends of research papers on overseas artificial intelligence-based student assessment.