비교정보를 제공하는 학습자 대시보드에 대한 사용 행동과 인식 분석

Abstract

테크놀로지의 발전으로 활용 가능한 데이터의 종류와 양이 방대해지면서 학습과정에서 생성되는 데이터에 대한 관심 또한 높아지고 있다. 이와 같은 학습 데이터는 특히 대시보드(dashboard)의 형태로 활용하고자 하는 시도가 다양하게 이루어지고 있는데, 대시보드란 특정한 목표를 달성하기 위해 중요한 정보들을 한 화면에 시각화하여 보여주는 도구를 말한다(Few, 2006). 교육 현장에서 활용되는 대시보드는 사용하는 주체에 따라 다양하나 최근 학습자의 주도성을 강조하는 측면에서 학습자에게 제공되는 대시보드가 주목받고 있다. 학습자 대시보드는 학습 과정과 결과에 대한 정보를 유용하고 명확한 형태로 제시하여 학습자 스스로 자신의 학습을 점검하도록 한다는 측면에서 자기조절학습을 촉진할 수 있는 도구로 연구되고 있다(Jivet, Scheffel, Specht, & Drachsler, 2018). 학습자들은 스스로의 학습을 점검하는 과정에서 자신의 정보만을 제공받을 경우 모호함을 느끼고 다른 학습자와의 비교를 통해 자신의 학습상황을 판단하고자 한다(Roberts, Howell, & Seaman, 2017). 따라서 대부분의 학습자 대시보드가 평균점수와 같은 비교정보를 함께 제공한다는 특징이 있으며, 학습자들은 대시보드를 통한 학습 점검의 과정에서 비교를 반복적으로 수행하게 된다(Jiviet, Scheffel, Reachsler, & Specht, 2017). 비교는 다소 부정적으로 여겨지는 경향이 있지만 일상생활이나 학습상황에서 빈번하고 자연스럽게 발생하는 현상이며 특히 학습맥락에서 적절히 활용될 경우 성취를 높이고 참여를 촉진하는 등의 긍정적인 효과가 있는 것으로 보고되어왔다(Blanton, Buunk, Gibbons, & Kuyper, 1999). 그러나 비교는 비교의 영역이나 맥락, 비교를 수행하는 개인의 특성 등에 따라 다양하고 복잡하게 나타나므로(Gibbons & Buunk, 1999; Wood, 1989) 학습자 대시보드 활용 과정에서 이루어지는 비교가 항상 긍정적인 효과를 가져올 것으로 보기는 어렵다. 따라서 학습자 대시보드를 보다 의미 있는 방식으로 활용하기 위해서는 해당 도구 사용 과정 중에 발생하는 비교 행동과 그에 대한 인식을 보다 심층적으로 탐색할 필요가 있다. 따라서 본 연구는 대시보드 활용 과정에서 반복적으로 비교를 수행하게 된다는 점에 초점을 두고 학습자의 대시보드에 대한 사용 행동과 인식을 탐색하고자 하였다. 이때 비교가 비교 맥락이나 개인의 특성 등의 영향을 받아 다양한 방식으로 이루어진다는 점을 고려하여 자기조절학습이 더욱 강조되며 학습 과정을 직접 관찰하기 어려운 온라인 학습 맥락(Barnard, Lan, To, Paton, & Lai, 2009)에서 실험을 진행하였으며, 스스로의 수행 결과를 판단하는 기준에 영향을 미치는 성취목표지향(Elliot & Hulleman, 2017)을 개인 특성 변인으로 선정하여 함께 분석하였다. 본 연구의 목적은 비교정보를 제공하는 대시보드에 대한 학습자의 사용 행동과 인식을 탐색함으로써 학습자 대시보드의 설계와 활용에 대한 시사점을 제공하는 것이다. 이와 같은 목적 달성을 위해 도출된 연구문제는 다음과 같다. 1. 비교정보를 제공하는 대시보드에 대한 사용 행동은 어떠한가? 1-1. 비교정보를 제공하는 대시보드에 대한 접근 행동은 어떠한가? 1-2. 대시보드가 제공하는 비교정보에 대한 선택 행동은 어떠한가? 2. 비교정보를 제공하는 대시보드에 대한 인식은 어떠한가? 2-1. 대시보드가 제공하는 비교정보(비교대상, 비교내용)에 대한 인식은 어떠한가? 2-2. 비교정보를 제공하는 대시보드에 대한 전반적인 인식(유용성 인식, 효과 인식)은 어떠한가? 3. 비교정보를 제공하는 대시보드에 대한 사용 행동과 인식은 성취목표지향 수준에 따라 차이가 있는가? 3-1. 비교정보를 제공하는 대시보드에 대한 접근 행동은 성취목표지향에 따라 차이가 있는가? 3-2. 대시보드가 제공하는 비교정보에 대한 선택 행동은 성취목표지향에 따라 차이가 있는가? 3-3. 대시보드가 제공하는 비교정보(비교대상, 비교내용)에 대한 인식은 성취목표지향 수준에 따라 차이가 있는가? 3-4. 비교정보를 제공하는 대시보드에 대한 전반적인 인식(유용성 인식, 효과 인식)은 성취목표지향 수준에 따라 차이가 있는가? 연구문제 확인을 위하여 다양한 비교정보를 포함하는 대시보드(임지영, 어정인, 한가형, 임규연, 2020)를 활용하여 약 9주간 실험을 진행하였다. 실험은 대시보드 제공 전 성취목표지향을 측정하는 설문을 실시하고, 대시보드 사용 기간 동안 로그 데이터를 수집하며, 대시보드 사용 종료 후 대시보드에 대한 인식을 묻는 설문을 실시하는 순서로 진행되었다. 실험을 통해 총 56명의 데이터를 수집하였으며 대시보드 사용 종료 후 진행된 설문에 응답한 학습자는 42명이었다. 본 연구의 결과와 이를 바탕으로 도출된 결론 및 시사점은 다음과 같다. 첫째, 대시보드에 대한 사용 행동 분석 결과 학습자들은 온라인 학습 맥락에서 비교정보를 포함하는 대시보드가 제공될 경우 해당 도구에 관심을 가지고 사용하며, 그 과정에서 자신의 정보뿐만 아니라 다른 학습자들의 정보를 확인하는 것으로 나타났다. 이때 대시보드가 제공하는 다양한 비교정보 중 다른 개별 학습자의 정보를 확인한 활동이 가장 많이 분석되었다. 이와 같은 연구 결과는 대시보드의 형태로 학습 과정 및 결과 정보가 제공될 경우 학습자들이 실제로 그를 활용하여 자신의 학습을 점검할 수 있음을 시사한다. 따라서 온라인 학습 상황에서 학습자가 대시보드를 제공하는 것을 적극적으로 고려할 필요가 있으며, 학습자들이 대시보드를 통해 자신의 학습을 다각적으로 점검할 수 있도록 다양한 비교정보를 제공할 필요가 있을 것이다. 둘째, 대시보드가 제공하는 비교정보에 대한 인식 분석 결과 학습자들은 비교 대상 측면에서는 나의 정보와 다른 개별 학습자의 정보를, 비교 내용측면에서는 성적 산출에 큰 비중을 차지하는 정보를 유용하다고 인식하는 것으로 나타났다. 한편 비교정보를 제공하는 대시보드에 대한 전반적인 인식 분석에서는 학습자들이 대시보드가 온라인 학습에 유용하고 효과적이라고 인식하는 것으로 확인되었다. 이와 같은 연구 결과는 학습자들이 대시보드에서 제공되는 정보를 분석하고 활용할 수 있으며, 그로 인한 생각이나 행동의 변화가 나타날 수 있음을 보여준다. 더불어 학습자 대시보드를 통해 학습 과정에 대한 관찰학습이 이루어질 수 있도록 다양한 비교정보를 제공할 필요가 있으며, 대시보드 활용 과정에서 시험성적과 같은 학습 결과 정보에만 초점을 두어 역효과가 발생하지 않도록 지원할 필요가 있음을 시사한다. 셋째, 성취목표지향에 따른 대시보드 사용 행동 분석 결과 접근 행동의 경우 숙달접근목표지향 수준에 따른 차이가, 선택 행동의 경우 숙달접근 및 숙달회피목표지향 수준에 따른 차이가 확인되었다. 한편 성취목표지향에 따른 대시보드 인식 분석 결과 유용성 인식에서는 수행접근 및 수행회피목표지향 수준에 따라 유용하다고 인식하는 비교정보에 차이가 있었으며, 효과 인식에서는 모든 성취 목표지향이 각각 높은 집단이 낮은 집단보다 효과가 있다고 응답한 비율이 높은 것으로 확인되었다. 이와 같은 연구 결과는 학습자 개인의 특성에 따라 비교정보를 포함하는 대시보드 사용 행동이나 인식에 차이가 있음을 보여준다. 따라서 성취목표지향과 더불어 다양한 학습자의 특성에 따른 대시보드 사용 행동 및 인식을 탐색하고 맞춤형 대시보드를 제공하는 것이 필요하다고 할 수 있다. 본 연구의 제한점과 후속연구에 대한 제언은 다음과 같다. 첫째, 대시보드가 전체 수강생의 정보가 아닌 실험 참여 동의 학생들의 정보만을 포함하였다는 한계가 있다. 따라서 후속 연구에서는 강좌 수강생 전체의 데이터를 포함하여 보다 정확한 정보를 제공하고 그에 따른 대시보드 사용 행동과 인식을 탐색할 필요가 있을 것이다. 둘째, 기술적인 한계로 인하여 대시보드 사용상의 불편함과 이중 정보 제공의 문제가 있었다. 학습자들은 사이버캠퍼스에 생성된 별도의 링크를 통해 대시보드에 접속하였으며, 본 연구에서 활용된 대시보드는 데이터가 많아지거나 여러 사람이 동시에 접속할 경우 서버 속도가 느려진다는 한계가 있었다. 또한 사이버캠퍼스 자체적으로 제공하는 정보가 있어 대시보드를 이용하지 않더라도 사이버캠퍼스를 통해 일부 학습 정보를 얻을 수 있었다. 따라서 후속 연구에서는 대시보드의 접근성과 사용 용이성을 개선하고, 대시보드 외에 참고할 수 있는 학습정보가 제공되지 않는 상황에서 실험을 진행할 필요가 있을 것이다. 셋째, 특정 대학의 한 교과 수강생만을 실험 대상으로하여 연구대상의 다양성을 확보하지 못하였다는 한계가 있다. 이로 인해 개인 특성 변인으로 선정한 성취목표지향이 전체 학생에게서 전반적으로 높은 것으로 나타났으며, 성취목표지향에 따른 맞춤형 대시보드 제공 등에 대한 구체적인 시사점을 논의하기에 어려움이 있었다. 따라서 후속연구에서는 보다 다양한 연구대상을 모집하여 실험을 진행할 필요가 있을 것이다.;With the advancement of technology, the types and amounts of available data have increased. This tendency raised interest in data generated in the learning process. In particular, there are various attempts to utilize learning data in the form of a dashboard, which is a tool that visualizes and displays important information on one screen to achieve specific goals (Few, 2006). There are various dashboards used in the educational field depending on the user, and among them, dashboards provided to learners are drawing attention in terms of emphasizing learner initiative. Learner dashboard presents information on the process and results in a useful and clear form, so it is studied as a tool that can promote self-regulated learning allowing learners to check their own learning (Jivet, Scheffel, Specht, & Drachsler, 2018). Since learners feel ambiguity when they check only their information while self-monitoring, they try to judge their learning situation through comparison with other learners (Roberts, Howell, & Seaman, 2017). Therefore, most learner dashboards provide comparative information such as average scores, and learners repeatedly perform comparisons when they monitor their learning through the dashboard(Jiviet, Scheffel, Reachsler, & Specht, 2017). Though comparisons tend to be considered negative, they occur frequently and naturally in everyday life, including in learning situations. In particular, when properly used in the learning context, it has positive effects such as enhancing achievement and participation (Blanton, Buunk, Gibbons, & Kuyper, 1999). However, the effect of comparison is diverse and complex, depending on the area and its context and the characteristics of the individual performing it (Gibbons & Buunk, 1999; Wood, 1989). Therefore, it is not convincing that the comparison while using learner dashboard will always have a positive effect. Thus, to utilize the learner dashboard in a meaningful way, it is necessary to explore the using behaviors and perceptions about comparative information in it in depth. This study aimed to explore learners’ behaviors and perceptions of using dashboards, focusing on the comparisons that are repeatedly performed while using it. Considering that the process and results of comparison appear in various ways under the influence of the comparison context or individual characteristics (Gibbons & Buunk, 1999; Wood, 1989), this study was conducted in the online learning context, which more importantly required self-regulated learning and difficult to directly observe the learning process of other learners (Barnard, Lan, To, Paton, & Lai, 2009). In addition, achievement goal orientation, which affects the criteria for judging one's own performance results (Elliot & Hulleman, 2017), was selected and analyzed together as an individual characteristic variable. The purpose of this study is to provide implications for the learner dashboard design and application by exploring the learner's dashboard using behaviors and perceptions. The research questions were constructed to achieve this purpose as follows: 1. What is the using behavior of the dashboard that provides comparative information? 1-1. What is the access behavior to the dashboard that provides comparative information? 1-2. What is the selection behavior for the comparative information provided by the dashboard? 2. What is the perception of the dashboard that provides comparative information? 2-1. What is the perception of the comparison information (comparison target, comparison contents) provided by the dashboard? 2-2. What is the overall perception (usefulness perception, effect perception) of the dashboard that provides comparative information? 3. What are the differences in the using behavior and perception of the dashboard that provides comparative information depending on the level of achievement goal orientation? 3-1. What are the differences in the access behavior to the dashboard that provides comparative information depending on the level of achievement goal orientation? 3-2. What are the differences in the selection behavior for the comparative information provided by the dashboard depending on the level of achievement goal orientation? 3-3. What are the differences in the perception of the comparison information (comparison target, comparison contents) provided by the dashboard depending on the level of achievement goal orientation? 3-4. What are the differences in the overall perception (usefulness perception, effect perception) of the dashboard that provides comparative information depending on the level of achievement goal orientation? To explore the research questions, the experiment was conducted for about nine weeks using dashboard that provides various comparative information (Lim, Eur, Han, & Lim, 2020). It was conducted in the following process. First, a survey was conducted to measure achievement goal orientation before using the dashboard. Second, the log data was collected during the period of using the dashboard. Third, a survey was conducted regarding the perceptions about dashboard with comparative information. A total of 56 college students participated in this experiment, and the number of participants who responded to the survey after using the dashboard was 42. The key findings of this study and the conclusions derived from them are as follows: First, as a result of analyzing the using behavior of the dashboard, learners used the tool with interest when the dashboard containing comparative information was provided in the context of online learning. In addition, it was also found that learners repeatedly check not only their information but also that of other learners in the process of using the dashboard. They checked the information of other individual learners the most among the various comparative information provided by the dashboard. These results suggest that learners can actually use the dashboard to check their learning if the learning process and learning result information is provided in the form of a dashboard. Therefore, it is necessary to actively consider providing a dashboard, with various comparative information, for learners in the online learning situation so that they can check various aspects of their learning through the dashboard. Second, as a result of analyzing the perception of the comparative information provided by the dashboard, learners perceived that my information and the other individual learner’s information as useful in terms of comparison targets. Regarding the comparison content, learners perceived that the information which occupies a large percentage of the final grade was useful. In the analysis of the overall perception of the dashboard that provides comparative information, it was confirmed that learners perceived it as useful and effective for online learning. These results show that learners can analyze and utilize information provided on the dashboard in various ways. Therefore, it is necessary to provide various comparative information through the learner dashboard so that observational learning can be performed. It is also suggested that learners should be supported to avoid opposite effect caused by the focusing only on learning outcome information such as test scores. Third, as a result of analyzing the using behavior of the dashboard according to the achievement goal orientation, the differences based on the level of mastery approach goal orientation in terms of the access behavior, and the differences based on the level of mastery approach and mastery avoidance goal orientation in terms of the selection behavior was seen. Conversely, as a result of the dashboard perception, there was a difference in the comparative information recognized as useful according to the level of performance approach and performance avoidance goal. In terms of effect perception, it was found that the percentage of learners who perceived the dashboard was effective was higher in every each group with high achievement goal orientation level. These results show that there is a difference in the using behavior or perception of using the learner dashboard including comparative information according to the individual characteristics of learners. Therefore, it is suggested that future research explore the using behavior and perception regarding the learner dashboard according to the various characteristics of learners along with the achievement goal orientation, and to provide personalized dashboards accordingly. The limitations of this study are as follows: First, the dashboard contains only the information from the students who agreed to participate in the experiment, not from all the students in the class. Therefore, it will be necessary to explore the using behavior and perception of using the learner dashboard with more accurate information by including the data from all students in the course. Second, due to technical limitations, there were inconveniences in using the dashboard and the problem of providing additional information. Learners had to access the dashboard through a separate link created on the cyber campus, and the dashboard used in this study had a limitation in that the server speed slowed down when there was a large amount of data or many people access it simultaneously. In addition, there was information provided by the cyber campus itself, so even if the dashboard was not used, some learning information could be obtained through the cyber campus. Therefore, it will be necessary to improve the accessibility and ease of use of the dashboard, and to conduct an experiment in a situation where learning information can not be referenced other than the dashboard. Third, the experiment was conducted only in one class at one university, so the diversity of participants was limited. As a result, it was found that the achievement goal orientation selected as an individual characteristic variable was generally high among all the participants. Therefore, it was difficult to discuss specific implications about designing or utilizing learner dashboard according to the achievement goal orientation level. Therefore, it will be necessary to conduct experiments with more diverse research participants.