상호작용적 SNA 대시보드에 대한 학습자의 사용 행동과 인식 탐색

Abstract

최근 몇 년 동안 교육 및 학습 환경은 혁신적인 변화를 겪고 있다. 디지털 기술과 온라인 교육 플랫폼의 발전으로 수집할 수 있는 학습 데이터의 양이 급격하게 증가하면서 이를 효과적으로 활용하는 방법과 도구에 대한 필요성이 강조되고 있다. 대시보드(dashboard)는 특정 목표를 달성하기 위해 핵심 정보를 시각화하여 한 화면에 제시하는 도구로(Few & Perceptual Edge, 2007), 교육 맥락에서 대시보드는 학습 진행 상황과 성과를 시각화하여 학습을 개선할 수 있도록 지원한다. 대시보드는 제공하고자 하는 정보에 적합한 시각화 기법을 사용하여 사용자가 정보를 빠르고 정확하게 파악할 수 있도록 설계되어야 한다. 그중 사회연결망 분석(Social Network Analysis, SNA)은 상호작용의 구조적 패턴을 시각화하는 데 효과적인 시각화 기법이다. 학습 대시보드에서 SNA는 학습 과정에서 발생하는 다양한 상호작용 정보를 노드(node)와 링크(link)로 나타내어 직관적으로 전달한다. 그러나 학습자들은 SNA에 익숙하지 않아 이를 이해하기 어려워하는 경향이 있다(Börner et al., 2016). 또한 선행 연구에서는 SNA 대시보드의 과도한 정보 제시로 인해 학습자들이 인지적 부담을 느끼거나 해석에 어려움을 겪은 것으로 나타났다(임규연 외, 2020). 따라서 다양한 학습 정보를 한 화면에 효과적으로 나타내기 위해서는 학습자가 원하는 데이터를 직접 선택 및 조작하여 개인의 요구에 맞게 사용할 수 있도록 대시보드의 상호작용성(interactivity)을 높여야 한다(Alhamadi et al., 2022). 상호작용성은 사용자가 미디어 환경의 내용과 형식을 실시간으로 조절하고 통제할 수 있는 정도를 나타내는 개념이다(Jensen, 1998; Steuer, 1992). 대시보드에서 상호작용적 기능은 학습자의 요구에 따라 동적으로 반응하며 맞춤형 정보를 제공함으로써 학습자가 자신의 학습 상황을 인지하고 성찰하여 학습을 개선할 수 있도록 돕는다. 이러한 기능은 학습자가 대시보드에 나타난 데이터를 보다 심층적으로 이해하고 활용할 수 있는 환경을 제공한다. 이에 본 연구에서는 선행 연구에서 제안한 상호작용적 기능이 구현된 SNA 대시보드를 개발하여 학습자의 사용 행동과 인식을 탐색하였다. 이때 복잡한 학습 데이터를 해석하고 활용하기 위한 학습자의 데이터 시각화 리터러시 역량이 강조되고 있음을 고려하여, 학습자의 데이터 시각화 리터러시 수준에 따라 대시보드의 사용 행동과 인식에 어떠한 차이가 있는지를 함께 분석하였다. 이러한 목적을 달성하기 위해 도출한 연구 문제는 다음과 같다. 1. 상호작용적 SNA 대시보드에 대한 학습자의 사용 행동은 어떠한가? 2. 상호작용적 SNA 대시보드에 대한 학습자의 인식(교육적 유용성, 인터페이스 사용성, 시각적 매력성, 지각된 작업부하)은 어떠한가? 3. 상호작용적 SNA 대시보드에 대한 사용 행동과 인식은 학습자의 데이터 시각화 리터러시에 따라 차이가 있는가? 3-1. 대시보드가 제공하는 상호작용적 기능에 대한 사용 행동은 데이터 시각화 리터러시에 따라 차이가 있는가? 3-2. 상호작용적 SNA 대시보드에 대한 학습자의 인식(교육적 유용성, 인터페이스 사용성, 시각적 매력성, 지각된 작업부하)은 데이터 시각화 리터러시에 따라 차이가 있는가? 연구 문제에 대한 답을 얻기 위하여 본 연구는 학습 상황에서 발생하는 다양한 상호작용 정보를 나타내는 임규연 외(2020)의 대시보드를 기반으로 상호작용적 SNA 대시보드를 개발하였다. 개발된 대시보드는 학습 과정에서 발생하는 수업자료-학생, 학생-학생, 교수-학생 간의 상호작용을 SNA 기법을 통해 시각화한다. 또한 필터링, 강조, 시각화 방식 전환, 추출, 변형, 검색, 확대 및 축소의 상호작용적 기능을 제공하여 학습자들이 원하는 정보를 직접 선택할 수 있도록 설계되었다. 위와 같이 설계된 대시보드를 서울 소재 A 여자대학교 재학생에게 제공하여 총 37명의 데이터를 수집 및 분석하였다. 대시보드 사용 전에는 대시보드와 SNA의 핵심 개념과 상호작용적 SNA 대시보드의 사용 방법에 대해 안내하였으며, 객관식 문항으로 이루어진 평가지를 제공하여 학습자의 데이터 시각화 리터러시를 측정하였다. 이후 가상 강의계획서와 시나리오를 제공하여 학습자가 대시보드 사용에 더욱 몰입할 수 있도록 하였다. 학습자가 상호작용적 SNA 대시보드를 사용하는 동안에는 로그데이터를 자동으로 수집하였으며, 사용 후에는 교육적 유용성, 인터페이스 사용성, 시각적 매력성, 지각된 작업부하에 대한 설문을 실시하였다. 대시보드에 대한 학습자의 사용 행동과 인식을 알아보기 위하여 대시보드에 기록된 학습자의 로그데이터 분석과 설문조사에 대한 기술통계 분석을 실시하였다. 또한 학습자의 데이터 시각화 리터러시에 따른 차이를 확인하기 위해 데이터 시각화 리터러시 상위 30%와 하위 30% 학습자를 추출하여 두 집단으로 구분하였다. 이후 Levene의 검정을 통해 두 집단 간의 분산 차이를 확인한 뒤, 사용 행동과 인식에 대한 독립표본 t 검정을 실시하여 집단 간의 차이를 분석하였다. 본 연구 결과와 이를 바탕으로 도출한 결론 및 시사점은 다음과 같다. 첫째, 대시보드에 대한 사용 행동 분석 결과 학습자 대부분은 대시보드에 관심을 가지고 적극적으로 활용하였다. 이때 학습자는 대시보드가 제공하는 다양한 상호작용적 기능 중 필터링 기능에 해당하는 주차 설정 기능을 가장 빈번하게 활용하였다. SNA를 데이터 표, 막대그래프, 원그래프로 바꾸어 데이터를 다양한 관점에서 살펴볼 수 있도록 하는 시각화 방식 전환 기능 또한 활발하게 사용한 것으로 나타났다. 이를 통해 학습자들이 학습 데이터를 세부적으로 분석하고 이해하기 위해 대시보드의 다양한 상호작용적 기능을 적극적으로 활용하였음을 확인하였다. 따라서 대시보드 설계 시 학습자들이 자신의 학습을 다양한 관점에서 탐색하고 이해할 수 있도록 상호작용적 기능을 구현해야 할 필요가 있다. 둘째, 대시보드에 대한 인식 분석 결과 학습자들이 대시보드의 교육적 유용성, 인터페이스 사용성, 시각적 매력성에 대해 긍정적으로 인식하고 있음을 확인하였다. 지각된 작업부하 또한 일반적인 수준 이하로 나타났다. 이러한 연구 결과는 학습자들이 대시보드를 통해 다양한 상호작용 정보를 분석하고 활용할 수 있음을 보여준다. 특히 대시보드의 상호작용성을 높임으로써 학습자들의 사용자 경험을 개선할 수 있음을 시사한다. 셋째, 데이터 시각화 리터러시에 따른 학습자의 사용 행동과 인식 차이를 분석한 결과 두 집단 간의 차이가 통계적으로 유의하지 않았다. 이는 상호작용적 SNA 대시보드가 다양한 데이터 시각화 리터러시 수준의 학습자에게 데이터를 효과적으로 전달할 수 있음을 나타낸다. 평균 차이와 산점도 시각화를 통해 자세한 경향을 파악해 본 결과, 데이터 시각화 리터러시가 낮은 학습자는 추출, 변형과 같은 낮은 수준의 상호작용 기능을 빈번하게 사용했으나 데이터 시각화 리터러시가 높은 학습자는 필터링, 강조, 시각화 기법 전환과 같이 상대적으로 더 복잡한 상호작용적 기능을 활용하여 데이터를 탐색하는 경향을 보였다. 또한 데이터 시각화 리터러시가 낮은 학습자들이 대시보드를 더 유용하다고 인식한 것이 확인되었다. 이러한 결과는 높은 리터러시의 학습자에게는 심층적인 데이터 분석 및 탐색 기회를 제공하고, 낮은 리터러시의 학습자에게는 학습 데이터를 보다 쉽게 이해하고 활용할 수 있는 상호작용적 기능을 제공해야 할 필요성을 시사한다. 본 연구의 제한점과 후속 연구에 대한 제언은 다음과 같다. 첫째, 본 연구는 서울에 소재한 A 여자대학교 재학생들을 대상으로 진행되어 결과를 모든 대학생으로 일반화하기 어렵다. 실제로 본 연구 참여자들의 데이터 시각화 리터러시는 전반적으로 높게 나타났으며 표준편차가 크지 않았다. 따라서 후속 연구에서는 성별, 지역 및 기타 다양한 변수를 고려하여 연구 대상의 다양성을 확보하고 대시보드 설계 및 개발에 대한 시사점을 도출할 필요가 있다. 둘째, 본 연구에서 개발한 대시보드는 웹 페이지에 통합되지 않고 분리되었으며, 실제 학습 맥락에서 사용되지 않아 가상 데이터를 기반으로 하였다. 향후 연구에서는 대시보드를 학습 환경에 통합하여 실제 학습 맥락에서 대시보드에 대한 학습자의 사용 행동과 인식을 분석할 필요가 있다. 셋째, 본 연구에서 학습자들은 20분이라는 제한된 시간 동안 대시보드를 사용하였으므로 대시보드의 모든 기능을 충분히 이해하고 경험하는 데 어려움이 있을 수 있다. 따라서 후속 연구에서는 대시보드를 지속적으로 사용할 수 있는 환경을 조성하여 대시보드에 대한 사용 행동과 인식을 보다 심층적으로 파악할 필요가 있다.;The learning environment has been undergoing revolutionary changes in recent years. As the amount of learning data increases rapidly due to the development of digital technology and online education platforms, the need for methods and tools to utilize it effectively is emphasized. A dashboard is a tool that visualizes essential information and presents it on one screen to achieve a specific goal (Few & Perceptual Edge, 2007). In the educational context, dashboards help improve learning by visualizing learning progress and performance. Dashboards should be designed using visualization techniques appropriate for the information to be provided so that users can understand the information accurately and quickly. Among them, Social Network Analysis(SNA) is an effective visualization technique for visualizing structural patterns of interaction. On the learning dashboard, SNA displays various interaction information during the learning process as nodes and links to deliver it intuitively. However, because SNA is a visualization technique unfamiliar to learners, it tends to be difficult to understand(Börner et al., 2016), and they tend to feel burdened by excessive information or have difficulty interpreting it(Lim et al., 2020). Therefore, to effectively display various learning information on one screen, a dashboard with interactive functions is needed so that learners can directly select and manipulate the data they want and use it to suit their individual needs(Alhamadi et al., 2022). Interactivity is a concept that represents the degree to which users can adjust and control the content and format of the media environment in real time (Jensen, 1998; Steuer, 1992). The interactive features on the dashboard dynamically respond to the learner's needs and provide customized information to help learners recognize and reflect on their learning situation and improve their learning. These features provide an condition where learners can more deeply understand and utilize the data displayed on the dashboard. Accordingly, this study developed an interactive SNA dashboard by considering the interactive functions proposed in previous research and explored learners' usage behavior and perception. In addition, as learners' data visualization literacy capabilities to interpret and utilize complex learning data are being emphasized, this study analyzed whether there are any differences in dashboard usage behavior and perception depending on the learner's data visualization literacy level. The research questions derived to achieve this purpose are as follows: 1. What is the usage behavior of the interactive SNA dashboard? 2. What are perceptions of the interactive SNA dashboard(educational usefulness, interface usability, visual attractiveness, perceived workload)? 3. Do the usage behavior and perception of the interactive SNA dashboard differ depending on the data visualization literacy? 3-1. Does the usage behavior of the interactive functions provided by dashboards differ depending on data visualization literacy? 3-2. Do perceptions of interactive SNA dashboards(educational usefulness, interface usability, visual attractiveness, perceived workload) differ depending on data visualization literacy? To answer the research question, an interactive SNA dashboard was developed based on SNA dashboard by Lim et al.(2020), which displays various interaction information occurring in learning situations. The dashboard developed in this study visualizes the interactions between class materials-students, students-students, and instructor-students that occur during the learning process through SNA. In addition, interactive functions such as filtering, highlighting, switching visualization modes, extracting, transforming, searching, and enlarging and reducing allow learners to select the information they want directly. An experiment was conducted by providing the dashboard designed above to students at Women's University in Seoul, and data from 37 students were analyzed. Before using the dashboard, guidance was given on the core concepts of the dashboard and SNA and how to use the interactive SNA dashboard, and an evaluation form consisting of multiple choice questions was provided to measure the learner's data visualization literacy. Afterward, a virtual syllabus and scenarios were provided so learners could use the dashboard more immersively. After using the interactive SNA dashboard for 20 minutes, learners' perceptions of the dashboard were measured by surveying educational usefulness, interface usability, visual attractiveness, and perceived workload. To find out usage behavior and perception of the dashboard, the learners' log data recorded on the dashboard was analyzed, and descriptive statistical analysis of the survey was conducted. Additionally, to determine differences in learners' data visualization literacy, learners in the top 30% and bottom 30% of data visualization literacy were extracted and divided into two groups. After confirming the difference in variance between the two groups through Levene's test, the difference was analyzed by conducting a t-test for independent samples on usage behavior and perception. The results and implications derived through this study are as follows. First, as a result of the analysis of dashboard usage behavior, learners actively used the dashboard for a limited time. Learners most frequently used the parking setting function, corresponding to the filtering function. The switching visualization modes, which converts learning data expressed in SNA into data tables and graphs, was also actively used, and learners attempted to analyze and understand the data in detail through interactive functions. Second, as a result of analyzing the perception of the dashboard, it was confirmed that learners generally had a positive perception of the dashboard's educational usefulness, interface usability, and visual appeal. Perceived workload was found to be a moderate level of burden regarding mental demands and effort, and it is necessary to identify what aspects of difficulty were felt through user feedback such as surveys and interviews. Third, as a result of analyzing the differences in dashboard usage behavior and perception according to data visualization literacy, the difference between the two groups was not statistically significant. As a result of identifying trends through mean and scatter plot, learners with low data visualization literacy mainly use simple interaction functions such as extraction and transformation. In contrast, learners with high data visualization literacy tend to use relative functions such as filtering, highlighting, and switching visualization techniques. There was a tendency to explore data using more complex interactive functions. Additionally, it was confirmed that learners with low data visualization literacy found the dashboard more useful. Based on these results, this study confirmed that data can be effectively delivered to learners with various data visualization literacy levels by providing a dashboard with interactive functions. In addition, it is necessary to provide opportunities for deeper data analysis and exploration for learners with high literacy and to make it easier for learners with low literacy to understand and utilize functions. The limitations of this study and suggestions for follow-up study are as follows. First, this study targeted students at Women's University in Seoul, so it is difficult to generalize the results to all university students. The data visualization literacy of the participants in this study was overall high, and the standard deviation was not significant. Therefore, in follow-up research, it is necessary to secure the diversity of research subjects by considering gender, region, and various other variables and to derive implications for dashboard design and development. Second, the dashboard in this study was separated rather than integrated into the web page and was not used in an actual learning context, so it was based on virtual data. Future research needs to integrate dashboards into learning environments and analyze learners' usage behavior and perceptions of dashboards in authentic learning contexts. Third, the learners in this study may have limited understanding and experience of all the dashboard functions by using it for 20 minutes. Therefore, dashboards need to be used over a more extended period to gain a more in-depth understanding of usage behavior and perception of dashboards.