View : 1197 Download: 0

학습자 성찰 도구로써 대시보드 개발을 위한 사용성 검사 연구

Title
학습자 성찰 도구로써 대시보드 개발을 위한 사용성 검사 연구
Other Titles
A Usability test on Learning Alanlytics Dashboard(LAD)
Authors
하건희
Issue Date
2015
Department/Major
대학원 교육공학과
Publisher
이화여자대학교 대학원
Degree
Master
Advisors
조일현
Abstract
온라인 학습 환경의 발달에 따라 학습관리시스템(Learning Management System: LMS)의 중요성과 더불어 교육적데이터마이닝(Educational Data Mining: EDM)에 대한 조망이 이루어지고 있다. LMS는 온라인 학습 환경에서 효율적인 학습 환경 구축을 돕는 한편, 시스템을 사용한 학습자의 방대한 행동 데이터를 축적하는 보관소이기도 하기 때문이다(Zaiane & Luo, 2001). 학습분석학(Learning Analytics)은 그러한 LMS 상에 축적된 학습자 데이터를 바탕으로, 학습자의 행동을 예측하고 더 나은 성취 향상을 위한 처방안으로 활용하는 데 궁극적인 목적을 가지고 있다. 학습행동 데이터를 관찰, 분석하는 EDM에서 한 발 더 나아가, 그것을 교수설계적 관점에서 활용하는 것이다. 학습행동 데이터를 교수설계적 관점에서 학습 처방안으로 적용하는 데는 여러 가지 방안이 있지만, 일반적으로 많이 활용되는 것은 대시보드다. 학습분석학은 교수자와 학습자 간 물리적, 시간적 거리가 상대적으로 먼 온라인 학습 환경을 효율적으로 관리하기 위해 데이터에 의존하게 되는데, 바로 그러한 데이터를 시각적 처방의 형태로 학습자에게 제공하는 것이다. 한 화면 안에 유의미한 정보를 전략적으로 구성 및 배치하여 학습자로 하여금 심리적 지각을 일으키고, 더 나아가 학습 행동의 변화를 통해 더 나은 학업 성취를 이룰 수 있도록 돕는 것이 바로 이러한 학습분석학적 대시보드의 주안점이라 할 수 있다(Pistilli & Arnold, 2010; Singer, 2011). 그러나 이러한 학습분석학적 대시보드가 학습처방안으로 활약하기 위해서는, 교수설계 절차처럼 사전 분석, 전략 수립, 디자인 설계, 개발, 적용, 이후 평가에 이르기까지 여러 단계의 절차가 필요하다. 특히 학습분석학적 대시보드는 시각적 처방에 기반하므로 학습자에게 ‘무엇’을 ‘어떻게’ 보여줄 지에 대한 이론적이고 실제적인 고려가 필요하다(Katrien, Erik, Joris, Sten & José, 2013). 이에 본 연구에서는 아이트래킹 분석기법을 활용하여 대시보드에 대한 사용성 검사를 실시하고자 한다. 여러 선행연구 결과들을 토대로, 실제 설계된 학습분석학적 대시보드(Learning Analytics Dashboard: LAD)가 최초의 설계 의도를 만족하는지, 또한 학습처방안으로 활용되기 위해서는 어떤 수정 및 보완을 거쳐야 할지 알아보기 위해 일종의 형성평가를 실시하는 것이다. 기존의 사용성 검사의 경우 학습자들의 자기보고식 설문에 많이 의존하였으나 본 연구에서 시행될 사용성 검사는 아이트래킹 분석기법을 활용하여, LAD를 탐색하는 학습자들의 시각 움직임을 세밀한 수준까지 탐색하고자 하였다. 구체적인 연구목적은 LAD를 탐색하는 학습자들의 시각 움직임에 대해 탐색하고, 이것이 LAD의 이해 수준에 어떠한 영향을 미치는지 분석하여 LAD의 수정 및 보완에 대한 시사점을 도출해내는 것이다. 따라서 본 연구의 연구 문제는 다음과 같이 설정하였다. 첫째, 학습자가 LAD를 구성하는 각 요소들을 관찰한 빈도 간에 유의한 차이가 있는가? 둘째, 학습자가 LAD를 구성하는 각 요소들을 관찰한 지속시간 간에 유의한 차이가 있는가? 셋째, 학습자가 각 요소들을 관찰한 빈도와 지속시간이 학습자의 이해 수준에 유의한 영향을 미치는가? 실제 실험을 위해서는 서울 소재의 E 대학교 학부생 27명이 피험자로 선정되어 아이트래킹 실험과 이해도 테스트를 실시하였다. 총 두 차례에 걸쳐 이루어진 실험에 따라 수집된 시각 움직임 데이터와 이해도 테스트 점수는 SPSS 18.0을 통해 통계적으로 분석되었다. 첫 번째 연구 문제를 위해 LAD의 각 요소에 대한 학습자들의 시각 움직임 데이터를 반복측정하여 그들 간에 유의한 차이가 있는지 알아보았으며 그렇게 해서 발견된 유의한 차이가 실제 이해도 테스트 점수에 영향을 미치는지 알아보기 위해 중다회귀분석을 실시하였다. 또한 실험 결과의 심도 깊은 해석을 위해 피험자들을 대상으로 추가적인 인터뷰 역시 실시하였다. 연구 결과, 학습자들은 LAD를 이루고 있는 각 요소들에 대해 서로 다른 관찰 빈도와 관찰 지속시간을 보였음이 확인되었다. 즉 학습자들은 서로 다른 심리적 구인, 예컨대 목적과 필요에 따라 LAD를 관찰한다는 것을 알 수 있었다. 또한 해당 요소들을 Text 파트와 Graph 파트로 구분하였을 때, 학습자들은 Text 파트를 자주, 오래 보았을수록 이해도 테스트 점수를 높게 받았다. Graph 파트는 오히려 자주, 오래 보았을수록 이해도 테스트 점수를 낮게 받았는데 이는 학습자들의 시각화 정보 이해 수준에 따라 LAD의 사용성이 달라질 수 있음을 의미한다. 일반적으로 대시보드를 설계할 때 많은 정보를 효율적으로 제공하기 위해 시각적 처방이 중요시 되지만, 학습자들의 시각화 정보 이해 수준이 낮다면 텍스트를 보다 전략적으로 활용할 필요가 있는 것이다. 인터뷰를 통해서도, 학습자들이 실제 LAD를 이해하고 보다 자신에게 필요한 정보를 수집하기 위해 도움말이나 Tip, 생각해볼 문제 등에 많이 의지했다는 답변을 얻을 수 있었다. 본 연구자는 이러한 연구 결과를 통해 정보의 시각화에 대한 학습자들의 서로 다른 인지 수준과, 그러한 인지 수준이 LAD의 사용성에 미치는 영향에 대해 탐구할 수 있었다. 이는 시각화 정보를 잘 이해하는 학습자와 그렇지 않은 학습자 간 차이를 확인하고 양쪽 모두를 고려하여 LAD를 수정 및 보완하는 후속 연구에 대한 단서가 된다. 따라서 본 연구자는 설계자의 시각적 처방과 학습자의 시각화 정보 이해 수준이 실질적인 학습처방적 효과에 미치는 영향을 검토하는 방향으로 추가 사용성 검사를 실시할 필요가 있음을 제언한다.;Learning Management System (LMS) has been focused with the development of online learning environment and which accelerates the importance of Educational Data Mining (EDM). That is because LMS saves students’ every single online learning behavior as a form of log data and helps to build effective online learning environment(Zaiane & Luo, 2001). Learning analytics has an ultimate goal to suggest learning intervention for students to achieve the better learning performance with monitoring, analyzing online behaviors and predicting learning outcomes before the learning is ended. There are several ways, but to apply the learning behavior data on learning intervention, dashboard is usually used. Learning analytics mainly relies on students’ data to overcome the physical distance between students and instructors and to efficiently manage the learning process. To provide such data to the learner, the form of a visual prescription is used in the dashboard which configures and deploys information strategically in one screen, resulting in causing psychological perception for learners to achieve better academic performance with changes in behavior (Pistilli & Arnold, 2010; Singer, 2011). However, for this learning analytics dashboard prescription, preliminary analysis as instructional design process, design research, development and application are needed. In particular, learning analytics dashboard is based on visual prescription so that the theoretical and practical considerations of 'how' and 'what' to show should be considered (Katrien, Erik, Joris, Sten & José, 2013). The purpose of this study is to conduct usability test on Learning Analytics Dashboard using Eye-tracking analysis techniques. Based on a number of previous studies, the designed dashboard is tested for whether it meets the original design intent or not. The experiment also means a formative assessment to determine how to modify. Traditional usability tests rely heavily on self-reported survey, but this usability test has an advantage of that the data is based on practical and real behavior by learners. Therefore, the research questions answered in this study are set as follows. First, is there a significant difference among the frequency of eye-fixation on the elements of LAD? Second, is there a significant difference among the duration of eye-fixation on the elements of LAD? Third, does the difference among those frequency and duration have a significant impact on the level of understanding score by learners? For the experiment, 27 students are selected by E University in Seoul. They participated in eye-tracking experiment and after that; simple test was conducted to know how much they understand the content of LAD. Repeated measure of MANOVA and multiple regression analysis are used in SPSS 18.0. In addition, additional interviews with the subjects proceeded for in-depth analysis of the experimental results. As a result, it was confirmed that frequency and duration to the elements on LAD are almost different which means that students distinguished seeing LAD in accordance with the objective by designer. Moreover, when the element is distinguished into the text part and the graph part, learners who saw the text Part longer got higher the understanding test score, which means that the usability of the LAD may vary depending on the level of understanding of the learners’ visual literacy to the graph information. In general, designing dashboard needs visualization because there are too many information to show learners in one display. Visualization is the effective and efficient way to provide a lot of information, but this result says that the understanding levels of the learner should be considered necessarily to make learning intervention works. That is because someone who has the low visual literacy couldn’t’t get what he or she to know from LAD. Besides, through interviews, those learners were able to get a lot of answers because they relied on text part and then understood. Thus, the researcher was able to know that the level of visual literacy affects the usability of the LAD. It could be the evidence that the differences between learners whether they are easily to understand the visualization of information or not, should be took into account for modifying and supplementing the LAD. That is why a follow-up study is needed which is about the actual correlation between the visual literacy and students’ understanding visualized information that eventually determines learning intervention effect through Dashboard.
Fulltext
Show the fulltext
Appears in Collections:
일반대학원 > 교육공학과 > Theses_Master
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

BROWSE