Effectiveness of a Learning Analytics Dashboard for Undergraduate Physical Therapy Program at a Philippine University

Abstract

A learning analytics dashboard is a central interface, typically available to learners and educators, facilitating the interpretation and understanding of learning analytics outcomes. Unlike other learning analytics methodologies emphasizing automated data processing—such as intelligent tutoring and recommender systems— a learning analytics dashboard systematically evaluates program learning outcomes and provides feedback to help improve students' learning strategies. Allowing students to view and comprehend their status from such applications empowers them more in their learning process. It empowers users to compile and reflect upon personal data spanning various life facets, including behavior, habits, thoughts, and pursuits, thus facilitating deeper self-awareness through retrospective analysis. While research on learning analytics and dashboards is not entirely new, a previous review highlighted the limitations of past studies about it. Notably, these past studies primarily had issues with the generalizability of results, highlighting the need for individual institutions to design and develop their learning analytics frameworks. In addition, a review of the current literature has unveiled a limited scope of learning analytics studies within the Philippine context. Nevertheless, studies conducted in the country indicate that the implementation of analytics can enhance learners' motivation, adaptability, and overall academic achievement and emphasize the need for educational institutions to develop and implement learning analytics strategies that align with their overall vision and goals. This involves a process of conceptualizing, refining, and validating these approaches to ensure their effectiveness in enhancing student learning outcomes. With these gaps, this study aims to develop and test a prototype learning analytic dashboard called Outcomes Insight, and to determine its effectiveness on the learning and study strategies of selected university students from the Philippines. Specifically, the study aims to answer the following research questions sequentially: (1) Predictive Model Development and Accuracy Testing: How valid is the developed predictive model in assessing program outcomes?; (2) Dashboard Development and Expert Acceptability: How do domain experts perceive and accept the crafted learning analytics dashboard for program outcomes?; (3) Student (User) Acceptability: How do users perceive and accept the crafted learning analytics dashboard for program outcomes?; and (4) Dashboard Impact: How does using the learning analytics dashboard influence students' learning methodologies and study strategies? Please be guided that the selected university currently utilizes a learning management system that can perform course-level outcomes assessment, not program outcome assessment per year level. The research was reviewed and approved by the Ethics Review Board of the University of Santo Tomas, College of Rehabilitation Sciences (Reference: FI-2022-051, Version 2), situated in Manila, Philippines. This research study was conducted in four sequential phases using a quantitative iterative design-based research. In phase 1 (Predictive Model Development and Accuracy testing), predictive models were developed using structural equation modeling and artificial neural network analysis (SEM-ANN) and the curriculum map of the selected undergraduate physical therapy program on the final grades of 399 physical therapy students from the past four cohorts of University of Santo Tomas. SEM-ANN refers to a dual-stage approach of determining and testing causal relationships between variables through SEM and using more advanced big data algorithms for prediction through ANN to create more accurate models for various analytics in areas like business and education. SEM and ANN were conducted using Mplus and Google Colab, respectively. In addition, the best model per program outcome for SEM-ANN was based on the available thresholds for accuracy metrics from previous literature. In phase 2 (Dashboard development and Expert Acceptability), Outcomes Insight was developed using the predictive models and evaluated by three education experts using a tool for learning analytic dashboards. The development focus was crafting and actualizing the dashboard blueprint by coding JavaScript in the Wix platform. The development also included the design of the dashboard pages and the creation of personalized feedback for the users. The acceptability testing among experts involved gathering quantitative and qualitative feedback that was reviewed and considered for the final revision of the dashboard. In phases 3 and 4 (Student (User) Acceptability and Dashboard impact), the acceptability and effects of the dashboard on the learning and study strategies of 28 second-year physical therapy students were tested. The Learning and Study Strategies Inventory was administered to the students at the start of the semester. They were then provided with students access to the learning analytics dashboard and asked to answer the evaluation tool for the learning analytics dashboard. After one month the Learning and Study Strategies Inventory was administered again to the students for post-test. Data from phases 3 and 4 were analyzed using descriptive and inferential statistics using jamovi. For phase 1, relevant courses for predicting the 13 program outcomes of the selected undergraduate physical therapy program were identified with significant coefficients and acceptable fit metrics in SEM-ANN (CFI & TLI>0.90, RMSEA & SRMR<0.08, MAE & MSE=0.071-0.418). The results showed that professional courses such as Introduction to Physical Therapy Lecture and Laboratory, Anatomy Lecture and Laboratory, and Physical Modalities Lecture and Laboratory were more significant in the final model than general courses, including Physical Education, Theology, Arts Appreciation, and Literature for all Year 1 and Year 2 program outcomes. For phase 2, the developed prototype included three distinct but related pages: input, results, and feedback pages. Experts that the dashboard includes relevant elements and a structure that is visually appealing, accessible, and easy to use. The experts have recommended the addition of hyperlinks to the recommended website resources, a disclaimer stating that the study results are based solely on the assessment and that the student's actual proficiency level will be determined by their class performance, an explanation of the proficiency levels, and an additional guide to help students better utilize the dashboard. With these recommendations, the following were incorporated into the dashboard: a summary page of suggested recourses, an about page, a guide for users page, and a disclaimer about the interpretation of results in the results page. For Phase 3, most students strongly agreed that the dashboard is easy to access with an intuitive interface and menus, helps them monitor their goal-related activities and learning process, and delivers concise, direct, and clear information. In terms of qualitative feedback, most students have described the dashboard as easy to use and accessible. Others have highlighted that they had a great experience accessing the dashboard, giving them a good impression and motivating them to have a growth mindset, helping them reflect on their learning goals and processes. In terms of recommendations for improvement, students have suggested the following: (1) the addition of an option to save the results page for future use; (2) improvement of the overall design of the dashboard; and (3) reduction of delay from input page to results page. For Phase 4, the analysis revealed the use of the dashboard resulted in significant changes and large effect sizes on the overall habits of professionals (p=0.013; Cohen’s d=0.659), learning (p<0.001; Cohen’s d=0.766), and mind (p<0.001; Cohen’s d=0.809) of students. However, it is important to note that analysis of each subscale did not all reveal significant differences. For the habits of professionals, only the subscales on attitude (p=0.023; Cohen’s d=0.520) and motivation (p=0.020; Cohen’s d=0.521) had significant differences and moderate effect sizes. For habits of learning, only the subscales on selecting main ideas (p=0.049; Cohen’s d=0.470) and using academic resources (p<0.001; Cohen’s d=0.881) resulted in significant differences and moderate to large effect sizes. Lastly, under the habits of mind, only the subscale on anxiety (p=0.002; Cohen’s d=0.750) resulted in significant differences and large effect sizes. In conclusion, the developed and validated Outcomes Insight prototype presents an excellent potential for providing descriptive, predictive, and prescriptive feedback to improve physical therapy students' learning and study strategies. The dashboard contained comprehensive and accurate predictive models with personalized recommendations for students to understand their current status and possible improvement options. The developed dashboard provided opportunities for students to receive customized feedback, constructive strategies, and resources to assist them in improving their performance of learning outcomes. Experts and students praised the dashboard's visual appeal, accessibility, and user-friendliness, as it provided clear and concise information that helped students understand their progress, reflect on their practices, and plan their learning and study habits. The study demonstrated that using Outcomes-Insight enhanced students' motivation to learn, enabled them to identify key concepts, increased their utilization of academic resources, and helped them manage anxiety. To improve the subsequent dashboard versions, experts and students have suggested that the developers and designers address navigation delays, improve color scheme consistency, create a mobile-friendly version, introduce a save option, and consider granting instructors access to the dashboard results. Integrating advanced technology and analytics in the study provides a comprehensive approach for universities to enhance learning outcomes and support systems, ultimately benefiting students, instructors, administrators, and the broader academic community. This research represents a significant advancement in learning analytics and sets the foundation for future innovations that can positively impact the higher education sector.;학습 분석 대시보드는 일반적으로 학습자와 교육자에게 제공되는 중심 인터페이스로서 학습 분석 결과를 해석하고 이해하는 데 도움을 준다. 지능형 튜터링 및 추천 시스템과 같이 자동화된 데이터 처리를 강조하는 다른 학습 분석 방법론과는 달리 학습 분석 대시보드는 프로그램 학습 결과를 체계적으로 평가하고 피드백을 제공하여 학생들의 학습 전략을 개선하는 데 기여한다. 학생들이 이러한 애플리케이션을 통해 자신의 상태를 파악하고 이해할 수 있도록 하는 것은 학습 과정에서 그들을 더 강화시킨다. 사용자가 행동, 습관, 사고, 목표 등 다양한 삶의 측면에 걸친 개인 데이터를 수집하고 성찰할 수 있도록 하여 회고적 분석을 통해 더 깊은 자기 인식을 촉진한다. 학습 분석 및 대시보드에 대한 연구는 새로운 것은 아니지만 이전의 리뷰에서는 이에 관한 과거 연구의 한계가 강조되었다. 특히 이전 연구들은 주로 결과의 일반화 가능성에 문제가 있었으며, 각 기관이 자체적으로 학습 분석 프레임워크를 설계하고 개발해야 하는 필요성을 강조했다. 또한 현재 문헌 조사에서는 필리핀의 맥락에서의 학습 분석 연구의 범위가 제한적으로 나타났다. 그러나 해당 국가에서 실시된 연구들은 분석의 구현이 학습자의 동기부여, 적응성 및 전반적인 학업 성과를 향상시킬 수 있다는 점을 나타내며 교육 기관이 전반적인 비전과 목표에 부합하는 학습 분석 전략을 개발하고 실행해야 한다는 필요성을 강조하고 있다. 이 과정은 학습 결과를 향상시키기 위해 이러한 접근 방식을 개념화, 정제 및 검증하는 과정을 포함한다. 이러한 미진한 부분들을 감안하여 본 연구는 "Outcomes Insight"라는 프로토타입 학습 분석 대시보드를 개발하고 시험하며, 해당 대시보드가 필리핀 대학 학생들의 학습 및 공부 전략에 미치는 효과를 평가하고자 한다. 구체적으로, 본 연구는 다음과 같은 연구 질문에 답하려고 한다: (1) 예측 모델 개발 및 정확도 테스트: 개발된 예측 모델이 프로그램 결과를 평가하는 데 얼마나 타당한가? (2) 대시보드 개발 및 전문가 수용성: 전문가들이 프로그램 결과에 대한 학습 분석 대시보드를 어떻게 인식하고 수용하는가? (3) 학생(사용자) 수용성: 사용자들이 프로그램 결과에 대한 학습 분석 대시보드를 어떻게 인식하고 수용하는가? 및 (4) 대시보드 효과: 학습 분석 대시보드 사용이 학생들의 학습 방법과 공부 전략에 미치는 영향은 어떻게 되는가? 참고로 현재 선택된 대학은 연강 수준의 결과 평가를 수행할 수 있는 학습 관리 시스템을 사용하고 있으며, 연도별 프로그램 결과 평가는 수행하지 않고 있다. 본 연구는 University of Santo Tomas의 College of Rehabilitation Sciences 윤리심사위원회(FI-2022-051, Version-2)의 연구윤리 검토 및 승인이 되었다. 이 연구는 양적 반복 설계 기반 연구를 활용하여 순차적으로 4단계에서 수행되었다. 제1 단계(예측 모델 개발 및 정확도 테스트)에서는 구조 방정식 모델링과 인공 신경망 분석(Structural Equation Modeling-Artificial Neural Network, SEM-ANN)을 사용하여 예측 모델이 개발되었으며, Santo Tomas 대학의 지난 4개 코호트에서 399명의 물리 치료 학생의 최종 성적 및 선택된 학부 물리 치료 프로그램의 교육과정지도도를 기반으로 하였다. SEM-ANN은 SEM을 통한 변수 간의 인과 관계 결정 및 ANN을 통한 더 정확한 예측을 위한 고급 빅데이터 알고리즘이며, 비즈니스 및 교육 분야에서 다양한 분석을 위해 사용되었다. SEM과 ANN은 각각 Mplus 및 Google Colab을 사용하여 수행되었으며, SEM-ANN의 프로그램 결과별 최상의 모델은 이전 문헌에서 정확도 측정에 대한 임계값을 기반으로 선택되었다. 제2 단계(대시보드 개발 및 전문가 수용성)에서는 예측 모델을 사용하여 Outcomes Insight를 개발하고, 학습 분석 대시보드를 위한 도구를 사용하여 교육 전문가 3명이 이를 평가했다. 개발의 중점은 Wix 플랫폼에서 JavaScript를 코딩하여 대시보드 설계도를 실제로 구현하는 데 있었다. 개발에는 대시보드 페이지의 디자인과 사용자에게 제공되는 개인화된 피드백도 포함되었다. 전문가들에게 수용성 테스트는 양적 및 질적 피드백을 수집하고 이를 대시보드의 최종 개정을 위해 검토 및 고려하는 것이다. 제3 및 제4 단계(학생(사용자) 수용성 및 대시보드 영향)에서는 28명의 2학년 물리치료 대학생의 대시보드 수용성 및 영향을 테스트했다. 학기 초에 학습 및 공부 전략 인벤토리를 학생들에게 시행한 후, 그들에게 학습 분석 대시보드에 대한 학생 액세스를 제공하고 학습 분석 대시보드에 대한 평가 도구에 답하도록 했다. 한 달 후에는 학습 및 공부 전략 인벤토리를 다시 실시하여 사후 테스트를 수행했다. 제3 및 제4 단계의 데이터는 jamovi를 사용하여 서술 및 추론 통계를 사용하여 분석되었다. 제1 단계에서는 선택된 물리 치료 학부과정의 13개 프로그램 결과를 예측하기 위해 SEM-ANN에서 중요한 계수와 적절한 적합도(CFI 및 TLI > 0.90, RMSEA 및 SRMR < 0.08, MAE 및 MSE = 0.071-0.418)를 가진 관련 과목을 식별했다. 결과는 물리 치료 강의 및 실험, 해부학 강의 및 실험, 그리고 물리 치료 모달리티 강의 및 실험이 1학년 및 2학년 프로그램 결과에 대한 최종 모델에서 일반적인 과목(체육, 신학, 미술 감상, 문학 등)보다 더 중요하다는 것을 보여주었다. 제2 단계에서는 개발된 프로토타입이 입력, 결과 및 피드백 페이지라는 세 가지 명확한 페이지를 포함했다. 전문가들은 대시보드에 관련된 요소와 시각적으로 매력적이며 접근하기 쉽고 사용하기 쉬운 구조가 포함되어 있다고 평가했다. 전문가들은 권장 사항으로서 권장 웹사이트 자원에 대한 하이퍼링크, 연구 결과가 평가에만 의존하며 학생의 실제 능력은 수업 성적에 의해 결정된다는 진술, 능력 수준에 대한 설명 및 학생들이 대시보드를 더 효과적으로 활용할 수 있도록 도움을 줄 추가 안내서를 권장했다. 이러한 권장 사항을 토대로 대시보드에는 권장 자료 요약 페이지, 소개 페이지, 사용자 가이드 페이지 및 결과 해석에 대한 진술이 포함되었다. 제3 단계에서 대부분의 학생들은 대시보드가 직관적이고 메뉴가 있는 쉬운 인터페이스를 가지며 목표 관련 활동과 학습 프로세스를 모니터링하는 데 도움이 된다고 강력하게 동의했다. 질적 피드백 측면에서 대부분의 학생들은 대시보드를 사용하기 쉽고 접근 가능하다고 설명했다. 다른 학생들은 대시보드에 접근하여 좋은 인상을 주고 성장 마인드를 갖도록 동기를 부여하여 학습목표와 과정을 성찰할 수 있도록 도움을 주는 등 좋은 경험을 했다고 강조했다. 개선을 위한 권장 의견으로는 (1) 결과 페이지 저장 옵션 추가, (2) 대시보드 전체 디자인 개선, 및 (3) 입력 페이지에서 결과 페이지로의 지연 감소가 제시되었다. 제4 단계에서 대시보드 사용은 전문가들의 전반적인 습관(p=0.013; Cohen의 d=0.659), 학습(p<0.001; Cohen의 d=0.766), 그리고 학생들의 정신(p<0.001; Cohen의 d=0.809)에 중요한 변화 및 큰 효과 크기를 보여주었다. 그러나 각 하위 척도의 분석에서 모든 차이가 유의미하지 않음을 주목하는 것이 중요한다. 전문가 습관에 대해서는 태도(p=0.023; Cohen의 d=0.520)와 동기(p=0.020; Cohen의 d=0.521)에 대해서만 유의미한 차이와 중간 효과 크기가 나타났다. 학습 습관에 대해서는 주요 아이디어 선택(p=0.049; Cohen의 d=0.470)과 학술 자원 사용(p<0.001; Cohen의 d=0.881)에 대해서만 유의미한 차이와 중간에서 큰 효과 크기가 나타났다. 마지막으로 정신적 습관에 대해서는 불안(p=0.002; Cohen의 d=0.750)에 대해서만 유의미한 차이와 큰 효과 크기가 나타났다. 결론적으로 개발 및 검증된 Outcomes Insight 프로토타입은 물리치료 학생들의 학습 및 공부 전략을 개선하기 위한 우수한 잠재력을 제시한다. 대시보드에는 학생들이 현재 상태와 개선 옵션을 이해하기 위한 맞춤형 추천과 함께 포괄적이고 정확한 예측 모델이 포함되어 있다. 개발된 대시보드는 학생들이 학습 결과의 성과를 향상시키기 위해 맞춤형 피드백, 건설적 전략 및 리소스를 받을 수 있는 기회를 제공했다. 전문가들과 학생들은 대시보드의 시각적 매력, 접근성 및 사용자 친화성을 칭찬했다. 왜냐하면 이것이 학생들이 진행 상황을 이해하고 자신의 실천을 되돌아보며 학습 및 공부 습관을 계획하는 데 도움이 되는 명확하고 간결한 정보를 제공했기 때문이다. 이 연구는 Outcomes-Insight 사용이 학생들의 학습 동기를 향상시키고 핵심 개념을 식별하며 학술 자원 활용을 증가시키고 불안을 관리하는 데 도움이 되었음을 입증했다. 향후 대시보드 버전을 개선하기 위해 전문가들과 학생들은 개발자와 디자이너가 네비게이션 지연, 색 구성 일관성 향상, 휴대폰 친화적 버전 생성, 저장 옵션 도입, 그리고 교사에게 대시보드 결과에 액세스 권한 부여 등을 고려하도록 제안했다. 연구에서 첨단 기술과 분석을 통합함으로써 대학이 학습 결과 및 지원 시스템을 향상시키는 포괄적인 접근법을 제공하여 학생, 교사, 관리자 및 광범위한 학문 커뮤니티에 이로움을 주고 있는 것으로 나타났다. 이 연구는 학습 분석 분야에서의 중요한 진전을 나타내며 고등 교육 부문에 긍정적인 영향을 미칠 미래의 혁신을 위한 기반을 마련하고 있다는데 그 의의가 있다.