대학 e-포트폴리오 활용성과에 영향을 미치는 시스템 사용효능감과 시스템품질 인식에 대한 구조관계 규명

Abstract

21세기 학습자 역량으로서 자기주도학습은 학습자가 능동적으로 학습과정을 관리 및 성찰하는 수행과정에 의해 촉진된다(한안나, 2012). 이와 같은 학습과정의 관리 및 성찰을 지원하는 도구 중 하나가 e-포트폴리오이다(Chaffey, de Leeuw, & Finnigan, 2012). e-포트폴리오는 전통적인 포트폴리오의 디지털 버전으로, e-포트폴리오를 통해 학습자는 학습과정을 관리 및 성찰하고, 교수자 및 동료 학습자들과 역동적으로 의견을 교류하며 학습효과를 향상시킬 수 있고(Zubizarreta, 2004), 교수자는 학습자의 역량수준을 정확히 진단·파악하고 목표 역량과 연결 지어 교수 및 학습의 질을 개선할 수 있다(Clark & Eynon, 2009). 이와 같은 e-포트폴리오의 교육적 잠재력으로 인해, 2000년대부터 미국을 비롯한 전 세계 대학들은 e-포트폴리오를 적극 도입하기 시작하였다(Kim, Ng, & Lim, 2010). 그러나 국내외 대학에서 e-포트폴리오가 널리 활용되는 추세에도 불구하고, e-포트폴리오에 대한 학습자의 인식과 참여는 저조한 실정이다. 다수의 선행연구들은 상당수의 학생들이 e-포트폴리오를 단순한 정보의 저장고로 인식하고 학습 초기에 불안, 혼란, 좌절, 부담감, 낮은 주인의식 등으로 학습을 완료하지 못하였다고 하였다(김민정, 2006; Lamont, 2009; Lopez-Fernandez & Rodriguez-Illera, 2009; Wade & Yarbrough, 1996; Willis, Gravestock, & Jenkins, 2006). 이처럼 e-포트폴리오의 수용 문제가 중요한 실행이슈로 제기됨에도 불구하고, 다수의 선행연구는 주로 교수자 및 행정가를 대상으로 e-포트폴리오의 교육적 잠재력을 평가하는 연구에 치중해왔다. 또한 대학에 e-포트폴리오가 도입된 기간이 비교적 짧고 활용범위도 넓지 않아, 학습자 관점에서 e-포트폴리오의 수용요인을 규명하는 실증적 연구는 부족한 실정이다(Lopez-Fernandez & Rodriguez-Illera, 2009; Tosh, Light, Fleming, & Haywood, 2005). 한편, 정보시스템 연구들은 새로운 테크놀로지를 수용하는 요인으로 시스템품질 인식, 지각된 용이성 및 유용성과 같은 시스템 요인을 제안하였다(Mobarhan, Rahman, & Majidi, 2013). 예를 들면, DeLone과 McLean(2003)은 정보시스템 성공모형(Information System Success Model; ISSM)에서 시스템 수용요인으로 시스템품질을 제안하였는데, 다양한 정보시스템에서 시스템품질은 사용자의 시스템 수용 및 성과에 영향을 미치는 직접적 요인으로 검증되었다(Petter & McLean, 2009). e-포트폴리오 시스템 사용자들은 혼동되고 불편한 시스템을 접하면 쉽게 좌절하고 이탈하는 경향이 있다(Jafari, 2004). 특히 교수자가 매체 이용의 주체가 되는 전통적인 이러닝과 달리, 학습자가 직접 정보를 처리하는 e-포트폴리오에서는 시스템 자체의 기술적 특성이 학습자에게 더욱 강한 영향을 미칠 수 있다(Šumak, Heričko, & Pušnik, 2011). 또한 학습을 위한 e-포트폴리오 시스템 사용에 대한 효능감으로서 시스템 사용효능감은 e-포트폴리오에 대한 학습자의 태도에 영향을 미치고, 그로 인해 시스템품질에 대한 인식에 영향을 미칠 수 있다(Bandura, 1997; Chen, Chang, Chen, Huang, & Chen, 2012). 따라서 시스템 사용효능감과 시스템품질 인식 간의 유의한 관계가 예견되나, 실제로 시스템 사용효능감, 시스템품질 인식, e-포트폴리오 활용성과 간의 구조관계를 검증한 선행연구는 드물다. 이에 본 연구는 e-포트폴리오 성공요인을 시스템 차원에서 설명해주는 DeLone과 McLean(2003)의 ISSM을 토대로 대학 e-포트폴리오 환경에서 e-포트폴리오 활용성과에 영향을 미치는 시스템 사용효능감과 시스템품질 인식 간의 구조관계를 규명하였다. 본 연구는 대학생들이 개인적으로 자기주도학습을 위해 e-포트폴리오를 사용하는 학습 상황에 초점을 맞추었다. 그리고 e-포트폴리오의 성공적 정착 및 확산이 대학의 주요 현안이라고 판단하여 e-포트폴리오 활용성과 변인으로 사용정도, 만족도, 지속사용의향을 채택하였다. 본 연구의 목적을 위해 설정한 연구문제는 다음과 같다. 첫째, 대학 e-포트폴리오 환경에서 시스템 사용효능감과 시스템품질 인식(기술·정보·서비스품질 인식)과 e-포트폴리오 활용성과(사용정도, 만족도, 지속사용의향) 간 구조관계 모형은 적합한가? 둘째, 대학 e-포트폴리오 환경에서 e-포트폴리오 활용성과(사용정도, 만족도, 지속사용의향)에 영향을 미치는 시스템 사용효능감과 시스템품질 인식(기술·정보·서비스품질 인식) 간에 직접효과가 존재하는가? 셋째, 대학 e-포트폴리오 환경에서 e-포트폴리오 활용성과(사용정도, 만족도, 지속사용의향)에 영향을 미치는 시스템 사용효능감과 시스템품질 인식(기술·정보·서비스품질 인식) 간에 간접효과가 존재하는가? 본 연구를 위해 서울에 소재한 A 대학에서 2015년에 e-포트폴리오를 개인 학습 목적으로 사용해본 경험이 있는 226명의 대학생들에게 설문조사를 실시하였다. 응답자 226명 중 조사대상에 해당되지 않거나 설문에 성실히 응답하지 않은 10명을 제외하여 총 216명(95.58%)의 자료가 최종 분석되었다. 216명 중 결측치가 존재하는 13명의 자료는 SPSS 24.0에서 제공하는 EM(expectation maximization) 방법을 통해 결측치를 대체하였다. 본 연구는 구조방정식 모형 분석을 통해 연구모형의 적합도와 변인 간의 직접효과를 분석하였고, 부트스트레핑(bootstrapping)과 Sobel(1982)의 Z 검정을 통해 변인 간의 간접효과를 분석하였다. 연구문제별로 주요 연구결과는 다음과 같다. 첫째, 구조모형의 적합도 검증 결과, 대학 e-포트폴리오 환경에서 시스템 사용효능감, 시스템품질 인식(기술·정보·서비스품질 인식), e-포트폴리오 활용성과(사용정도, 만족도, 지속사용의향) 간의 구조관계의 모형 적합도가 양호하였다. 그러나 서비스품질 인식이 사용정도 및 만족도에 직접적 영향을 미치지 않았고, 문제 발생 시 도움을 요청하는 경우 지원서비스가 제공되는 본 연구의 맥락상 서비스품질 인식과 사용정도 및 만족도 간의 관계가 유의하지 않을 가능성이 있기 때문에, 서비스품질 인식과 사용정도 및 만족도 간의 경로를 제외한 수정모형을 설정하였다. 수정모형의 구조모형 분석 결과, 모형 적합도는 양호하였고 χ2 차이 검증 결과도 유의하게 나타나, 본 수정모형을 최종 구조모형으로 채택하였다. 둘째, 변인 간의 직접효과를 분석한 결과, 기술품질 인식과 사용정도, 정보품질 인식과 만족도 간의 직접관계를 제외한, 시스템 사용효능감과 기술품질 인식, 정보품질 인식과 사용정도, 기술품질 인식과 만족도, 사용정도와 만족도, 만족도와 지속사용의향 간의 직접관계가 유의하였다. 셋째, 변인 간의 간접효과를 분석한 결과, 시스템 사용효능감은 정보품질 인식을 매개로 사용정도에, 기술품질 인식을 매개로 만족도에 유의한 간접적 영향을 미쳤고, 기술 및 정보품질 인식, 사용정도와 만족도를 매개로 지속사용의향에 유의한 간접적 영향을 미쳤다. 정보품질 인식은 사용정도를 매개로 만족도에, 사용정도와 만족도를 매개로 지속사용의향에 유의한 간접적 영향을 미쳤고, 사용정도는 만족도를 매개로 지속사용의향에 유의한 간접적 영향을 미쳤다. 그러나 그 밖의 시스템품질 인식과 사용정도 및 만족도, 지속사용의향 간의 간접효과는 유의하지 않았다. 본 연구결과로부터 도출된 시사점은 다음과 같다. 첫째, 본 연구는 대학 e-포트폴리오 환경에서 시스템 사용효능감과 ISSM을 통합한 연구모형을 수립하여 e-포트폴리오 수용과정 및 결과에 대한 이론적 설명을 시도한 점에 그 의의가 있다. e-포트폴리오는 국내외 대학에서 교육적 잠재력을 인정 받고 적극적으로 도입되는 시스템 중 하나로서 e-포트폴리오의 수용 및 지속적 활용의 문제가 빈번히 제기되었으나, 시스템 사용효능감과 ISSM을 통합한 연구모형을 적용한 경험적 연구는 부족하였다. 본 연구는 대학 e-포트폴리오 환경에서 시스템 사용효능감과 ISSM을 통합한 연구모형을 검증하여 시스템 수용을 위해 집중해야 할 시스템 하위요소를 제시하고, 왜 대학생들이 e-포트폴리오 시스템을 수용하는지, 시스템 수용과 지속사용의향은 어떠한 관계인지를 설명해준다. 이는 대학 e-포트폴리오의 성공요인을 규명하고, 이를 기반으로 e-포트폴리오의 성공적 정착 및 확산을 위한 방안을 마련하는데 기여할 수 있다. 둘째, 본 연구는 시스템 사용효능감, 시스템품질 인식, e-포트폴리오 활용성과 간의 직·간접효과를 검증하여 e-포트폴리오의 성공요인으로서 시스템 사용효능감, 정보 및 기술품질 인식의 중요성을 확인하였다. 따라서 대학 e-포트폴리오 환경에서 시스템의 성공적 정착 및 확산을 위해 정보·기술품질 인식을 제고하고 시스템 사용효능감을 촉진하는 방안이 마련될 필요가 있다. 예를 들면, 시스템 관리부서는 편리한 정보 배포(예: 각종 서식, 학사 일정, 과제 샘플), 대학 내의 전문지식과 암묵지 공유(예: 수업 동영상, 수업 후기), e-포트폴리오 시스템 개발의 초기 단계부터 학습자를 참여시키기, 철저한 사용성 평가, 시스템 운영 단계에 학습자 요구에 따른 시스템의 유지·보수 등의 정보·기술품질 인식 전략이 고안될 수 있다. 나아가 대학은 교과과정 내에 e-포트폴리오의 통합, 학습 포트폴리오 경진대회, 학습 포트폴리오 발표회 등을 통한 직접적 성공 경험, 대리적 성공 경험, 언어적 설득 등의 시스템 사용효능감 촉진전략을 수립·적용할 필요가 있다.;Self-regulated learning as a 21st century competence can be facilitated by the process that learners manage and reflect on their learning with a sense of ownership(Han, 2012). Since 2000, e-portfolios have emerged as a valuable online tool that supports learners to manage and reflect on their learning(Abrami & Barrett, 2005; Mobarhan, Rahman, & Majidi, 2013). Portfolios as the predecessor of e-portfolios are an organized collection of authentic and diverse evidence showing learners’ achievements for a pedagogical process and assessment purpose. By enhancing the information processing abilities of portfolios with digital technology, e-portfolios have been used in many disciplines of worldwide universities to support learners’ self-regulated learning(Clark & Eynon, 2009; Kim, Ng, & Lim, 2010). While it is generally agreed that e-portfolios have great potential to engage students in learning and to develop learning how to learn, the empirical results to date have shown significant numbers of students’ negative reaction to e-portfolios as well as students’ low adoption of e-portfolios. As with other technologies, e-portfolios will not be completely successful if students are not engaged in the e-portfolio system. However, numerous studies on e-portfolios have focused on faculty and an institutional perspective and consist of anecdotes about how useful e-portfolios has been to learners. There are little research that have focused on learners’ view of e-portfolios. Moreover, still no major studies have thoroughly dealt with the factors influencing students’ uses of e-portfolios. In the information system field, DeLone and McLean(2003) proposed an Information System Success Model (ISSM), which empathizes system quality, information quality, and service quality that users perceive as factors influencing system use, satisfaction, and net benefits. The ISSM can enable researchers to investigate the causality among perceived quality, system use, satisfaction and net benefits from a user perspective and can be a suitable theoretical framework to assess an e-portfolio system success(Lee, 2012; Joo, Shin, & Ham, 2014a). The empirical results also showed that perceived system quality, information quality, and service quality affect system use, satisfaction and continuance to use(Chiu, Chiu, & Chang 2007; Joo et al., 2014a ; Lin & Chen, 2012; Lin Wang, 2012; Ramaya & Lee, 2012). Therefore, this study investigated a structural relationship among perceived quality, system use, satisfaction, and continuance to use based on ISSM. Also, to better identify factors affecting system use, satisfaction, and continuance to use, this study extended an ISSM by including e-portfolio self-efficacy as a determinant of perceived quality. Bandura(1997) and Chen, Chang, Chen, Huang, & Chen(2012) claimed that self-efficacy can affect learners’ perception of system features through attitude to a system. However, there are little research on a structural relationship among e-portfolio self-efficacy, perceived quality, system use, satisfaction, and continuance to use. Therefore, this study was undertaken to investigate a structural relationship among e-portfolio self-efficacy, perceived quality, system use, satisfaction, and continuance to use using ISSM extended by e-portfolio self-efficacy. The purpose of this study is to examine a structural relationship among e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use. The proposed model posits that e-portfolio self-efficacy in the e-portfolio system for self-regulated learning would influence learners’ perceived quality. In turn, perceived quality would influence learners’ system use and satisfaction, which in turn would influence learners’ continuance to use. According to the purposes of this study, research questions in this study are as follows: 1. Does a structural relationship among e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use exhibit good fit in the e-portfolio system? 2. Are there direct effects among e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use in the e-portfolio system? 3. Are there indirect effects among e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use in the e-portfolio system? Questionnaires were administered to 226 undergraduates who have participated in the e-portfolio system for self-regulated learning within a university in Korea. Ten questionnaires were excluded for incomplete answers, leaving 216 valid samples for a response rate of 95.58%. The responses include 108 from males and 107 from females, 91 social science majors, 56 science majors, 38 art and humanity majors, and 31 the other majors. For analyzing the data, structural equation modeling was used to test goodness‐of‐fit of the proposed model and to analyze the direct and indirect effects between the variables. The major findings of this study are as follows: First, the results from structural equation modeling analysis were found to support the proposed model which consists of e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use. Since the relationships between perceived service quality and system use, perceived service quality and satisfaction were not significant, the study removed the relationships between perceived service quality and system use, perceived service quality and satisfaction in the hypothetical model. The results from structural equation modeling analysis and D2 test of the modified model were found to support good fit of the modified model. Thus, this study adopted the modified model as the final model which includes e-portfolio self-efficacy, perceived system quality and information quality, system use, satisfaction, and continuance to use. Second, the results from direct effects analysis were found to support the direct relationships between e-portfolio self-efficacy and perceived quality, perceived information quality and system use, perceived system quality and satisfaction, system use and satisfaction, satisfaction and continuance to use. However, the direct effects between perceived system quality and system use, perceived information quality and satisfaction were not significant. Third, the results from indirect effects analysis were found to support the indirect relationships between e-portfolio self-efficacy and system use, e-portfolio self-efficacy and satisfaction, e-portfolio self-efficacy and continuance to use. While the indirect effects between perceived information quality and satisfaction, perceived information quality and continuance to use, system use and continuance to use were significant, the indirect effects between perceived system quality and satisfaction, perceived system quality and continuance to use were not significant. The implications of this study are as follows: First, this study identified the causal relationships among e-portfolio self-efficacy, perceived quality(perceived system quality, information quality, service quality), system use, satisfaction, and continuance to use in the e-portfolio system for self-regulated learning in part. This suggested that the ISSM model extended by e-portfolio self-efficacy might generally be valid. This also suggested that this proposed model could be available as an theoretical framework for the future studies on an e-portfolio system. Second, based on the established relationships, a domestic university can assess which dimensions need attention to improve for successful implementation of e-portfolios. To increase the use of e-portfolios, a university should first try to improve perceived information quality such as completeness, relevance, timeliness, up to date, accuracy, representation, easy to understand, and format of learning materials. To provide incentives and e-portfolio training for professors and students is possible for improving perceived information quality by supporting their information production process. To raise learners’ satisfaction to an e-portfolio system, a university should try to improve perceived system quality such as easy to use, interface design, functionality, system bug, response time, compatibility, and accessibility of an e-portfolio system. To reflect learners’ opinions into the implementation process as well as the design and development process is possible for improving perceived system quality. In this study, we can understand the process where undergraduates accept an e-portfolio system. We also found that the ISSM extended by e-portfolio self-efficacy might be valid in an e-portfolio system for self-regulated learning. Therefore, this findings can provide the directions for the world-wide universities operating an e-portfolio system for self-regulated learning and for the future studies exploring the ISSM extended by e-portfolio self-efficacy. Finally, the logical extension of the proposed model and the best practices for successful implementation of e-portfolios should be developed.