이러닝 콘텐츠 품질관리 평가기준 규명

Abstract

첨단 정보통신 기술이 발달함에 따라 인터넷의 보급과 확산이 이루어졌고 이는 교육의 전 분야에 걸쳐 이러닝의 도입을 가져왔다. 이러닝은 언제 어디서나 학습자가 필요로 하는 때에 원하는 학습내용을 제공한다는 점에서 교육의 새로운 대안으로 떠오르고 있다. 이러한 이러닝 산업의 발전으로 교육 시장이 활성화되고 있는 가운데 (구)교육인적자원부는 지난 2005년을 이러닝 산업 발전의 원년으로 제정하고 이러닝 활성화를 위한 구체적인 제도와 법적 근거를 마련하였다. 최근 정부에서 ‘2008 이러닝산업발전계획’을 발표하면서 이러닝 산업의 성장동력화가 본격적으로 진행되고 있다. 이러닝 업체들은 앞 다투어 해외진출과 신사업 발굴 등 사업다각화를 통해 국내 이러닝 시장을 활성화한다는 계획을 세우고 분주하게 움직이고 있는 실정이다. 그러나 이러닝 산업의 활성화를 위해서는 무엇보다 이러닝에 대한 구체적이고 체계적인 품질관리가 우선적으로 이루어져야 함에도 불구하고 현재까지 이루어지고 있지 않고 있다. 이러닝을 평가하는 기관마다 평가목적과 대상, 평가영역 등에 있어 차이를 보이고 있기에 이는 평가 대상자들에게 혼란을 가중시키고 적지 않은 불만 요인이 되고 있다. 또한 각 기관에 따라 평가영역이나 기준이 다르게 적용되기 때문에 같은 내용의 콘텐츠에 대해서도 평가결과가 다르게 나타날 수 있어 그 일관성이 떨어진다는 문제점을 가지고 있으며 실 사용자인 학습자의 의견 또한 충분히 반영되지 않고 있는 점 역시 단점으로 지적되고 있다. 국내외 이러닝 콘텐츠의 품질관리 기준을 비교, 분석해 본 결과, 해외의 품질관리 기준은 다양한 구성원의 참여로 이루어지고 있는 반면 국내의 품질관리 기준은 이러닝 전문가나 이러닝 콘텐츠를 제작, 개발하는 개발자의 관점에서 주로 제정된 것으로 나타났다. 이러닝 시장의 발전을 위해서는 이러닝 콘텐츠의 실 사용자인 학습자의 의견 반영이 필수적이라 판단된다. 이러닝 콘텐츠 평가에 있어서도 현재 국내기관에서 실시하고 있는 전문가 평가뿐만 아니 실 사용자인 학습자의 참여와 피드백이 이루어지도록 한다면 학습자의 학습효과 향상이나 만족도 측면에서 큰 성과가 있으리라 판단된다. 또한 품질평가의 과정과 도구, 결과처리에 대한 피드백이 투명하고 명확하게 공개된다면 이러닝 콘텐츠를 제작하고 개발하는 기업들이 스스로 자가평가를 해 볼 수 있기 때문에 평가결과에 대한 현재와 같은 불신을 없앨 수 있을 뿐 아니라 이러닝 콘텐츠 품질관리의 활성화를 가져올 수 있을 것이다. 또한, 이를 위해서는 국가차원에서 이러닝 콘텐츠의 품질관리 평가기준을 통합·관리하고 이러닝 콘텐츠에 대한 총체적인 품질관리 체제를 구축하는 것이 필요할 것이다. 따라서 본 연구에서는 이러닝 콘텐츠 품질관리 평가기준의 기본영역을 알아보고 평가영역별 개발자와 학습자간의 중요도와 시급도 차이를 알아보고자 한다. 또한 실제 이러닝 콘텐츠를 개발하는 개발자와 이를 학습하는 학습자의 공통된 요구를 반영한 최소한의 평가기준이 무엇인지 제시하고자 한다. 이러한 연구 목적을 규명하기 위한 구체적인 연구 문제는 다음과 같다. 첫째, 이러닝 콘텐츠 평가기준의 평가영역에 있어 개발자와 학습자간 중요도 차이가 있는가? 둘째, 이러닝 콘텐츠 평가기준의 평가영역에 있어 개발자와 학습자간 시급도 차이가 있는가? 셋째, 이러닝 콘텐츠 품질관리를 위해 개발자와 학습자의 요구를 반영한 평가기준의 핵심영역은 무엇인가? 이와 같은 연구 문제를 규명하게 위해 본 연구에서는 먼저, 문헌분석을 통해 국내 3개 기관(한국직업능력개발원, 한국U러닝연합회, 한국교육학술정보원)과 해외 7개 국가(싱가폴, 일본, 호주/뉴질랜드, 프랑스, 영국, 미국)의 이러닝 콘텐츠 품질 평가 기준을 비교, 분석하여 유사한 개념을 가진 기준끼리 묶음을 시도하였다. 국내 3개 기관들의 평가기준 총 51개와 해외 7개 국가의 평가기준 총 102개영역에 대하여 공통적인 속성들을 파악, 이를 통합한 결과, 32개의 주요평가영역으로 항목화 할 수 있었다. 이후 개발자 그룹과 학습자 그룹에게 FGI(Focus Group Interview)를 실시하고, 32개의 주요평가영역에 대한 우선순위 설문을 실시하였다. 이 연구를 통해 얻은 이러닝 콘텐츠 품질관리 기본영역을 가지고 중요도와 시급도에 대한 설문을 실시하였다. 설문결과 나타난 그룹간의 경향성 배제를 위해 원점수를 표준점수(Z score)화 하였고, 이 점수를 바탕으로 두 그룹의 각 영역별 중요도와 시급도 표준점수를 합하여 평균을 구한 뒤 요인분석을 실시하였다. 요인분석을 통해 얻은 이러닝 품질관리 평가기준의 핵심 6개 요인을 가지고 독립표본 t 검정을 실시하여 요인별 그룹간의 중요도와 시급도 차이를 알아보았다. 자료 분석에서 유의 수준은 .05로 설정하였고, 통계처리는 SPSS WIN 12.0 프로그램을 사용하였다. 본 연구의 결과를 정리하면 다음과 같다. 우선, FGI(Focus Group Interview)를 실시한 결과, 개발자 그룹과 학습자 그룹 모두 이 제도가 활성화되기 위해서는 평가기준에 대한 정확한 설명과 우수콘텐츠에 대한 기준 설명이 필요하다고 지적했다. 또한, 구체적이고 투명한 심사기준이 공개되어야 하며 평가결과에 대한 명확한 규명이 있어야 평가의 공평성과 신뢰성 확보가 이루어질 것 수 있을 것이라고 판단했다. 요인분석 결과, 이러닝 활성화 및 질 제고를 위한 이러닝 콘텐츠 품질관리 평가기준의 핵심영역으로는 총 6개 요인의 22개 영역이 최종적으로 도출되었다. 도출된 6개 요인들은 교수설계, 내용설계, 상호작용설계, 평가설계, 학습자지원, 기술지원으로 나타났다. 중요도 평가결과, 교수설계 요인과 학습자지원 요인에서 통계적으로 유의미한 차이가 발견되었다. 상호작용설계나 평가설계, 기술지원에 있어서는 학습자 그룹이 개발자 그룹보다 중요도를 높게 평가하고 교수설계 및 학습자지원요인에 있어서는 개발자 그룹이 학습자 그룹보다 중요도를 높게 평가하고 있는 것으로 나타났다. 시급도 평가결과, 개발자 그룹은 교수설계 요인과 학습자지원 요인에 대해 학습자 그룹보다 시급도를 더 높게 평가하는 것으로 나타났다. 이에 비해 학습자 그룹은 기술지원 요인에 있어 개발자 그룹보다 시급도를 높게 평가했다. 본 연구는 국내외 이러닝 콘텐츠 품질관리 평가기준들을 분석하고 이러닝을 개발하는 업체, 이러닝 서비스를 제공하는 기관뿐만 아니라 이러닝을 직접 학습하는 학습자의 의견을 반영한 기준을 통해 이러닝을 평가하는 기관이 효과적인 이러닝 품질관리를 위해 검토해야 할 최소한의 평가기준을 제시하고자 한다. 또한, 이를 통해 개발자와 학습자 모두가 만족할 수 있는 객관적이고 신뢰성 있는 평가기준 개발이 이루어짐으로써 이러닝 콘텐츠와 서비스 및 기술의 발전 및 이러닝 산업의 활성화방안을 모색하는데 도움을 주고자 한다.;With the development of up-to-date information communication technology, Internet has spread and diffused, which led to introduction of e-learning into all educational fields. E-learning is becoming a new educational alternative in that it provides desired learning contents anytime and anywhere learners need. As this development of the e-learning industry makes the educational market activated, the Ministry of Education and Human Resources Development set 2005 as the first year of e-learning and established specific systems and legal grounds to activate e-learning. As the government recently announced the E-Learning Industry Development Scheme in 2008, the e-learning industry is under active motorization for growth. E-learning businesses are competing with each other for implementing the plan of activating the local e-learning market through business diversification including overseas expansion and excavation of new projects. To activate the e-learning industry, however, it is most of all necessary to implement concrete and systematic quality management for e-learning, which has failed. Local institutions evaluating e-learning show differences in the goals, targets, and areas of evaluation, consequently increasing confusion and causing lots of complaints among subjects of evaluation. Since those institutions apply different evaluation areas or criteria, they can present different results even with the same contents, showing low consistency; opinions of actual users, or learners, fail to be reflected fully. After comparative analysis of local and foreign criteria for quality control, it was found that foreign criteria for quality control were made by various participants, whereas local ones were mainly developed from the perspective of experts in e-learning or those who manufactured and developed contents of e-learning. To improve the e-learning market, it is essential to reflect opinions of learners who are actual users of e-learning contents. If an attempt is made to secure participation and feedback of actual users, learners, as well as experts' evaluation currently provided by local institutions in evaluating e-learning contents, significant performance is expected in learners' learning effects and satisfaction. If the process and tools of quality evaluation and feedback to results processing are transparent and open clearly enough for companies manufacturing and developing e-learning contents to perform self-evaluation, it will be possible to activate quality control for e-learning as well as to remove disbelief in evaluation as can be seen today. To do this, it is necessary to consistently integrate and manage criteria for quality control evaluation on a national basis and construct a wholistic quality control system for e-learning contents as soon as possible. Therefore, this study intends to examine fundamental areas of criteria for quality control evaluation for e-learning contents and see differences in importance and urgency between developers of each evaluation area and learners. It also tries to present the minimum evaluation criteria commonly desired by actual e-learning contents developers and learners. To achieve these goals, specific questions were set as follows: First, is there any difference in importance between developers and learners in the evaluation area for e-learning contents evaluation criteria? Second, is there any difference in urgency between developers and learners in the evaluation area for e-learning contents evaluation criteria? Third, what is the key area for evaluation criteria commonly desired by developers and learners to perform quality control for e-learning contents? To answer these questions, first, literature analysis was performed on quality evaluation criteria of 3 local institutions (Korea Research Institute for Vocational Education and Training, Korea U-Learning Association, Korea Education and Research Information Service) and 7 foreign countries (Singapore, Japan, Australia/ New Zealand, France, the United Kingdom, the United States) to compare evaluation criteria and combine them on the basis of conceptual similarity. By determining and combining common properties of criteria, a total of 51 evaluation criteria in 3 local institutions and a total of 102 areas for evaluation criteria in 7 foreign countries could be categorized into 32 main evaluation areas. Then, focus group interview (FGI) was conducted in the developer group and in the learner group, followed by a survey for priority in 32 main evaluation areas. With fundamental areas of quality control for e-learning contents obtained through this study, a survey for importance and urgency was carried out. To remove tendency between groups, original scores for results of importance and urgency evaluation were changed into standard ones (Z-score); on this ground, average score of importance and urgency for the two groups were combined to carry out factor analysis. With total of 6 key factors of quality management evaluation criteria for e-learning contents obtained through factor analysis independent sample t test was carried out for importance and urgency evaluation. The significance level was set .05. The data were statistically treated with SPSS WIN 12.0 program. The results of this study can be summarized as follows: First, according to the results of FGI, both the developer group and the learner group indicated that it was necessary to explain criteria for good contents, along with accurate explanation of evaluation criteria, in order to activate this system. It was judged that impartiality and reliability of evaluation could be secured by revealing concrete and transparent examination criteria and investigating evaluation results clearly. After factor analysis, 22 areas for a total of 6 factors were finally drawn as key areas of quality management evaluation criteria for e-learning contents to activate e-learning and improve the quality. The six factors were teaching design, learning contents design, interaction design, evaluation design, learner support , and technical support. From importance evaluation, statistically significant differences were found in a total of 2 factors: factor of teaching design and factor of learner support. The learner group evaluated importance more highly in interaction design, evaluation design and technical support factors than the developer group, while the latter evaluated importance more highly in teaching design and learner support factor than the former. From urgency evaluation, it was found that the developer group evaluated urgency more highly in teaching design and learner support factor than the learner group. On the other hand, the learner group evaluated urgency more highly in technical support factor than the developer group. This study intends to analyze local and foreign quality control evaluation criteria for e-learning contents and present the minimum evaluation criteria for e-learning evaluation institutions to review for effective e-learning quality management through criteria reflecting e-learners as well as e-learning developers and institutions providing e-learning service. An attempt is also made to help improve e-learning contents, service, and technology and devise a scheme to activate the e-learning industry by developing objective and reliable evaluation criteria with which both developers and learners can be satisfied.