고용보험법 적용 국내 기업 e러닝의 학업성취도 측정 문항에 대한 양호도 검증

Abstract

정보통신기술의 발달과 함께 e러닝은 시간과 장소에 구애받지 않는 특성을 기반으로 집체형 교육이 지니고 있었던 비효율성 문제의 대안으로 부상하였다. 또한 정부는 지식정보화 사회와 성인 교육 활성화를 위해 e러닝을 사용하였고, 이러한 정부의 지원과 e러닝의 비용효과성 우위에 힘입어 기업 e러닝은 급속한 양적 성장을 이루었다. 그러나 기업 e러닝의 양적 성장에도 불구하고, 효과성에는 지속적인 의문이 제기되고 있다. 기업 e러닝의 효과성을 제고하기 위해서는 정확하고 지속적인 평가와 개선이 필요로 하다. 이에 정부는 문제은행을 구축하여 랜덤으로 검사지를 구성하는 학업성취도 가이드라인을 제시하여 기업 e러닝의 효과성을 평가하고 있다. 기업 e러닝 학업성취도는 학습성과이자 학습 전이를 예측하는 주요 변인인 만큼 기업교육에서 보다 중요한 의미를 지니고 있기 때문이다. 그러나 실제 학업성취도 측정도구의 질에 대한 검증은 충분히 이루어 지지 않고 있다. 이에 본 연구에서는 대표적인 검사이론인 문항반응이론(Item Response Theory)이 제시하는 문항모수(문항난이도, 문항변별도, 문항추측도)를 사용하여 기업 e러닝 학업성취도 문항의 양호도를 검증해 보고자 한다. 본 연구의 연구문제는 다음과 같다. 1. 고용보험법 적용 기업 e러닝 학업성취도 측정 문항의 내용 전문가 난이도는 문항반응이론 난이도와 차이가 있는가? 2. 고용보험법 적용 기업 e러닝 학업성취도 측정 문항의 변별도는 적절한가? 3. 고용보험법 적용 기업 e러닝 학업성취도 측정 문항의 추측도는 적절한가? 이와 같은 연구문제를 규명하기 위해 본 연구에서는 전문직무, 경영일반, 컴퓨터 세 분야에서 3개씩 총 9개의 기업 e러닝 콘텐츠를 선정하였다. 또한 문항반응이론을 적용하기 위해서는 다수의 인원이 필요한 만큼 2009년 1월 부터 2010년 3월 까지 학습자가 학업성취도에 응답한 데이터를 수집하였고, 기업 e러닝 콘텐츠 별로 평균 약 64문항과 2,399의 데이터를 분석하였다. 이때 기업 e러닝 검사지는 20문항으로 구성되어 있는 만큼 약 500명 이상의 데이터가 적합하나, 본 연구의 검사지는 랜덤으로 구성되는 만큼 20문항이 아닌 전체 문제은행의 문항을 분석하였다. 이에 학습자의 응답 데이터는 20문항이지만 500명이 아닌 그 보다 많은 1,000명 이상의 데이터를 수집하여 분석하였다. 3모수-문항반응모형은 60개 문항에 1,000명 이상의 데이터가 결과를 안정적으로 추정해줄 수 있기 때문이다(Hullin, Lissak & Drasgow, 1982). 이때 문항모수는 BILOG-MG 프로그램을 사용하여 추정하였고, 추정된 문항모수 중 문항난이도의 일치도는 SPSS의 비모수 검정에서 부호검정(sign test)을 통해 그 일치 정도를 비교하였다. 문항반응이론은 또한 문항모수를 분석하기에 앞서 문항의 모형적합도를 통해 문항의 타당도 검증이 필요하다. 그 결과, 전체 82개 문항이 모형에 적합하지 않은 것으로 나타났다. 모형에 적합하지 않은 원인은 잘못된 모형을 선택하였거나 문항의 타당도가 낮은 문항이기 때문이므로 본 검사에는 모형에 적합하지 않은 문항을 제외하고, 분석하였다. 본 연구의 결과를 요약하면 다음과 같다. 첫째, 내용 전문가에 의한 문항난이도와 문항반응이론의 문항난이도는 통계적으로 유의미하게 일치하지 않았다. 이는 내용 전문가에 의한 문항난이도가 정확하지 않음을 의미한다. 정확하지 않은 내용 전문가에 의한 문항난이도를 근거로 검사지가 구성되는 만큼 랜덤으로 구성되는 검사지들의 동질성은 확보되지 않기에 검사의 신뢰도에도 부정적인 영향을 미칠 수 있다. 또한 전반적인 기업 e러닝의 문항난이도는 쉽거나 매운 쉬운 문항으로 구성되어 있는 것으로 나타났다. 둘째, 기업 e러닝 학업성취도 문항은 음수의 값을 지니고 있지 않았다. 이는 학습자의 능력을 역으로 추정하여 반드시 수정 및 삭제가 필요한 문항은 존재하지 않음을 의미한다. 또한 기업 e러닝 문항은 대체로 변별도가 낮거나 적절한 수준으로 나타났다. 셋째, 기업 e러닝 학업성취도의 문항추측도가 .3 이상인 문항은 전체 문항의 11.34%로 총 56개 문항이었다. 따라서 대다수 문항은 우연히 문항을 맞힐 확률이 일반적 교육검사 범위 내에 적절한 문항으로 나타났다. 그러나 .5의 값을 지니는 문항도 있었던 만큼 양호하지 않은 문항은 수정이 고려되어야 한다. 본 연구 결과는 문항타당도가 충족되지 않는 82개 문항도 양호하지 않은 문항으로 규정하여 전체 141개 문항이 양호하지 않은 문항으로 나타났다. 특히 경영분야의 e러닝 콘텐츠 중 자기계발 콘텐츠는 48.21%가 양호하지 않은 문항으로 구성되어 있었다. 따라서 기업 e러닝 학업성취도는 기존 문항출제 기준으로 사용되었던 난이도가 정확하지 않고, 양호하지 않은 문항이 콘텐츠에 따라 평균 24.39%를 차지하고 있는 만큼 학습자 검사지의 약 24% 문항이 그 정보를 신뢰할 수 없는 양호하지 않은 문항으로 구성되었다고 해석할 수 있다. 이에 본 연구는 다음과 같은 시사점을 얻을 수 있다. 첫째, 문항난이도와 변별도, 추측도가 모두 문항의 질을 판단하는 준거 요인으로 사용되어야 한다. 또한 이를 바탕으로 현재의 문항들이 개선되어야 한다. 둘째, 기업 e러닝 가이드에 문항모수에 대한 구체적인 수치가 함께 제시되어 문항의 질 관리 뿐 아니라 질을 유지할 수 있는 준거로 활용되어야 한다. 셋째, 기존의 문제은행보다 발전된 운영과 관리적 측면이 반영된 체제적 관점의 문제은행 시스템을 구축해야 한다. 또한 CAT(Computerized Adaptive Test)를 도입하여 보다 정확한 학습성과 측정 및 학습자의 학습 증진에 기여하여야 한다.;Comparing with traditional corporate education, e-Learning has cost advantage because of no condition of time and space. The government also invests e-Learning in adult education for improving the national competitive power on the knowledge-based society. So e-Learning grows rapidly in corporate education. Despite the expansion of e-Learning in corporate education, quality of e-Learning is not assured. And there are not validated items to measure an effectiveness of e-Learning. Accordingly the purpose of this study is to validate corporate e-Learning items in Korea. IRT as test theory estimates item parameters(item difficulty, item discrimination, item guessing). Based on such research proposes, the questions for this study are as follows. 1, Does item difficulty of experts agree item difficulty of IRT in corporate e-Learning test? 2. Is item discrimination parameter adequate in corporate e-Learning test? 3. Is item guessing parameter adequate in corporate e-Learning test? The nine tests of e-Learning courses were used for it. Each course consists of about 64 items and 2,399 respond datas to estimate item parameters by BILOG-MG. Prior to IRT analysis, inadequate 82 items in item goodness-of-fit were deleted. And sign test was used for comparison between experts and IRT parameter of item difficulty. The results of this research are as follows. First, item difficulty of experts differs from item difficulty of IRT in corporate e-Learning test. This result tells item difficulty of experts in nine tests is not correct. Also many items are easy for corporate e-Learning examinees. Second, all items are adequate item discrimination. Despite of positive values, the average of item discrimination in 9 tests of e-Learning was low. Third, 56 items(11.34%) are not adequate in item guessing. This result tells 56 items of e-Learning test is to be revised. Because 56 items have high probability to get the correct answer accidently. With this result, practical implication for this study is below. First, total 141 items(24.39%) are not adequate. So current items of e-Learning are to be validated using IRT and revised. Second, item parameters(item difficulty, item discrimination, item guessing) are to be used as a standard of e-Leaning item for improving quality of corporate e-Learning items. Third, systematic item banking and CAT is to be installed in corporate e-Learning evaluation.