인공신경망에 근거한 인지진단모형 Q 행렬의 타당성 평가

Abstract

Cognitive Diagnostic Model, which have come to the forefront in the field of educational measurement in recent years, predicts the proficiency of students who have classified as having multi-dimensional characteristics and aims to provide teaching learning process with more specific feedback. Specifically, valid Q Matrix which identifies the relationship between items and attributes is requisited for analysis of Cognitive Diagnostic Model. Therefore, the design of proper and definite Q Matrix is a vital element which makes or breaks Cognitive Diagnostic Model. In the majority of cases, Q Matrix, which is applied to CDM, is set by consensus among content experts. However, it has limitations in that it does not guarantee item solving process which considers the actual examinees' congnitive level and correlation among multi-dimensional cognitive attributes. Therefore, if Q Matrix is suggested by conducting Quantitative analysis before decision making of context experts, it will be beneficial to designing more valid Q Matrix. The present study looks for a Data Driven Model for analyzing data, which is complex, multi-dimensional, and non-linear. As a result, it is concluded that the artificial neural network is suitable to be utilized in this research. Typically in artificial neural network, the predictive value which is close to target value is focused on, but the present study places emphasis on 'the relative importance of input data' that gives the optimal predictive value. The present study analyzed focus on the relative improtance of input data that draws on optimum predictive value (Proficient or not) which is close to the target value (correct answer or not). In order to achieve this purpose, the present study used the Garson(1991)'s weight method. That is, this study identified which combination of the attributes is appropriate for classifying whether the response to the item is correct answer or not. As the measuring instrument, the present study utilized Tatsnoka(1990)'s fraction-subtraction test and it is designed to identify the examinees' cognitive state based on CDM. Fraction-subtraction test analyzed 20 items out of 40 questions correctly answered by 536 middle school students. Q Matrix by content experts utilized Q Matrix suggested from the study by de la Torre & Douglas(2004). The result of Q Matrix suggested by the artificial neural network and that of Q Matrix draft by content experts are greatly similar. However, to a certain extent, differences lie in the appointment of cognitive attributes required for the solution of questions by Q Matrix draft and Q Matrix respectively. Therefore, content experts are advised to reevaluate the interaction among cognitive attributes and the actual item solving process which is overlooked in the stage of designing Q Matrix draft with reference to the suggested Q Matrix.;최근 교육평가 분야에서 부상하고 있는 인지진단모형은 피험자의 특성을 다차원으로 구분하여 평가함으로써 교수‧학습과정에 보다 구체적인 피드백을 제공한다. 특히, 성공적인 인지진단모형의 분석을 위해서는 무엇보다 문항과 인지요소의 관계를 규정하는 타당한 Q 행렬의 제작이 선행되어야 한다. 적절하고 명확한 Q 행렬의 제작은 인지진단모형에 의한 평가의 성패를 가르는 중요한 요소이다. 현재 인지진단모형에 적용되는 Q 행렬은 1차적으로 내용 전문가들의 합의로 결정되는 경우가 많다. 그러나 내용 전문가들의 합의에 의한 Q 행렬 제작에는 많은 비용과 시간이 소요된다. 또한 실제 피험자들의 문제풀이 과정에서 발생하는 인지 과정에 대한 정보의 불충분성과 비정형적인 의사결정 가능성 때문에 실제 피험자의 문제풀이 과정에 요구되는 인지요소를 누락하거나 잘못 지정할 우려가 있다. 특히, 내용 전문가는 교육과정에서 강조한 문제풀이 과정을 중심으로 인지요소를 추출하는 경향이 있으므로 실제 학생의 인지과정을 반영한 문제풀이 과정을 간과할 우려가 있다. 그러므로 평가 전문가에 의한 피험자의 응답 자료 분석을 통해, 내용 전문가에게 Q 행렬 초안과 차이가 있는 인지요소에 대해 추가 검토를 제안한다면 보다 타당한 Q 행렬 작성에 도움이 될 것이다. 따라서 Q 행렬 제작 과정에서 내용 전문가에게 보다 타당한 의사결정을 지원할 수 있는 자료 분석에 의한 Q 행렬 타당화 방법에 대한 연구는 필수적이다. 그러므로 본 연구에서는 인공신경망에 근거하여 문제풀이에 요구되는 인지요소의 조합을 찾는 Q 행렬 타당화 방법을 제안하였다. 특히, Q 행렬의 타당화를 위한 양적 분석 방법의 탐색 단계에서 인지진단모형의 다차원성과 비선형적인 특징을 고려하였다. 인지진단모형은 피험자의 능력을 다차원의 인지요소로 구분하고 각 인지요소의 숙달 여부를 판단한 뒤, 문항에 요구되는 능력을 숙달한 경우 문항에 정답을 선택할 확률을 추정하는 다소 복잡한 평가 모형이다. 특히, 피험자의 능력과 실제 정답을 맞힐 확률의 관계는 시그모이드 함수를 따르는 비선형을 가정한 분석 방법을 적용하는 것이 보다 타당하다고 판단하였다. 그러므로 본 연구에서는 복잡하고 비선형적인 자료 분석에 효과적인 데이터마이닝 기법의 일종인 인공신경망의 오류역전파 알고리즘을 통해 Q 행렬을 타당화하는 방법을 제안하였다. 최근 전통적인 통계적 모형, 베이지안 등에 의한 인지진단모형의 Q 행렬 타당화 연구가 시도되고 있다. 그러나 전통적인 통계적 모형, 베이지안 등에 의한 접근은 입력 변수 간의 독립성, 큰 표본 크기 등의 강한 가정으로 실제 자료의 적용에는 상당한 제약이 있다(오일석, 2008; 김명종, 2012). 이에 비해 인공신경망은 확률분포를 가정하기 않는 최소한의 가정에서 출발하므로 가정에 대한 불일치로 생기는 오류 가능성이 낮고, 현실에 대한 설명력이 높으며, 입력값 간의 상호작용 관계를 파악하기 어려운 경우에도 효과적인 예측력을 보이고 있다(이철용, 2010). 특히, 인지진단모형의 Q 행렬은 문제풀이에 요구되는 다양한 인지요소 간의 독립성을 보장하기 어렵고 높은 상관이 발생할 우려가 있으므로, 인공신경망은 인지요소 간의 다중공선성을 해결하는 대안이 될 수 있을 것이다. 인지진단모형의 Q 행렬 타당화를 위한 측정도구는 인지진단이론에 근거하여 피험자의 인지 상태를 파악하려는 목적으로 제작된 Tatsuoka(1990)의 분수뺄셈검사를 사용하였다. 미국의 중학생 536명에게 시행되어 공개된 총 40개 문항의 정답 자료 중 20개 문항을 선택하여 분석하였다. 내용 전문가에 의한 Q 행렬은 de la Torre & Douglas(2004)의 연구에서 제안한 Q 행렬을 사용하였다. 인공신경망 근거한 타당화 과정이 포함된 Q 행렬 제작을 3단계로 구분하고, 최종 의사 결정은 3단계에서 내용 전문가가 하도록 제안하였다. 1단계) 내용 전문가의 합의에 의한 ‘Q 행렬 초안’ 작성 2단계) 평가 전문가의 ‘인공신경망에 근거한 Q 행렬’ 제안 3단계) 내용 전문가가 1, 2단계에서 생성된 Q 행렬의 차이를 비교, 수정하여 ‘Q 행렬 최종안’을 결정 주요 연구결과는 다음과 같다. Q 행렬 타당화를 위한 인공신경망 분석은 학습과 검증을 위한 자료 표집에 따라 최적의 결과가 달라 질 수 있다. 이러한 문제를 해결하기 위해 자료 분리 및 분석을 50번 반복한 결과의 평균을 인공신경망에 근거한 Q 행렬로 제안하였다. 또한 Q 행렬 제작 단계에 따른 Q 행렬 초안, 인공신경망에 근거한 Q 행렬, Q 행렬 최종안의 차이를 확인하기 위해 4가지 평가 준거에 따른 비교를 실시하였다. 4가지 평가 준거는 1) 모형 적합도, 2) DINA 모형의 문항 모수치, 3) 피험자의 숙달여부를 구분하는 DINA 모형의 에타값과 실제 정답여부의 분류 일치도를 평가하는 Kappa 계수, 4) 피험자의 숙달여부를 구분하는 문항 숙달정도와 실제 정답여부의 양분상관계수이다. 첫 번째 평가 준거인 모형 적합도는 타당화 이전의 Q 행렬 초안이 다른 Q 행렬에 비해 -2LL, AIC, BIC 지수가 낮아 가장 적합한 모형으로 선택되었다. 그러나 모형 적합도는 검사 수준에서의 추정된 모형의 타당성을 평가하는 기준으로, 문항 단위로 분석한 인공신경망에 근거한 Q 행렬 및 Q 행렬 최종안의 타당화 결과를 충분히 반영하지 못한 결과 일 수 있다. 또한 모형 선택에 있어 -2LL, AIC, BIC 지수는 절대적 기준으로 아니므로 나머지 3가지 평가 준거를 통해 3종류의 Q 행렬에 따른 문항 수준에서의 Q 행렬 타당화의 실제적 의미를 종합적으로 판단하였다. 3종류의 Q 행렬에서 문제풀이에 요구되는 인지요소의 지정에는 차이가 있었으며, Q 행렬 초안과 비교하여 Q 행렬 최종안에서 16개 인지요소의 추가가 결정되었다. Q 행렬 초안과 인공신경망에 근거한 Q 행렬은 67%, Q 행렬 초안과 Q 행렬 최종안은 90% 일치하였다. 3종류의 Q 행렬을 3가지 평가준거(DINA 모형의 문항 모수치, DINA 모형의 에타값과 실제 정답여부 간의 Kappa 계수, 문항 숙달정도와 실제 정답여부 간의 양분상관계수)에 의해 비교한 결과, 일부 문항에서 차이가 있을 뿐 대부분의 문항에서 유사하였다. Q 행렬에 따라 문제풀이에 요구되는 인지요소의 조합에 차이가 있음에도 불구하고 평가 준거에 의한 결과가 유사하다는 것은 인지요소 간의 위계나 상관으로 다양한 문제풀이 전략 등이 존재할 수 있음을 고려할 수 있다. 따라서 본 연구에서는 3가지 평가 준거에 의한 문항별 분석을 실시하여, 구체적인 인지요소의 지정에서 차이가 있는 3종류의 Q 행렬의 실제적 의미를 통해 타당성을 비교하였다. Q 행렬 최종안에서는 Q 행렬 초안과 비교하여 인지요소가 추가로 지정된 문항 중에서 9번 문항의 추측 모수가 약 .113로 다소 증가하였다. 그러나 나머지 문항에서는 Q 행렬 최종안에서 인지요소의 추가에도 불구하고 Q 행렬 초안과 비교하여 추측 모수가 유사하므로 Q 행렬 타당화 과정을 통해 추가된 인지요소가 문제풀이에 불필요하게 추가되지 않음을 알 수 있었다. 또한 Q 행렬 초안, 인공신경망에 근거한 Q 행렬, Q 행렬 최종안에 의한 전체 20문항의 평균 Kappa 계수와 양분상관계수는 대부분의 문항에서 유사하였다. 16번 문항은 Q 행렬 초안과 비교하여 Q 행렬 최종안에서 인지요소 C가 추가되면서 실제 피험자의 정답 여부와의 분류 일치도 및 상관이 높아졌다. 본 연구에서는 인공신경망에 근거한 Q 행렬을 내용 전문가에 의한 최종 의사결정의 정보로 제공하였다. 즉, 본 연구는 피험자의 인지구조를 반영한 인공신경망에 근거한 Q 행렬을 내용 전문가에게 Q 행렬 초안 제작 과정에서 합의가 어렵거나 간과한 부분을 점검할 수 있는 최종 의사결정의 정보로 제공하는 것을 목적으로 한다. 그러나 경험적 자료에 근거한 분석 결과 역시 표집 오차, 수렴 실패, 제한적인 일반화 등의 한계가 존재하므로, 내용 전문가의 합의로 도출된 지식과 경험적 자료에 근거하여 도출된 지식을 비교 분석하여 절충한다면 보다 타당한 지식의 도출이 가능할 것으로 판단하였다. 인공신경망에 근거한 Q 행렬을 문항과 인지요소의 관계에 대한 결정적 지식으로 해석하기 보다는 내용 전문가의 최종 의사결정을 돕는 보조적 지식으로 해석하기를 기대한다.