View : 743 Download: 0

인지진단을 위한 진단적 준거설정과 교육적 활용

Title
인지진단을 위한 진단적 준거설정과 교육적 활용
Other Titles
The Diagnostic Standard Setting Method for Cognitive Diagnosis and Educational Utilization
Authors
김경리
Issue Date
2012
Department/Major
대학원 교육학과
Publisher
이화여자대학교 대학원
Degree
Doctor
Advisors
성태제
Abstract
To provide students with learner-oriented tailored education in a Criterion-Referenced Evaluation system, constructing a learning group with specific identification of students' latent abilities and multi-dimensional traits makes it effective. To specifically diagnose such students' abilities and classify the students according to their various traits, application of Cognitive Diagnostic Model(CDM) enables a scientific and systematic analysis of students' academic achievement data. When the students are classified with application of CDM, methods of setting standards vary with the purpose of evaluation. If the purpose of classifying the students is to check whether students have reached pre-set learning goals, one method involves Diagnostic Standard Setting where a group of specialists predict and set the standards. If the purpose of classifying the students is to confirm execution possibility according to knowledge acquired by students through education, another method involves estimating parameters with application of CDM in a statistical manner for the standards. Thus in the present study, diagnostic standard setting and statistical methods were applied as a standard setting method of multi-dimensional classification for the students with a generalized model of LCDM among cognitive diagnostic models. Particularly, a more accurate method of parameter estimation has been suggested with the use as an LCDM parameter's initial value of the response probability calculated by a diagnostic standard setting method, and the learning pathway and the cognitive diagnostic scoring report dependent on students' traits have been proposed based on the analysis results. As an analysis method for this, to first classify the students according to reaching status at pre-set learning goals, a diagnostic standard setting method has been applied where a group of specialists predict students' performance for 14 questions corresponding to the numbers domain among TIMSS 2007 math test. Secondly, to classify the students by statistically estimating LCDM parameters, students' response data for 14 questions in the TIMSS 2007 numbers domain were analyzed. Here, for more accurate parameter estimation and effective analysis execution, the response probability calculated by a diagnostic standard setting method was designated as an initial value for LCDM item parameter for the analysis. Thirdly, through a comparison analysis between a mastery profile and an IRT ability parameter, a learning path suited to the characteristics of students classified as a mastery profile was searched, and a scoring report including CDM information about the students was suggested. Major results obtained through the present study are as follows. First, to implement the diagnostic standard setting method, 22 specialists of math education in junior high schools constituted a standard setting group, who predicted the students' performance as per the latent class for open questions in a TIMSS 2007 number domain. As a result of evaluating the diagnostic standard setting method according to the internal criteria based on calculated results, the intra-panelist consistency was shown to be highest in the second and the third ratings and the inter-panelist consistency became higher with continued ratings, indicating that scoring according to the internal criteria in a diagnostic standard setting method was valid. Also, when a questionnaire survey was conducted for panelists to evaluate the standard setting procedure, positive response was shown for all including clarity for understanding the concept of a standard setting method, practical application possibility of a standard setting method, and helpfulness of feedback data provided between ratings with actual guidance experience for students and feedback data shown to exert the greatest influence on standard setting Secondly, when the students were classified with a LCDM parameter statistically estimated, the response probability calculated by a diagnostic standard method was designated as an initial value for the item parameter followed by analysis for more accurate parameter estimation and effective analysis execution. As a result, upon comparison with the results analyzed without designating an initial value, the model fit with an initial value designated for analysis was higher with an increased possibility of convergence, and shortening of analysis execution time was confirmed. As a result of estimating LCDM item parameter, the item parameter could be analyzed according to a cognitive diagnostic model suited to each item's characteristics, as each item followed various CDM's. As a result of estimating LCDM subject parameter, 301 students were classified into 10 kinds of mutually different mastery profiles. Also, a linear attribute hierarchy was shown among 4 kinds of attributes, whole numbers, fractions and decimals, number sentences, whereas no hierarchy structure was observed between patterns and relationships and the remaining attributes. Thirdly, when LCDM parameter and IRT parameter were compared and analyzed to confirm if some attribute was mastered in addition as per mastery profile and ability parameter could be effectively enhanced, the ability parameter increased more when patterns and relationships were first mastered than when other attributes were in the case no attribute was mastered. This was followed by the more increase in the ability parameter when fractions and decimals were mastered. Also, with the students who mastered whole numbers, the ability parameter increased more when patterns and relationships were first mastered in addition than when other attributes were, followed by the more increase in the ability parameter when mastery was achieved in the order of number sentences and whole numbers. With the students who mastered number sentences as well as patterns and relationships, the ability parameter increased more when whole numbers were mastered in addition than when other attributes were. With the students who mastered whole numbers and number sentences, the ability parameter increased more when fractions and decimals were mastered additionally than when other attributes were. Fourth, considering learning paths as per mastery profile based on attribute hierarchy, effective order of attribute mastery as per mastery profile, and math subject specialist council, for students' ability improvement in the number domain, whole numbers should be mastered first of all, followed in the order by number sentences, fractions and decimals, patterns and relationships to be effective. In the case of students who mastered only patterns and relationships, mastering in the order of whole numbers, fractions and decimals, and number sentences was shown to be effective while in the case of students who mastered number sentences as well as patterns and relationships, mastering in the order of whole numbers, fractions and decimals was effective. Also, if it were the students who mastered fractions and decimals along with patterns and relationships, then mastering in the order of whole numbers and number sentences was suggested to be effective. Finally, based on all study results, a cognitive diagnostic scoring report was suggested which diagnosed students' abilities and traits for the numbers domain and suggested an effective learning pathways able to supplement the deficient parts. Conclusions obtained through the present study results are as follows. First, the diagnostic standard setting method has a great value in that a time for computer program execution may be shortened and model fit together with convergence possibility may be enhanced by designating response probability as per the latent class for each item as predicted by a diagnostic standard setting method as an initial value for the LCDM item parameter for statistical analysis. Secondly, it is noteworthy that a new approach was attempted through a diagnostic standard setting method where LCDM item parameter is set reflecting specialists' opinions rather than an existing statistical method. Thirdly, the process of calculating response probability by a diagnostic standard setting with LCDM item parameter follows Bayes' theorem. This involves direct setting of response probability calculated by a diagnostic standard setting method as LCDM item parameter to estimate a respondent parameter and may be considered a scientific and systematic parameter estimation method for a model in that pre-information of specialists' opinion meets with a new information of students' item response data to provide post-information of respondent information. Fourth, in the present study, utility and application possibility have been enhanced through learning pathways tailored to learners' traits along with cognitive diagnostic scoring report that may be utilized directly as teaching and learning method. In this study, it was suggested that teaching and learning direction may be suggested by specifically diagnosing diverse traits of children with under-achievement with application of a cognitive diagnostic model. However, since the data analyzed in the present study had a cognitive diagnostic model applied to TIMSS 2007 items rather than a test tool based on cognitive diagnosis theory, there were constraints form the work connecting test items and attributes and limitations when analysis results were interpreted as well. Therefore, to maximize the advantages of such cognitive diagnostic model for utilization, suggestions may be made for follow-up studies as follows. First, if cognitive diagnostic theory is used as a basis for design, execution, analysis and report beginning with a test production stage, then students' cognition processes and structures may be analyzed more specifically and accurately. If academic achievement evaluation on a national level is constructed based on such cognitive diagnostic theory and the evaluation results are reported in a cognitive diagnostic manner, then a great effect may be expected for improvements in teaching and learning method. Secondly, if attributes and Q-matrix are standardized for construction as per subject or domain on a national level followed by preparation of items and development of computer programs that can calculate cognitive diagnostic scoring reports so that teachers can readily obtain students' cognitive diagnostic information, then effective improvements in learning could be made since only students' response data for the items need to be inputted on the school fields to simply access information on students' cognitive strengths and weaknesses.;준거참조평가 체제에서 학습자 중심의 맞춤형 교육을 학생들에게 제공하기 위해서는, 학생들의 잠재적인 능력과 다차원적인 특성을 구체적으로 파악하여 학습집단을 구성해야 효과적이다. 이러한 학생들의 능력을 구체적으로 진단하고, 여러 가지 특성으로 학생들을 분류하기 위해서는 인지진단모형을 적용하면 학생들의 학업성취도 자료를 과학적이고 체계적으로 분석할 수 있다. 인지진단모형을 적용하여 학생들을 분류하고자 할 때 평가의 목적에 따라 준거를 설정하는 방법이 다르다. 한 가지 방법은, 학생들을 분류하고자 하는 목적이 학생들이 사전에 설정한 학습목표에 도달하였는지 확인하는 것이라면 준거를 전문가 집단이 예측하여 설정하는 진단적 준거설정 방법에 의해 설정할 수 있다. 또 다른 방법은, 학생들을 분류하고자 하는 목적이 학생들이 교육을 통해 습득한 지식에 따른 수행 가능성을 확인하는 것이라면 준거를 통계적 방법으로 인지진단모형을 적용하여 모수를 추정할 수 있다. 이에 본 연구는 인지진단모형 중 일반화 모형인 LCDM으로 학생들을 다차원적으로 분류하는 준거설정 방법인 진단적 준거설정 방법과 통계적 방법을 적용하였다. 특히 진단적 준거설정 방법으로 산출한 응답확률을 LCDM 모수의 초기값으로 활용하여 더욱 정확한 모수 추정 방법을 제시하였고, 분석 결과를 토대로 학생 특성에 따른 학습경로와 인지진단적 평가 결과표를 제시하였다. 이를 위한 분석 방법으로는 첫째, 사전에 설정한 학습목표에 대한 도달여부로 학생들 분류하고자, TIMSS 2007 수학검사 중에서 수(Numbers) 영역에 해당하는 14개 문항에 대하여 전문가 집단이 학생들의 수행을 예측해보는 진단적 준거설정 방법을 적용하였다. 둘째, 통계적으로 LCDM 모수를 추정함으로써 학생을 분류하고자 TIMSS 2007 수 영역 14개 문항의 학생 응답 자료를 분석하였다. 이때 더욱 정확한 모수 추정과 효과적인 분석 실행을 위하여 진단적 준거설정 방법으로 산출한 응답확률을 LCDM 문항모수의 초기값으로 지정하여 분석하였다. 셋째, 분석 결과 나타난 숙달 프로파일과 IRT 능력모수와의 비교 분석을 통해 숙달 프로파일로 분류되는 학생들의 특성에 적합한 학습경로를 탐색하였고, 학생에 관한 인지진단적 정보가 포함된 평가 결과표를 제시하였다. 본 연구를 통해 얻은 주요 결과는 다음과 같다. 첫째, 진단적 준거설정 방법을 시행하기 위하여 중학교 수학교육 전문가 22명을 준거설정 집단으로 구성하였고, 이들은 TIMSS 2007 수 영역 공개 문항에 대하여 잠재집단별로 학생들의 수행을 예측하였다. 산출 결과를 토대로 내적 준거에 따라 진단적 준거설정 방법을 평가한 결과, 2차와 3차 평정은 준거설정자내 일치도가 가장 높았고, 평정이 계속될수록 준거설정자들 간의 일치도가 높아져서 진단적 준거설정 방법에서 내적 준거에 따른 평가 결과는 타당한 것으로 밝혀졌다. 또한 준거설정 절차를 평가하기 위하여 준거설정자들을 대상으로 설문조사를 실시한 결과, 준거설정 방법 개념 이해의 명확성, 준거설정 방법의 실용가능성, 평정 사이에 제공된 피드백 자료의 도움 정도에 대해 모두 긍정적인 반응을 보였고, 실제 학생 지도 경험과 피드백 자료가 준거를 설정하는데 있어 가장 많은 영향을 주는 것으로 나타났다. 둘째, 통계적 방법으로 LCDM 모수를 추정하여 학생들을 분류하고자 할 때, 더욱 정확한 모수 추정과 효과적인 분석 실행을 위해 진단적 준거설정 방법으로 산출한 응답확률을 문항모수의 초기값으로 지정하여 분석하였다. 그 결과 초기값을 지정하지 않고 분석한 결과와 비교하였을 때 초기값을 지정하여 분석한 경우의 모형 적합도가 더 높았고 수렴 가능성이 더 높아졌으며 분석 실행 시간이 단축되었음을 확인하였다. LCDM 문항모수 추정 결과, 각 문항은 다양한 인지진단모형을 따르고 있었으므로 각 문항의 특성에 적합한 인지진단모형에 따라 문항모수를 해석할 수 있었다. LCDM 피험자모수 추정 결과, 301명의 학생들은 10가지 서로 다른 숙달 프로파일로 분류되었다. 또한 4가지 인지요소 중 범자연수, 분수와 소수, 정수 간에는 선형적 위계 구조가 나타났고 비·비례식·백분율은 나머지 인지요소들과 어떠한 위계 구조도 나타나지 않았다. 셋째, LCDM 모수와 IRT 모수를 비교·분석하여 각 숙달 프로파일별로 어떤 인지요소를 추가로 숙달하였을 때 능력모수를 효과적으로 높일 수 있는지 확인한 결과, 어떠한 인지요소도 숙달하지 않은 경우는 비·비례식·백분율을 먼저 숙달할 때 다른 인지요소를 숙달할 때 보다 능력모수가 더 많이 증가하였고, 그 다음으로 분수와 소수를 숙달할 때 능력모수가 더 많이 증가하였다. 또한 범자연수를 숙달한 학생은 추가로 비·비례식·백분율을 먼저 숙달할 때 다른 인지요소를 숙달할 때 보다 능력모수가 더 많이 증가하였고, 그 다음으로 정수, 범자연수 순으로 숙달할 때 능력모수가 더 많이 증가하였다. 정수와 비·비례식·백분율을 숙달한 학생은 추가로 범자연수를 숙달할 때 다른 인지요소를 숙달할 때 보다 능력모수가 더 많이 증가하였다. 범자연수와 정수를 숙달한 학생은 추가로 분수와 소수를 숙달할 때 다른 인지요소를 숙달할 때 보다 능력모수가 더 많이 증가하였다. 넷째, 인지요소의 위계 구조, 효과적인 숙달 프로파일별 인지요소 숙달 순서, 수학교과 전문가 협의회를 토대로 숙달 프로파일별 학습경로를 살펴보면, 학생들의 수 영역에서의 능력 향상을 위해서 범자연수는 모든 인지요소 중 가장 먼저 숙달해야 하고, 다음으로 정수, 분수와 소수, 비·비례식·백분율 순으로 숙달하는 것이 효과적인 것으로 나타났다. 비·비례식·백분율만 숙달한 학생의 경우 범자연수, 분수와 소수, 정수 순으로, 정수와 비·비례식·백분율을 숙달한 학생의 경우 범자연수, 분수와 소수 순으로 숙달하는 것이 효과적인 것으로 나타났다. 또한 분수와 소수, 비·비례식·백분율을 숙달한 학생이라면 범자연수, 정수 순으로 숙달하는 것이 효과적일 것이라 제시하였다. 마지막으로 모든 연구 결과를 토대로 학생들의 수 영역에 대한 능력과 특성을 진단하고 부족한 부분을 보충할 수 있는 효과적인 학습 경로를 제시해주는 인지진단적 평가 결과표를 제시하였다. 본 연구 결과를 통해 얻은 결론은 다음과 같다. 첫째, 진단적 준거설정 방법으로 예측한 각 문항에 대한 잠재집단별 응답확률을 LCDM 문항모수의 초기값으로 지정하여 통계적으로 분석함으로써 컴퓨터 프로그램 실행 시간을 단축하고 모형 적합도와 수렴가능성이 높아질 수 있다는 점에서 진단적 준거설정 방법은 큰 가치를 지닌다. 둘째, 진단적 준거설정 방법을 통해 LCDM 문항모수를 기존의 통계적 방법이 아닌 전문가의 의견을 반영하여 설정하는 새로운 접근법을 시도하였다는 점에 주목할 수 있다. 셋째, 진단적 준거설정에 의한 응답확률을 LCDM 문항모수로 계산하는 과정은 베이지안 방법을 따르고 있다. 이는 사전정보인 전문가의 의견은 새로운 정보인 학생들의 문항 응답 자료와 만나서 사후정보인 피험자 정보를 제공한다는 점에서, 진단적 준거설정 방법으로 산출한 응답확률을 직접적으로 LCDM 문항모수로 설정하여 피험자 모수를 추정하는 것은 과학적이고 체계적인 모형의 모수 추정 방법이라 할 수 있다. 넷째, 본 연구에서는 직접적으로 교수·학습 방법으로 활용될 수 있는 학습자 특성별 맞춤 학습경로과 인지진단적 평가 결과표를 통해 인지진단모형의 효용가치와 적용가능성을 높였다. 본 연구에서는 인지진단모형을 적용함으로써 학습부진아들의 다양한 특성을 구체적으로 진단하여 교수·학습 방향을 제시할 수 있음을 시사하였다. 하지만 본 연구에서 분석한 자료는 인지진단이론에 입각한 검사도구가 아닌 TIMSS 2007 문항에 대해 인지진단모형을 적용하여 분석하였으므로 검사 문항과 인지요소를 연결하는 작업에서부터 제약이 있고 분석 결과를 해석할 때에도 한계점이 있었다. 그러므로 이러한 인지진단모형의 장점을 극대화하여 활용하기 위하여 후속 연구를 위한 제언을 하면 다음과 같다. 첫째, 검사 제작 단계에서부터 인지진단이론에 입각하여 설계하여 시행, 분석, 보고한다면 학생의 인지과정과 인지구조를 더욱 구체적이고 정확하게 분석할 수 있을 것이다. 이러한 인지진단이론에 입각하여 국가수준 학업성취도 평가를 구성하고 그 평가 결과를 인지진단적으로 보고한다면 교수·학습 방법 개선에 큰 효과를 기대할 수 있을 것이다. 둘째, 국가수준에서 과목별 혹은 영역별로 인지요소와 Q행렬을 표준화하여 구성한 후 문항을 제작하여 교사들이 손쉽게 학생들의 인지진단적 정보를 얻을 수 있도록 인지진단적 평가 결과표를 산출할 수 있는 컴퓨터 프로그램을 개발한다면, 학교 현장에서는 문항에 대한 학생들의 응답 자료만 입력하여 간편하게 학생들의 인지적 강점과 약점에 대한 정보를 얻을 수 있으므로 효과적으로 학습을 향상할 수 있을 것이다.
Fulltext
Show the fulltext
Appears in Collections:
일반대학원 > 교육학과 > Theses_Ph.D
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

BROWSE