View : 735 Download: 0

수행평가 도구의 성별에 따른 차별기능문항 추출 및 추출방법 비교

Title
수행평가 도구의 성별에 따른 차별기능문항 추출 및 추출방법 비교
Other Titles
Detection of gender-related DIF and comparison of DIF procedures in a performance assessment
Authors
송미영
Issue Date
2001
Department/Major
대학원 교육학과
Publisher
이화여자대학교 대학원
Degree
Doctor
Abstract
In recent years, there has been an increased interest in the use of performance assessments (PA) and the increased emphasis on various types of PA raises the question of what the effect of such assessments on various population subgroups is. The detection of differential item functioning (DIF) can be helpful in investigating the effective subpopulations of the introduction of performance tasks. The purposes of this study are to detect a gender-related DIF, to find out a relevant procedure and an appropriate matching variable for detecting DIF, and to investigate the causes of gender-related DIF in a PA. For these purposes, the generalized Mantel- Haenszel procedure, Logistic discriminant function analysis procedure, procedure based on Multiple-Group Partial Credit Model, and procedure based on Many-Faceted Rasch Model were applied to detect DIF. Each method used both the measure of a PA and the combined measure of a PA & a MC test to match examinees. And results by using the four methods were compared through correlation coefficients and the degree of agreement. Also, with analyzing contents and distinct features of DIF flagged by at least two of the four methods, an attempt was made to identify the factors that influence DIF. For these purposes of this study, the response data of 135 men and 103 women of a PA 6 tasks and a multiple-choice (MC) test containing 20 items for elementary 6th grade mathematics were analyzed. The performance sample of 238 students were rated respectively 0-4 points for based on analytic scoring rubrics and holistic scoring rubrics by 8 raters. Technical qualities of assessment instruments were analyzed before detecting DIF and the results are as follows: The reliability in MC test and inter-rater reliability in PA were generally high. The correlation between a measure of PA and a measure of MC test were also high. And the factor analysis of PA & MC confirmed that there could be only one dimension out of all items. As a result of this study, the general Mantel-Haenszel method detected three scoring demensions in analytic scoring and one task in holisic scoring in the case that the combined measure matched examinees. Logistic discriminant function analysis procedure detected two scoring demensions in analytic scoring in the case that the PA measure matched examinees and three scoring demensions in analytic scoring and one task in holistic scoring in the case that the combined measure matched examinees. The procedure based on Multiple-Group Partial Credit Model detected seven scoring demensions in analytic scoring and three task in holistic scoring in the case that the PA measure matched examinees, and ten scoring demensions in analytic scoring and one task in holisic scoring in the case that the combined measure matched examinees. The procedure based on Many-Faceted Rasch Model detected one task in holisic scoring in the case that the combined measure matched examinees. This study found that the procedure based on Multiple-Group Partial Credit Model was tended to more DIF and the procedure based on Many-Faceted Rasch Model was tended to less DIF. Also this study found that more appropriate matching variable for detecting DIF in PA was a combined measure of PA and multiple-choice test than a measure of PA. In conclusion, this study proposed to analyze the contents of DIF items beyond detecting DIF and to examine and compare the DIF procedures using simulated data. It is desirable to compare results of variety methods and to analyze the cause of DIF through a content analysis. The content analysis will help to set a curriculum and to improve a instructional method. And the simulation study will help to select a DIF procedure in several different conditions such as sample size, test length, the type of DIF and so on. ; 교육이 진행되는 과정에서 계속적이고 종합적으로 평가활동이 일어나며, 그 도구로 검사가 활용된다. 검사를 구성하고 있는 선택형 문항이나 수행평가 과제에 응답한 피험자의 반응으로부터 직접 관찰이 불가능한 피험자의 능력을 정확하고 타당하며 공정하게 추정해야 한다. 최근 들어 각광을 받고 있는 수행평가에는 전통적인 선택형 검사보다 검사의 구인 이외의 요소가 개입될 가능성도 적지 않으며, 일반적으로 수행평가는 적은 수의 과제로 구성되어 있기 때문에, 만약 부적절한 구인이 측정 결과에 영향을 미칠 경우에는 선택형 검사보다 더 문제가 심각할 수 있다. 검사도구의 공정성을 진단하는 측정학적 접근은 검사의 구성 단위인 문항이 하위 집단에 따라 차별적으로 기능하는지를 통계적 방법으로 조사하는 것이다. 이 연구에서는 다분 차별기능문항을 추출하기 위한 네 가지 방법들을 실제 자료에 적용하여 초등학교 수학과 수행평가 도구에서 성별에 따라 차별적으로 기능하는 과제를 추출하고, 각 추출 방법에 의한 추출 결과를 서로 비교하였다. 또한 두 가지 이상의 방법에서 차별기능문항으로 추출된 수행 과제의 내용과 특성을 분석하여 어떤 요소가 차별기능을 야기하는지를 분석하였다. 이 연구에서 분석한 자료는 6차 초등학교 6학년 수학과 교육과정 중 방정식, 비와 비례배분, 경우의 수 등 관계 영역과 관련된 수학적 문제해결력을 측정하는 6개의 수행평가 과제, 그리고 이와 동일한 내용영역에 대한 20개의 선다형 문항에 남학생 135명, 여학생 103명, 총 238명의 학생이 응답한 자료이었다. 차별기능문항을 추출하는 데 적용한 방법은 일반화된 Mantel-Haenszel 방법, 로지스틱 판별분석 방법, 다집단 일반적 부분점수 모형 방법, 다국면 Rasch 모형 방법이었으며, 이 때 남학생 집단과 여학생 집단의 능력 수준을 조건화 하는 대응변수로 사용한 피험자 능력 측정치는, 수행평가 도구에 의한 측정치와, 수행평가 도구 및 선다형 검사에 의한 측정치이었다. 일반화된 Mantel-Haenszel 방법에 의하면, 수행평가 점수를 대응변수로 사용한 경우는 분석적 채점 결과와 총괄적 채점 결과에서 차별기능문항으로 추출된 과제가 없었으며, 수행평가와 선다형 검사의 전체총점을 대응변수로 사용한 경우는 분석적 채점 결과에서 3개의 채점요소, 총괄적 채점 결과에서 1개의 과제(도보여행)가 차별기능문항으로 추출되었다. 로지스틱 판별분석 방법에 의하면, 수행평가 점수를 대응변수로 사용한 경우는 분석적 채점 결과에서 2개의 채점요소가 차별기능문항으로 추출되었고, 총괄적 채점 결과에서 차별기능문항으로 추출된 과제가 없었으며, 수행평가와 선다형 검사의 전체총점을 대응변수로 사용한 경우는 분석적 채점 결과에서 3개의 채점요소가, 총괄적 채점 결과에서 1개의 과제(도보여행)가 차별기능문항으로 추출되었다. 다집단 일반적 부분점수 모형에 의하면, 수행평가에 의한 피험자 모수 추정치를 대응변수로 사용한 경우는 분석적 채점 결과에서 7개의 채점요소가, 총괄적 채점 결과에서 3개의 과제가 차별기능문항으로 추출되었으며, 수행평가와 선다형 검사에 의한 피험자 모수 추정치를 대응변수로 사용한 경우는 분석적 채점 결과에서 10개의 채점요소가, 총괄적 채점 결과에서 1개의 과제가 차별기능문항으로 추출되었다. 다국면 Rasch 모형에 의하면, 수행평가에 의한 피험자 모수 추정치를 대응변수로 사용한 경우는 분석적 채점 결과와 총괄적 채점 결과에서 차별기능문항으로 추출된 과제가 없었으며, 수행평가와 선다형 검사에 의한 피험자 모수 추정치를 대응변수로 사용한 경우는 분석적 채점 결과에서 차별기능문항으로 추출된 과제가 없었고, 총괄적 채점 결과에서 1개의 과제가 차별기능문항으로 추출되었다. 각 추출 방법에 의해 추출된 차별기능문항의 수를 비교하면, 다집단 일반적 부분점수 모형에 의해서 차별기능문항으로 추출된 과제나 채점요소의 수가 다른 세 가지 방법에 의해 차별기능문항으로 추출된 과제나 채점요소의 수에 비해 상대적으로 많았고, 다국면 Rasch 모형은 다른 세 가지 방법에 비해 상대적으로 적은 수의 과제나 채점요소를 차별기능문항으로 추출하였다. 각 추출 방법에 의해 추출된 차별기능문항이 일치하는 정도를 대응변수에 따라 비교하면, 대응변수로 수행평가에 의한 피험자 능력 측정치를 사용한 경우보다 수행평가와 선택형 검사에 의한 피험자 능력 측정치를 사용한 경우에 추출 결과가 일치하는 방법이 많았다. 이러한 사실로부터 수행평가에 의한 피험자 능력 측정치를 대응변수로 사용하는 것보다 수행평가와 선택형 검사에 의한 피험자 능력 측정치를 대응변수로 사용하는 것이 차별기능문항을 추출한 결과가 더 정확할 가능성이 높다고 유추할 수 있다. 다분 문항에서 차별기능문항을 추출하는 방법들을 수행평가 도구에 적용한 결과, 수행평가 도구에 성별에 따라 차별적으로 기능하는 과제가 있었으며, 추출 방법에 따른 추출 결과가 언제나 일치하는 것은 아니었다. 따라서 학교 현장에서는 다분 차별기능문항을 추출하는 여러 가지 방법을 사용하여 현재 활용하고 있는 수행평가 도구의 차별기능을 점검해 볼 필요가 있으며, 수행평가 도구에서 측정하고자 하는 내용이나 특성을 측정하는 선택형 검사가 있다면, 수행평가와 선택형 검사에 의해 동시에 피험자 능력 측정치를 대응변수로 사용하는 것이 수행평가에 의해 측정한 것만을 사용하는 것보다 더 정확한 결과를 얻을 수 있다. 두 가지 이상의 방법에 의해서 차별기능문항으로 추출된 도보여행 과제의 차별기능의 원인을 발견하기 위하여 평가내용과 측정학적 특성에 대해 분석하였다. 도보여행 과제는 방정식이나 비와 비례배분에 대한 이해가 요구되는 과제로서, 능력수준 1.0 이하에서는 여학생에게 유리하고 능력수준 1.0 이상에서는 남학생에게 유리한 비일방적 차별기능문항이었다. 수행과제에 대한 학생들의 응답자료를 분석한 결과, 여학생의 수학적 능력이 남학생의 수학적 능력에 비해 낮다고 보는 것이 적절하며, 방정식이나 비와 비례배분이 여학생에게 유리한 내용영역이라고 볼 만한 근거는 없었다. 이 연구에서 분석한 자료의 성격상 선행지식의 습득 기회에 대해 추적하기 어려웠기 때문에, 수행평가 과제를 수행하기 위한 선행지식을 습득할 기회가 동등하였는지 등에 대한 질적인 분석은 이루어지지 않았다. 차별기능문항의 원인을 밝히고 결정하는 일은 쉽지 않으나 타당하고 공정한 평가도구의 개발을 위해서 평가 내용이나 문항특성 외에 과제가 다루고 있는 소재 등 차별기능의 원인으로 고려될 수 있는 요소들을 탐구하고 확인하려는 노력이 요구된다. 뿐만 아니라 차별기능문항과 차별기능을 야기하는 요소들이 밝혀지면 중립적으로 기능하도록 평가도구를 수정하고 교육과정이나 교수방법의 변화가 이루어져야 할 것이며, 차별기능의 영향을 통제·조절한 새로운 측정치, 즉 차별기능으로부터 자유로운 측정치를 산출할 수 있는 통계적 절차를 개발하려는 노력이 필요하다. 실제 자료를 사용하여 차별기능문항을 추출하고, 그 결과를 기초로 추출방법들을 비교하는 것은 실제 상황에서 차별기능문항을 추출하는 방법들의 유용성을 평가하는 기회를 제공한다. 그러나 실제 자료에 의한 추출방법간 비교는 한 자료에서 얻은 결과를 다른 자료에 어느 정도 일반화할 수 있을지는 단정적으로 말할 수 없다. 어떤 문항이 차별기능하지 않는데 차별기능한다고 판정할 제 1종 오류를 범할 수도 있고, 그 반대의 제 2종 오류를 범할 수도 있다. 따라서 다양한 검사 상황에 대한 모의자료를 대상으로 한 Monte Carlo 연구를 통하여 일반화의 근거를 마련하는 작업이 후속되어야 한다. 이상에서 제언한 바와 같이 학교 현장에서는 각종 평가도구의 차별기능을 검색하여 타당하고 공정한 평가도구의 개발과 교육과정과 교수·학습의 평가 및 개선에 도움되는 정보를 얻을 수 있도록 노력해야 할 것이며, 이러한 역할을 성공적으로 수행하기 위해서 차별기능문항에 대한 연구들이 다각적으로 끊임없이 지속되어야 할 것이다.
Fulltext
Show the fulltext
Appears in Collections:
일반대학원 > 교육학과 > Theses_Ph.D
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

BROWSE