연합학력평가 정치 과목의 문항 난이도 영향 요인 및 주요 특성 분석

Abstract

본 연구의 목적은 수능 등 각종 평가 시험에서 채택하고 있는 선다형 문제에 있어서 적정 난이도 및 변별도 유지를 중요한 과제로 보고, 사회탐구 영역「정치」과목의 문항 난이도 영향 요인 및 그 특성을 파악하고자 하였다. 2005~2009년 3월과 10월, 총 10회에 걸쳐 서울시 교육청이 주관하고 한국교육과정평가원(KICE)이 출제하여 시행된 고등학교 3학년 연합학력평가 사회탐구영역「정치」과목의 5지 선다형 200개 문항을 대상으로 살펴 본 바 변별도 평균은 0.38로서 비교적 잘 이루어지고 있으나, 난이도 조절에 있어서는 문제를 보이고 있다. 출제자의 예상 정답률과 수험자의 실제 정답률 차이는 7.2%에 달하고, 구간별 난이도 분포가 고르지 못하며, 특히 최근 2회에 들어서 그 차이가 더욱 심화되고 있다. 이러한 문제를 해결하기 위해서는 문항 난이도에 영향을 주는 요인들을 파악하고 이를 반영한 문항 출제를 통하여 난이도를 올바르게 예측하는 것이 필요하다고 생각하여, 이양락 등(2006)이 추정한 영역별 문항 난이도 영향 요인 중 사회 탐구 분야에 대한 분석 준거를 토대로 “1. 내용 영역, 2. 행동 영역, 3. 단원 내용 수, 4. 개념·원리 수, 5.자료 탐구성, 6. 교과 개념, 7. 자료 형태, 8. 자료 내용, 9. 자료 출처, 10. 문항 형식, 11. 답지 구성 방식”에 “12. 답지 매력도”를 추가하여 총 12개의 문항 난이도 영향 요인 및 특성을 분석하였다. 분석 내용 및 방법은 한국교육과정평가원이 제공한 문항 난이도 및 변별도 등에 관한 기초자료를 바탕으로 EXCEL 프로그램을 활용하여, 최대 6단계(1.총 문항에 대한 요인별 정답률 분석, 2.정답률 고·저 문항의 요인별 정답률 분석, 3.정답률 고·저 문항의 요인별 점유율 분석, 4.정답률 고·저 문항의 요인별 내용 목표 분석, 5.정답률 고·저 문항의 요인별 행동 목표 분석, 6.정답률 고·저 문항의 주요 문항 사례 분석)에 걸쳐 상세 분석을 실시하였다. 본 연구의 분석 결과를 요약하면 다음과 같다. 첫째, ‘A. 난이도 영향 요인별 정답률 고·저 문항 분석’의 연구 결과는, 1. 정답률이 높은 문항(정답률 60% 이상)은 1) 내용 영역 ‘민주적 정치문화’, ‘현대 정치과정과 참여’, ‘정치발전의 의미’ 등, 2) 행동 영역 ‘문제 파악 및 인식’, ‘결론 도출 및 평가’, 3) 개념·원리 수 ‘1개’, 4) 자료 탐구성 ‘있음’, 5) 교과 개념 ‘없음’, 6) 자료 형태 ‘텍스트형’, 7) 자료 내용 ‘생활’, 8) 자료 출처 ‘교과서 외’, 9) 문항 형식 ‘최선답형’, 10) 답지 구성 요소 수 ‘1개’의 특성이 있어, 이러한 요인들이 상당 수준 정답률을 높일 수 있는 것으로 분석되었다(최소 자료 내용 2.3%, 최대 행동 영역 7.3%, 합계 49.1%). 단원 내용 수 및 답지 매력은 정답률을 높이는 특성으로 작용하지 않았다. 2. 정답률이 낮은 문항(정답률 40% 미만)은 1) 내용 영역 ‘통치기구’, ‘선거와 참여’, ‘민주정치와 정부형태’ 등, 2) 행동 영역 ‘개념 및 원리 이해’, ‘자료 분석 및 해석’, 3) 개념·원리 수 ‘2개’, 4) 자료 탐구성 ‘없음’, 5) 교과 개념 ‘있음’, 6) 자료 형태 ‘텍스트+비텍스트 혼합형’, 7) 자료 출처 ‘교과서 내’, 8) 문항 형식 ‘정답형’, ‘합답형’, 9) 답지 구성 요소 수 ‘2개’ 및 ‘선택지 수 4개’, 10) 답지 매력 ‘있음’의 특성이 있어, 이러한 요인들이 상당 수준 정답률을 낮출 수 있는 것으로 분석되었다(최소 자료 탐구성 0.3%, 최대 내용 영역 9.6%, 합계 71.9%). 단원 내용 수는 정답률을 낮추는 특성으로 작용하지 않았다. 둘째, ‘B. 난이도 영향 요인별 실제-예상 정답률 분석’의 연구 결과는, 예상 정답률 구간(폭20%) 내에 실제 정답률이 분포한 문항은 전체 200문항 중 73문항(36.5%)에 불과하여 문항 난이도 예측에 상당한 문제를 보였다. 이는 앞서 연구한 정답률을 높이거나 낮추는 문항 난이도 영향 요인에 대하여 출제자가 갖고 있는 인식 부족 또는 오해의 정도와 함께 회차별 학생들의 학습 능력 수준이 복합적으로 작용하여 나타난 결과라고 할 수 있다. 정답률이 높은 문항(72개)에 대한 ‘실제-예상 정답률’ 차이 요인을 보면, 실제 정답률이 예상 정답률보다 높은 문항은 32문항이고, 실제 정답률이 예상 정답률 보다 낮은 문항은 9문항으로 내용 영역, 행동 영역, 개념 원리, 자료 탐구, 교과 개념, 자료 형태, 자료 출처, 문항 형식, 답지 구성, 과도 매력 오답지 등의 정답률이 높은 특성이 예상 정답률 예측시 제대로 반영되지 않은 것이 주요인이었다. 정답률이 낮은 문항(51개)에 대한 ‘실제-예상 정답률’ 차이 요인을 보면, 실제 정답률보다 예상이 낮은 문항은 없고, 실제 정답률보다 예상이 높은 문항은 43문항으로 84.3%로 내용 영역, 행동 영역, 교과 개념, 자료 내용, 문항 형식, 답지 구성, 답지 매력 등 정답률이 낮은 특성이 예상 정답률 예측시 제대로 반영되지 않은 것이 주요인이다. 셋째, ‘C. 이 연구 결과와 선행 연구에 대한 비교 분석’의 연구 결과는, 이 연구와 유사한 3개의 문항 난이도 영향 요인에 관한 선행 연구를 비교하였을 때 상당 부분 유사한 결과를 나타내고 있어 연구 결과에 대한 타당성 및 신뢰성을 확인할 수 있었다. 다만, 자료 출처에서 김진구(2009)의 연구 결과와 상이한 결과를 보였고, 문항 형식, 답지 구성에 있어서 약간의 차이를 보였다. 이는 탐구영역 간에는 물론 사회탐구 내에서도 과목별로 갖고 있는 특성 때문인 것으로 여겨지나, 앞으로 연구가 더 필요한 부분이다. 이 연구 결과 도출된 시사점은 다음과 같다. 1. 이 연구에서 도출된 문항 난이도 특성을 참고하여 선다형 문항 출제에 활용한다. 2. 영향 요인별 출제 비율 기준 설정을 통하여 난이도를 조절하고, 문항의 질을 높인다. 3. 이원 분류표에 의거하여 내용 영역과 행동 영역을 균형 있게 배분하고 평가하도록 한다. 4. 실제-예상 정답률 차이에 대한 출제자나 교사의 인식 부족이나 오해를 해소한다. 5. 지속적인 피드백을 통하여 난이도 영향 요인의 변화 내용을 조정 및 활용토록 한다. 문항 난이도 영향 요인 상호 간에 복합적으로 작용할 수 있다는 점이 이 연구의 한계로 지적할 수 있으므로, 상관관계 분석(correlation analysis), 회귀 분석(regression analysis)과 같은 통계적 방법을 활용하여 추정 모형을 개발하는 등의 연구들이 후속으로 수행될 필요가 있다. 또한 이 연구에서 다루지 못한 난이도 영향 추정 요인을 비롯하여 사회탐구 영역 내의 다른 과목들은 물론 여타 영역의 문항 난이도에 대한 연구가 심층적으로 활발하게 이루어져야 할 것이다.;Standardized tests such as the College Scholastic Ability Test(CSAT) or the Nationwide Scholastic Aptitude Test(NSAT) are made up of multiple-choice questions. Multiple-choice questions have a high level of objectivity and efficiency in evaluating a large number of test takers. Item difficulty and item discrimination are highly important in terms of creating multiple-choice questions. The purpose of this study is to analyze the influential factors of the item difficulty on the Political Studies in the Nationwide Scholastic Aptitude Test(NSAT). To achieve the purpose, the researcher used the 200 questions of NSAT from the year 2005 to 2009 conducted by the Seoul Metropolitan Office of Education as the subject of analysis. Although the average level of item discrimination of the above test was relatively good, the adjustment of item difficulty gave rise to some significant problems. The actual average correct- answer rate was 7.2% lower than the estimated average correct-answer rates. And many of the actual correct-answers was not in its own estimated correct-answer range. Furthermore, these problems rapidly became worse in the latest two tests. The analysis criteria consists of 12 item difficulty factors: ① content domain, ② behavioral domain, ③ number of unit content, ④ number of concept and principle, ⑤ inquiring disposition of materials, ⑥ fundamental concept of subject, ⑦ form of materials, ⑧ content of materials, ⑨ source of materials, ⑩ form of question, ⑪ format of answer choices, ⑫ attractiveness of distractors. The findings through this study are as follows: First, the analysis results of influential factors in item difficulty are as follows. 1. Questions with high percentage of correct answers(higher than 60%) present these characters. ① contents domain: 'democratic political culture', 'modern political process and participation', 'meaning of political progress', ② behavior domain: 'identification and recognition of questions', 'conclusion and evaluation', ③ number of unit content: non-correlation, ④ number of concept and principle: one, ⑤ inquiring disposition of materials: presence, ⑥ fundamental concept of subject: absence, ⑦ form of materials: text, ⑧ content of materials: living, ⑨ source of materials: out of textbook, ⑩ form of question: best answer type item, ⑪ element number of answer choices: one element, ⑫ attractiveness of distractors: non-correlation. 2. Questions with low percentage of correct answers(lower than 40%) present these characters. ① contents domain: 'government organs', 'election and participation', 'democracy and a form of government', ② behavior domain: 'comprehension of concept and principle', 'analysis and interpretation of data' ③ number of unit content: non-correlation, ④ number of concept and principle: two, ⑤ inquiring disposition of materials: absence, ⑥ fundamental concept of subject: presence, ⑦ form of materials: text + non-text, ⑧ content of materials: learing, ⑨ source of materials: in the textbook, ⑩ form of question: absolutely correct type item, combined-response variety, ⑪ element number of answer choices: two elements, ⑫ attractiveness of distractors: presence. Second, according to the analysis result of item difficulty factors and estimated item difficulty, only 73(36.5%) items of the total 200 are distributed in the actual correct-answer rate within the correct-answer estimated rate range. This study finds that the gap between the estimated item difficulty rate and the actual item difficulty rate comes from the exam writer‘s misunderstandings about the influential factors in item difficulty. Lastly, the result of this study shows same result with other three similar precedent studies except the source of materials of item difficulty factors. So this study gains credibility and validity considerably. The implications from this study are as follows: First, the characteristics of item difficulty provided in this study can be used to develop multiple-choice questions and contribute to raise the quality of items. Second, it is required to set questions in balance of content domain and behavioral domain before the evaluation. Third, examiners and teachers are recommended to overcome a lack of understanding and misunderstanding in the gap between the actual and estimated correct-answer rate. Lastly, continuous feedback and follow-up studies(e.g. correlation analysis and regression analysis) are needed to develop the analysis of influential factors in item difficulty.