국가수준 학업성취도 평가 문항 분석

Abstract

The purpose and role of the assessment of national-level academic achievement and the review of the questions for the assessment in their propriety are very important. For it will be helpful in offering useful information for the follow-up test questions and in checking out teaching -learning contents in the general social studies educational sites. This study analyzed the questions for the general social studies achievement in the junior high school set between the years of 2002~2008 which include question trend, behavioral area & achievement criteria, question material forms and contents, assessment pattern, question response based on curriculum. Following are the results. First, the classification of the questions divided into economy, law and society, social culture, politics, the detailed subjects of general studies, showed social culture and politics being similar in their question setting, while law and society showed less question setting compared with other subjects. It seems to be attributed to the weight of each subject in the social studies textbook. Second, the page analysis and questions setting frequency were compared to see if there exits correlation of the textbook made by the criteria for curriculum and the questions for the assessment made based on achievement standard proposed by curriculum, and the result showed about 60% of important content have correlation, but the analysis on questions setting frequency on the subtopic content showed 37% of subtopic have never been assessed as the content elements. Next, the contents elements of the questions for achievement assessment was analyzed to see if it reflects the textbook content elements, and the result showed that questions seemed to have been made within the textbook contents but trend shows a increase in questions from out of textbook contents. Third, the results of classification by behavioral field, about 57% of the whole questions was set from knowledge․comprehension, 23% from problem solving, 18% from communication. No questions have been taken from the value․behavior fields since 2002. Fourth, the results of questions classification according to achievement standard, showed comparatively uniform distribution, but the questions related to value․behavior had a low distribution. Fifth, the results of classification by the question material forms, showed the text materials occupying greatly, but graph or picture materials questions were increasing. Classification by question material contents, showed the high rate of questions on academical․theoretical contents but there is a gradual increase in the reality․current events related contents and the contents that can be seen or experienced in real life. Sixth, the questions for achievement assessment consists largely of multiple-choice method and performance assessment. Choosing the correct answers type questions were mostly set to the multiple-choice method, and short answers type questions were mostly set to the performance assessment. Seventh, based on the contents classified above, the question elements affecting the degree of difficulty and discriminant index were analyzed by finding out the response rate on each question, and the results were the order of (large unit14.6%, midium unit48%, small unit49%)by unit, by achievement standard(42.8%), question pattern(25%), material form(16.41%) for affecting the degree of difficulty, and the order of (large unit 0.11, midium unit 0.24, small unit0.28) by unit, achievement standard(0.25%). material form(1.08), behavioral area(0.07), question pattern(0.06) showed the differences in the degree of difficulty. Lastly, the characteristics of the questions higher and lower in the rate of correct answer, the questions higher and lower in the discriminant index were exposed through correct answer rate, discriminant index distribution, and case analysis. The questions higher in correct answers were those which could easily be detected in finding out the hints of the correct answers from the given information, which could be resolved only by answer sheet irrespective of the given materials even without knowing the subject concept, which is wellknown by being focused in the textbook, and which could be known through natural experiences in the life. On the other hand, the questions lower in correct answers included those which ask the accurate concept of the subject, which measure the ability to remember the contents of words, which requiring subject concept in the problem solving process, and which summarize and generalize of the proposed writing by interpreting in their own worlds. Most discriminant indexes were favorable, and the questions lower in the degree of difficulty were those which asked a lot of knowledge at a time and then attempted to measure the comprehension level of them. The results from such analysis on questions may show the suggestive point as belows. First, as the differences between the textbook, the range of possible questions and assessment for achievement are increasing, there is a need to correlate questions for assessment with the contents learnt. Second, the assessment questions attaching importance to knowledge‧comprehension area need to be balanced to include more problem solving, communication, valuable attitude related questions. Third, the achievement standard vague in its assessment areas by reason of excessively inclusive statement or by complex proposal of the contents proposed in the curriculum should be modifies and supplemented. Fourth, the basic function of the social studies need to be intensified following the increase in the questions accompanying graph or picture materials, and the class have to be connected to everyday life to enable the students to link the current social events occurring around them with the knowledge learnt at schools. Fifth, setting the students to measure various goals through various questions by setting new assessment method and qualified questions, Sixth, the factors which affecting correct answer rate and discriminant index should be taken into accounts for uniform level of question setting. Lastly, fundamental and systematic education should be given to the students so that they can understand concepts and apply them to life for the improvement of their ability to solve problems.

;국가수준 학업 성취도 평가는 그 목적과 역할에 있어서 중요한 위치를 차지한다고 볼 수 있으며 그러한 평가의 문항이 적절하게 출제되었는지 살펴보는 것은 중요하다. 이는 추후 검사 문항을 제공하는데 유용한 정보를 제공하고 일반사회 교육현장에서의 교수-학습 내용을 점검하는데 도움이 되고자 한 것이다. 본 연구에서는 2002년~2008년에 출제된 중학교 학업성취도 일반사회 문항을 교육과정에 근거한 내용에 따른 문항 추이, 행동 영역 및 성취기준, 문항의 자료형태와 내용, 문항의 평가 유형, 문항 반응에 따라 분석하였다. 그 결과는 다음과 같다. 첫째, 일반사회 세부과목인 경제, 법과 사회, 사회문화, 정치 문항으로 분류한 결과 경제, 사회문화, 정치는 비슷한 출제 경향을 보이나 법과사회는 다른 과목에 비해 낮은 출제 경향을 보였다. 이는 각 과목이 중학교 사회 교과서에서 차지하고 있는 비중을 반영한 것으로 보인다. 둘째, 내용 영역 문항 분석에서는 교육과정을 기준으로 제작되는 교과서와 교육과정에서 제시하는 성취기준을 바탕으로 출제되는 평가문항이 상관성이 있는지 페이지 분석과 출제 빈도를 비교한 결과, 중요도를 차지하는 내용 요소가 약 60%정도 일치하였고, 소단원별 출제 빈도를 분석한 결과, 약 37%정도의 소단원은 내용요소로서 평가되지 않았다. 또한 학업성취도 평가 문항 내용요소가 교과서 내용 요소를 반영하는지 분석한 결과 큰 범주로 살펴보면, 교과서 범위 내 에서 출제가 이루어진 것으로 보이나 교과서 외의 비중이 늘어나고 있다. 셋째, 행동영역별로 분류한 결과, 전체 문항 중 약 57%가 지식․이해 영역이 출제되었고, 문제해결영역이 23%, 의사소통 영역이 18%의 비율로 출제되었다. 가치․태도영역은 2002년 이후로 출제되지 않고 있다. 넷째, 성취 기준에 따라 문항을 분류한 결과 비교적 고른 분포를 보이고 있으나 가치‧태도와 관련된 성취기준은 출제 비율이 낮았다. 다섯째, 문항의 자료 형태에 따라 분류한 결과, 문자로만 구성된 텍스트 자료가 많았으나 점차 그래프나 그림이 자료로 제시되는 문항이 증가하고 있었고, 문항의 자료 내용에 따라 분류한 결과, 학문․이론적인 내용이 가장 높은 비율로 출제되었으나 점차 현실․시사적인 내용과 실생활에서 쉽게 보고 접할 수 있는 내용이 증가하였다. 여섯째, 학업성취도 평가 문항은 크게 선다형과 수행평가로 구성되어있다. 선다형 문항은 정답형이, 수행평가는 단답형이 주로 출제되었다. 일곱째, 위에서 분류한 내용을 바탕으로 각 문항에 대한 반응률을 구하여 난이도와 변별도에 영향을 주는 문항 요인들을 분석한 결과 난이도는 특히, 단원별(대단원14.6%, 중단원48%, 소단원49%), 성취기준별(42.8%), 문항유형(25%), 자료형태(16.41%)에 따라 영향을 받았고, 변별도는 단원별(대단원 0.11, 중단원 0.24, 소단원0.28), 성취기준(0.25), 자료형태(0.08), 행동영역(0.07), 문항유형(0.06)에 따라 차이가 나타났다. 끝으로, 정답률과 변별도 분포와 사례분석을 통해 정답률이 높은 문항, 낮은 문항, 변별도가 높은 문항, 낮은 문항의 특징을 알 수 있었다. 정답률이 높은 문항은 주어진 정보에서 쉽게 정답의 단서를 찾을 수 있는 문항, 교과 개념을 모르더라도 주어진 자료도 관계없이 답지 내용만으로 해결할 수 있는 문항, 묻고 있는 사실이 교과서에서 강조하여 잘 알려져 있는 문항, 생활 속에서 자연스럽게 체득하여 알 수 있는 지식을 묻는 문항이었다. 반면에 정답률이 낮은 문항은 교과 개념을 정확히 묻고 있는 문항, 용어 개념에 관한 내용을 기억해 내는 능력을 측정하는 문항, 문제해결과정에 교과개념이 요구되는 문항, 제시된 글을 해석하여 자신의 말로 바꾸어 요약하고 일반화하는 문항이다. 변별도는 대부분 양호하였고 변별도가 낮은 문항은 한꺼번에 많은 지식을 묻고 그에 대한 이해를 측정하고자 문항들이었다. 이러한 문항분석 결과는 다음과 같은 시사점을 줄 수 있다. 첫째, 출제범위인 교과서와 학업성취도 평가 간에 일치하지 않는 부분이 증가하고 있으므로 평가문항은 학습한 내용과 연관성을 지닐 수 있도록 해야 하며, 둘째, 지식‧이해 영역에만 치중되어 있는 평가문항을 문제해결, 의사소통, 가치태도에 대해서도 고르게 평가할 수 있도록 해야한다. 셋째, 지나치게 포괄적으로 진술되어 있거나 교육과정에서 제시된 내용을 복합적으로 제시하여 측정영역이 모호한 성취기준은 수정‧보완해야 할 것이다. 넷째, 그래프나 그림이 자료로 제시되는 문항이 증가함에 따라 사회과 교육의 기초기능에 대한 교육을 강화하고 학생들의 생활에서 일어나는 사회문제와 학교에서 배운 지식 연결시킬 수 있도록 주변생활과 연계성을 지닐 수 있는 수업을 해야 하며, 다섯째, 새로운 평가 방법과 질좋은 문항을 제시하여 다양한 문항 형태를 통해 다양한 목표를 측정할 수 있도록 해야하며, 여섯째, 출제시 비슷한 수준으로 유지될 수 있도록 정답률과 변별도에 영향을 주는 요인들을 고려해야한다. 끝으로, 기초적이며 체계적인 교육을 통해 개념을 충실하게 이해하고 이를 생활에 적용하여 문제를 해결할 수 있는 능력을 기를 수 있도록 해야 할 것이다.