전국연합학력평가 사회문화 문항분석

Abstract

The purpose of this study lies in analyzing the questions for the society & culture subjects in the nationwide unified academic ability evaluation if they are taken to be helpful for the improvement of higher-level thinking which is the goal focused by social studies education, on the premise that the definition of educational evaluation is the measurement of achievement extent for educational goal. Its subjects are the 120 questions for the society & culture areas in the nationwide unified academic ability evaluation which have been practiced on October for 6 years from 2004 to 2009 to which the 7th curriculum was applied and under which the current 12th graders are. This paper set the hypothesis to examine the study purpose as follows. Hypothesis 1. the questions used image materials would require higher-level thinking compared with that used reading materials. Hypothesis 2. as the purpose of educational evaluation is to measure the achievement extent for educational goal, the rate of setting questions requiring higher-level thinking, the goal of the social studies education would be higher compared with that requiring basic-level thinking. Hypothesis 3. the questions requiring higher-level thinking and basic-level thinking would balance by unit. Hypothesis 4. the rate of correct answer would drop inversely to the higher-level thinking required by questions. Hypothesis 5. the discriminant index would be higher going with the higher-level thinking required by questions. Hypothesis 6. the scores alloted to the questions would be higher going with the higher-level thinking required by questions. Within the matrix of item analysis by Sung Tae Je(2004), hypothesis 2 aimed to analyze the general thinking levels for the items[questions] of nation wide unified academic ability evaluation, while hypothesis 1, 3 aimed to analyze the form of item and contents of items respectively, and hypothesis 4, 5 to analyze the items based on testee's responses on the questions, hypothesis 6 to analyze the relationship of allocated scores and thinking levels required by the questions. The core hypothesis are the hypothesis 2, 4, 5 which examined the rate of question set requiring higher-level thinking and the responses of the students on it, and hypothesis 1, 3, 6 are auxiliary hypothesis. The grasp of thinking required by each item need to be done prior to those hypothesis testing. For this, Bloom`s taxonomy of educational objectives accepted widely by education circle was used for the thinking analysis criteria. Following are the analysis results. First, the rate of setting items requiring basic-level thinking was higher for the questions used reading material, while that requiring higher-level thinking was higher for the questions used image materials. Second, in the academic years of 2004 and 2005, the beginning duration of the nation wide unified academic ability evaluation, the items requiring basic-level thinking was 65%, higher level compared with that requiring higher-level thinking, But in 2009 academic year, the rate of setting items requiring higher-level thinking increased to 50%. Third, while unit 2 dealing with individual and social structure demanded 77% of basic-level thinking of the whole questions, unit 6 dealing with the prospect and counterplan for future society demanded 75% of higher-level thinking of the whole questions which indicated the unbalance between the units for the rate of setting the question requiring higher-level thinking. Fourth, the study result of this paper appeared as knowledge 0.67, understanding 0.69, application 0.58, analysis 0.53, synthesis 0.50, evaluation 0.48 indicating the decrease in degree of difficulty inversely to the increase in the degree of cognitive behavioral goal except knowledge supporting the validity of Bloom's saying that the correct answer rate decreases inversely to the degree of cognitive behavior goals, the thinking level required by questions increases. Fifth, though ANOVA detected the differences in discriminant index between the items as being attributed to the differences in the level of cognitive behavioral goal required by the questions, the higher degree of cognitive behavioral goal goes consistently with the lower degree of difficulty in average, and so hypothesis 5 is in need of modification as follows. The discriminant index of questions decreases when the thinking level required by questions increases. Sixth, the principle of differentiated score system is to give higher points to the questions requiring higher-level thinking. This analysis showed that the questions to which 2 points are alloted well kept the principle by lifting the rate of questions requiring basic-level thinking from the beginning of its practice, but the questions to which 3 points are alloted gradually increase the rate of questions requiring higher-level thinking. Such study results show the suggestive points as below. First, the thinking level for the questions taken from every units need to be balanced in the reality that the evaluation determines educational goal, contents, teaching. learning process. Second, it's advisable to increase the rate of giving questions requiring higher-level thinking, the goal of social studies education to grasp its achievement extents. But, as the discriminant index for the questions requiring basic-level thinking is higher than that for the questions requiring higher-level thinking, the test, which is great in the deviation of testee's ability like the nationwide unified academic evaluation, or relative evaluation aiming the ranking of the testee are in need of setting questions requiring basic-level thinking also. Accordingly, the study for the preparation of proper standard for the rate of setting questions requiring basic-level thinking and higher-level thinking is necessary to satisfy the two goals, the measurement of achievement degree of educational goal and ranking for the test on a relative evaluation. Third, though the differentiated score system, which allots higher points to the questions requiring higher-level thinking is well kept. the discriminant index to which lower points are alloted is higher than that to which higher points are alloted, ending up the failure in contributing to the increase in the discriminant index for the questions.;본 연구는, 교육평가는 교육목표 달성정도를 측정하는 것이라는 교육평가의 정의를 전제로, 전국연합학력평가에서 사회․문화 교과의 문항들이 사회과교육에서 목표로 강조하고 있는 고차사고력을 평가하는 데 도움을 주는 방향으로 출제되고 있는지를 분석하는 것을 목적으로 한다. 그 구체적 대상은 현재 고3이 적용받고 있는 제 7차 교육과정이 적용된 2004학년도부터 2009학년도까지 6년간 10월에 실시된 전국연합학력평가 사회․문화 영역 120문항이다. 본 논문에서는 연구 목적을 검증하기 위해 다음과 같은 가설을 세웠다. 가설 1. 이미지 자료를 사용한 문항이 읽기자료를 사용한 문항보다 고차사고력을 요구할 것이다. 가설 2. 교육평가의 목적이 교육목표의 달성정도를 측정하는 것이므로, 사회과 교육의 목표인 고차사고력을 요구하는 문항의 출제비율이 기초사고력을 요구하는 문항의 출제비율보다 높을 것이다. 가설 3. 기초사고력을 요구하는 문항과 고차사고력을 요구하는 문항이 각 단원별로 균형을 이룰 것이다. 가설 4. 문항이 요구하는 사고력 수준이 높을수록 정답률(난이도)이 낮을 것이다. 가설 5. 문항이 요구하는 사고력 수준이 높을수록 변별도가 높을 것이다. 가설 6. 문항이 요구하는 사고력 수준이 높을수록 문항배점이 높을 것이다. 가설 2는 전국연합학력평가 문항의 전체적인 사고력 수준을 분석하기 위한 것이고, 가설 1은 문항의 형식, 가설 3은 문항의 내용, 가설 4와 가설 5는 문항에 대한 피험자의 반응을 기초로 한 문항특성, 가설 6은 배점과 문항이 요구하는 사고력 수준과의 관계를 분석하기 위한 것이다. 고차사고력을 요구하는 문항의 출제 비율과 그에 대한 학생들의 반응을 검증한 가설 2, 4, 5 가 본 연구의 핵심가설 역할을 하며, 가설 1, 3, 6은 보조 가설이다. 문항의 사고력 분석을 위한 준거로는 블룸의 교육목표분류학을 사용했다. 분석의 결과는 다음과 같다. 첫째, 읽기 자료를 사용한 문항에서는 기초사고력을 요구하는 문항의 출제비율이, 이미지 자료를 사용한 문항에서는 고차사고력을 요구하는 문항의 출제비율이 높았다. 둘째, 전국연합학력평가의 도입 초기인 2004학년도와 2005학년도에는 기초사고력을 요구하는 문항이 65%로 고차사고력을 요구하는 문항보다 많았으나, 2009학년도에는 고차사고력을 요구하는 문항의 출제 비율이 50%까지 상승했다. 셋째, 개인과 사회구조를 다룬 2단원은 출제문항 가운데 77%가 기초사고력을 요구하고 있는 반면, 미래사회의 전망과 대응을 다룬 6단원에서는 출제문항의 75%가 고차사고력을 요구하고 있어, 고차사고력을 요구하는 문항의 출제비율은 단원 간 균형을 이루지 못하고 있었다. 넷째, 블룸은 문항이 요구하는 사고력 수준인 문항의 인지적 행동목표의 위계가 높아질수록 문항의 정답률은 낮아진다고 하였는데, 본 논문의 연구결과 역시 지식 0.67, 이해 0.69, 적용 0.58, 분석 0.53, 종합 0.50, 평가 0.48로 지식을 제외하고, 인지적 행동목표의 위계가 높아짐에 따라 난이도가 낮아져, 그의 주장이 타당성이 있음을 뒷받침하게 되었다. 다섯째, 문항 간 변별도의 차이가 문항이 요구하는 인지적 행동 목표 수준의 다름이 원인이 되었음을 분산분석으로 검증하였지만, 인지적 행동 목표의 위계가 높아질수록 평균변별도가 일관되게 낮아지고 있어 가설 5는 다음과 같이 수정된다. 문항이 요구하는 사고력의 수준이 높아질수록 문항의 변별도는 낮아진다. 여섯째, 차등 배점제는 고차사고력을 요구하는 문항에 더 높은 배점하는 것을 원칙으로 한다. 분석 결과, 2점 배점 문항은 매 시험에서 기초사고력을 요구하는 문항의 비율이 높아 그 원칙을 잘 지켰으나, 3점 배점은 초기에는 기초사고력과 고차사고력을 요구하는 문항의 비율이 비슷하다가 고차사고력을 요구하는 문항의 비율을 점차 높여 배점제의 원칙을 지키는 방향으로 개선되고 있다. 이상의 연구 결과는 다음과 같은 시사점을 준다. 첫째, 평가가 교육목표나, 교육내용, 교수․학습 과정을 결정짓는 현실에서, 암기력 위주의 기초사고력을 요구하는 문항의 출제비율이 높은 단원은 경시될 가능성이 높기 때문에 출제되는 문항의 사고력 수준이 단원 간 균형을 이룰 필요가 있다. 둘째, 고차사고력을 요구하는 문항에 높은 배점을 하는 차등 배점제의 원칙은 잘 지켜지고 있지만 높은 배점 문항의 변별도보다 낮은 배점문항의 변별도가 더 높아, 차등 배점이 차등배점제의 도입 목적인 문항의 변별도를 높이는 데는 기여하지 못하고 있다. 셋째, 사회과 교육목표의 달성정도를 파악하기 위해서는 사회과 교육의 목표인 고차사고력을 요구하는 문항의 출제비율을 높이는 것이 바람직하다. 하지만 기초사고력을 요구하는 문항의 변별도가 고차사고력을 요구하는 문항의 변별도보다 높기 때문에, 전국연합학력평가와 같이 피험자의 능력의 편차가 큰 시험이나 피험자의 서열화를 목적으로 하는 상대평가에서는, 기초사고력을 요구하는 문항의 출제 또한 요구된다. 따라서 상대평가로 치러지는 사회과 시험의 경우, 교과 목표 달성도 측정과 서열화라는 평가의 목적을 모두 만족시키기 위해서는 기초사고력을 요구하는 문항과 고차사고력을 요구하는 문항의 출제비율을 적정한 수준으로 조절해야 한다.