학교수준 종단자료를 이용한 학업수행지표 산출 및 활용 방안

Abstract

The evaluation policy of accountability to systematically administer to the quality of school education is promoted to increase national competitiveness. Accountability evaluation system is used to evaluate national achievement levels and to establish effectively educational policies using national achievement tests and the construction of a school evaluation system. In the United States, each state has aimed to reach Adequate Yearly Progress, the minimum level of academic achievement, since the federal government enacted NCLB (No Child Left Behind) in the 1990s. Recently, in S. Korea, an official school information system is performed to evaluate the responsibility of the school, by revealing the academic achievements of each school based on national evaluation data. The evaluation of academic achievement is the core of school attainment in the evaluation policy of accountability. Therefore, we need to understand how academic achievement should be evaluated and how it is utilized as a performance index. The application of a value-added model has been increased to calculate An academic Performance Index (API), which reflects the academic achievement of each school, as people have become interested in the change and growth of academic achievement. A value-added model calculates more accurate values for evaluations by controlling student and school variables, which affect academic achievement. However, it has limitations when school performance is evaluated based on the improvement of academic achievement. That is, a value-added model does not explain the improvement of a school, which already has high academic achievement. Therefore, in this study, the API was determined by the degree of improvement in academic achievement compared to the average of the degrees of previous improvement. Also, the school’s background variable and the effect of the initial year’s status were controlled for the fairness of the school’s accountability evaluation. The results of the College Scholastic Ability Test’s (CSAT) English section, over the past 5 years, were used in this study to produce and utilize the API. The school level of longitudinal data, collected from the same grade’s cohort every year, has been utilized as a substitute for the student’s level of longitudinal data. In this study, the 2 time point cohort data and the 4 time point cohort data were applied to produce improvement levels and change rates, respectively. The 2 time point cohort data was used to compare improvement levels and change to the previous ones by an official school information system, which will be published in 2012. The 4 time point cohort data was used to produce utilization based on annual improvement levels and change. In addition, the API was calculated for this study based on standard scores and multilevel models, representing the academic achievement of the total school and the specific levels, respectively. Many variables, including simple improvement, initial year’s status, school background, and school context, were considered to produce the API. The primary results of the longitudinal analysis and the API calculation, from CSAT English data over the past 5 years, were as follows: (a) The rate of the above-basic level has been increased, but the rate of the below-basic level has been decreased. Therefore, the overall rate of achievement on the English section has been increased yearly. (b) Rank correlation is very high, and Kendall’s tau is relatively low. The relationship between the APIs was different, according to the number of points and score types. Both in the 2 time point cohort data and the 4 time point data, the relationship was the lowest between the simple improvement index and the index calculated by the initial year’s status and the school’s variable control model. (c) In the 2 time point cohort data’s standard score and the above-basic level rate data, the relationship between the initial year’s status and the improvement in controlling the initial year’s status and the school variable was the lowest. In the 2 time point cohort data’s standard scores and the below-basic level rate data, the relationship between the simple improvement and the initial year’s status was the lowest. In the 4 time point cohort data’s standard scores and the above-basic level rate data, the relationship between the initial year’s status and their improvement in controlling only the initial year’s status was the lowest. In the 4 time point cohort data’s standard score and the below-basic level rate data, the relationship between the initial year’s status and the improvement in controlling only the school variable was the lowest. (d) The rate of simple improvements was low in the national/public schools, schools located in large cities, men’s schools, standardized schools, and high achievement school. The rate of the improvement ranks was raised in large cities and standardized schools when controlling the initial year’s status, the school variable, and both. However, in the 2 time point cohort data and the below-basic level rate data, change in the rate of improvement in controlling the initial year’s status, the school variable, and both, show different tendencies. In conclusion, the API presents different results according to the number of points in the achievement data, the calculation model and the school-level variables applied to the calculation model. This means that there may be a difference in the school’s rating or evaluation when using the API to evaluate performance on academic achievement. Therefore, the API should be carefully selected for school evaluations, considering many other factors, such as accountability an evaluation plan, a purpose, and a process. ;세계 각국은 국가 경쟁력 강화를 위한 최우선 과제로 학교교육의 체계적인 질 관리를 위해 개별 학교에 대한 국가수준의 책무성 평가 정책을 추진하고 있다. 교육의 책무성 평가 체제는 국가수준의 학업성취도 평가와 학교 책무성 평가 시스템 구축을 통해 자국의 성취도 수준을 파악하고 효율적인 교육 정책의 수립에 그 결과를 활용하고 있다. 1990년대부터 국가적으로 강력한 교육개혁을 추진해 온 미국의 경우 NCLB 법안에 따라 일정 수준의 성취도 향상을 보장하기 위해 각 주별로 연간 적정 진보 수준을 달성하도록 정하고 있으며, 최근 국내의 교육정보공시제도는 국가수준 학업성취도 평가 결과에 따라 개별 학교의 등급별 성취수준과 향상도를 공시하도록 함으로써 학교의 책무성 평가 정책을 추진해 가고 있다. 국내외의 교육 책무성 평가 체제에서 핵심적인 평가요소는 학교의 학업성취도 평가 결과이다. 교육 책무성 평가의 준거로 학업성취도 결과를 활용할 경우, 학업성취도를 어떻게 평가하여 수행지표로 산출할 수 있는가에 대한 문제가 제기된다. 최근 학교의 학업성취도 수행에 대한 판단근거로 학업성취의 변화ㆍ성장에 대한 관심이 증가함에 따라, 학교별 학업성취도의 향상을 반영할 수 있는 학업수행지표 산출을 위해 부가가치 모형의 적용 또한 증가하고 있다. 부가가치 모형은 학업성취에 영향을 미치는 학생 및 학교 변수를 통제하여 보다 정교한 측정치를 제공하지만, 학교별 성취수준의 향상도를 근거로 학교의 수행을 평가하는 경우 학업성취가 높은 학교에서는 향상의 정도에 한계가 있어 좋은 평가를 받을 수 없게 된다. 따라서 본 연구에서는 학교의 책무성 평가에 학업성취의 향상정도를 반영하기 위하여 학업수행지표를 학교의 학업성취가 평균적으로 기대되는 향상과 비교하여 향상된 정도로 정의하였으며, 학업수행지표를 이용한 학교 책무성 평가의 공정성을 고려하기 위하여 학교수준의 배경변수와 초기수준의 영향을 통제한 학업수행지표를 산출하여 비교ㆍ분석하였다. 본 연구에서는 학업수행지표 산출과 그 활용 방안을 제시하기 위하여 학교수준 종단자료인 최근 5년간의 대학수학능력시험 외국어 영역 성취도 결과를 이용하였다. 학교수준 종단자료는 매년 동일 학년 코호트를 대상으로 치른 검사 결과를 수집한 학교수준의 패널자료로, 학생수준의 종단자료를 이용할 수 없는 경우 그 대안으로 활용되고 있다. 본 연구는 교육정보공시제에 의하여 2012년부터 공시하게 될 전년 대비 향상도 산출에 대한 예시로 최근 2년간의 두 시점 자료에, 연도에 따른 향상도의 산출에 대한 예시로 최근 5년간의 네 시점 자료에 다층모형을 적용하였다. 또한 시점 수 별로 학교의 전체적인 성취를 파악할 수 있는 표준점수 자료와 특정 수준의 성취를 파악할 수 있는 중간수준이상 비율 및 최하위수준 비율 자료에 다층모형을 적용하여, 단순 향상도를 나타내는 학업수행지표, 초기수준만 고려한 학업수행지표, 학교수준의 배경 및 맥락변수만 고려한 학업수행지표, 초기수준과 학교수준의 배경 및 맥락변수를 모두 고려한 학업수행지표를 산출하였다. 대학수학능력시험 외국어 영역 성취도의 종단적 분석과 학업수행지표 산출에 대한 주요 연구 결과는 다음과 같다. 첫째, 최근 5년간의 대학수학능력시험 외국어 영역 성취도 변화 추이를 분석한 결과, 중간수준이상 비율은 점차 증가하고 최하위수준 비율은 점차 감소하고 있는 것으로 나타나, 외국어 영역 성취도는 전반적으로 연도에 따라 증가하는 것으로 나타났다. 둘째, 학업수행지표 간 상관을 비교한 결과, 학업수행지표 간 등위상관은 상당히 높게 나타났으며 지표 간 등급상관은 등위상관에 비해 낮게 나타났다. 시점 수와 점수유형에 따라 지표 간 상관은 상이한 결과를 보였으나, 두 시점 자료와 다시점 자료의 모든 점수유형에서 공통적으로 단순향상지표와 초기수준 및 학교배경 통제 모형에 의해 산출된 지표의 상관이 가장 낮은 것으로 나타났다. 셋째, 초기수준과 학업성과지표의 관계를 살펴본 결과, 두 시점 자료의 표준점수와 중간수준이상 비율 자료에서는 초기수준과 학교변수를 모두 통제한 향상도와 초기수준의 상관이 가장 낮았고, 최하위수준 비율 자료에서는 단순 향상도와 초기수준의 상관이 가장 낮게 나타났다. 다시점 자료의 표준점수와 중간수준이상 비율 자료에서는 초기수준만 통제한 향상도와 초기수준의 상관이 가장 낮았고, 최하위수준 비율 자료에서는 학교변수만 통제한 향상도와 초기수준의 상관이 가장 낮게 나타났다. 넷째, 단순향상지표 등급을 기준으로 초기수준, 학교배경, 초기수준 및 학교배경을 통제한 학업수행지표 등급 비율의 변화를 살펴본 결과, 단순향상지표 등급 비율이 낮게 나타나는 학교의 특성은 전반적으로 국공립학교, 대도시 소재 학교, 남학교, 평준화지역 학교, 초기수준이 높은 학교이며, 대도시와 평준화지역에서 초기수준, 학교배경, 초기수준 및 학교배경을 통제한 학업수행지표 등급 비율이 상향되는 학교가 많았다. 그러나 두 시점 자료와 최하위수준 자료에서는 초기수준만 통제한 학업수행지표, 학교배경만 통제한 학업수행지표, 초기수준 및 학교배경을 통제한 학업수행지표 등급 비율의 변화가 상당히 다른 경향을 보이고 있으므로 적용과 해석에 주의가 필요하다. 이러한 결과를 종합해 볼 때, 학업수행지표는 성취도 자료의 시점 수, 산출 모형의 적용, 산출 모형에 투입하는 학교수준의 변수 등에 따라 상이한 결과를 보이고 있다. 이는 학업수행지표를 이용하여 학교의 학업성취에 대한 책무성을 평가할 때 학교순위 혹은 평정에 차이가 나타날 수 있음을 의미한다. 따라서 학업수행지표는 책무성 평가 계획, 평가 목적, 평가 절차, 사용 주체 등의 요소를 고려하여 신중하게 선택되어야 할 것이다.