학교효과 준거변수의 활용 목적에 따른 다변량 다층모형의 적용

Abstract

학교효과 연구에서 효과준거는 중립적인 역할에 머무르지 않는다. 무엇을 학교효과로 보느냐에 따라 학교교육의 궁극적인 목적이 정해지기 때문이다. 구인타당도(construc validity)란 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정의를 부여한 후, 검사점수가 조작적 정의에서 규명한 심리적 구인들을 제대로 측정하였는가를 검정하는 방법(성태제, 시기자, 2006)으로 정의된다. 만약 교과 사이에 높은 상관이 존재할 경우 개별 교과를 준거변수로 사용하여 학교효과를 측정하는 것은 연구자가 의도하는 측정하고자 하는 구인을 충분히 대표하지 못할 수도 있다. 그로 인해 학교효과의 구인타당도가 위협받을 수 있으므로 이를 해결하기 위한 방안으로 다변량 다층모형의 적용을 검토하고자 하는 목적으로 연구가 실시되었다. 한국교육개발원의 「학교 교육 실태 및 수준 분석 연구」의 최근 3개년도 자료인 2008~2010년도 자료를 이용하여 초등학교, 중학고, 일반계 고등학교의 각 학교급별로 세 교과 점수를 종속변수로 사용하였다. 단변량 다층분석을 통해 잔차를 구하고, 상관행렬을 도출함으로써 학교효과가 교과에 일관적으로 나타나는지 확인하였다. 또한 학교효과 점수 산출을 위해 독립변수로 투입한 요인들의 영향력을 살펴보았다. 마지막으로 학생 및 학교수준의 투입변수들을 통제한 후 학교효과 점수를 산출하여 효과적인 학교를 각각 20개교 선정하였다. 이를 바탕으로 학교효과 연구에서의 다변량 다층모형 적용이 가져올 수 있는 장점과 단점을 정리하였다. 연구문제에 따른 분석결과는 다음과 같이 요약될 수 있다. 첫째, 단변량 다층모형의 잔차분석을 통한 학교급별 교과간 상관분석 결과, 일반계 고등학교에 비해 초등학교와 중학교에서 일관성이 더 높은 것으로 나타났다. 일반계 고등학교의 경우 학생수준에서 비교적 일관성이 낮게 나타났다. 이처럼 세 교과의 잔차는 서로 높은 상관관계를 가지므로 교과간 내적 상관을 고려할 수 있는 다변량 모형을 통한 학교효과 분석이 필요함을 알 수 있다. 둘째, 학생 및 학교 특성의 영향력을 분석한 결과, 모든 학교급에 걸쳐 학생수준에서 여학생의 학업능력이 전반적으로 단변량 및 다변량 모형 모두에서 높았고, 학부모의 사회·경제적 지위가 높아질수록 학생들의 학업성취도에 통계적으로 유의한 영향을 주었다. 과외참여여부에 있어서는 읽기의 경우 부정적인 영향을 주기도 하였으나, 대부분의 학생수준 변수들이 통계적으로 유의하게 나타났다. 단변량 및 다변량 모형 모두에서 학교의 소재지가 대도시일수록, 또한 학교평균 SES가 높아질수록 학생들의 학업성취가 높아지는 것을 확인할 수 있다. 셋째, 학생 및 학교의 투입변수를 통제한 단변량 다층모형과 다변량 다층모형을 통해 학교효과 점수를 산출하여 가장 높은 점수를 받은 상위 학교 20개교를 효과적인 학교로 선정한 결과, 세 교과 모두에서 효과적인 학교로 선정된 학교는 절반 이하로 나타났다. 이를 통해 효과적인 학교 선정에 있어서 준거변수 선택이 달라짐에 따라 결과가 매우 달라짐을 알 수 있다. 세 교과별 단변량 분석 및 다변량 분석의 결과, 상위 20개의 효과적인 학교가 유사하게 분포하여 있음을 알 수 있다. 위의 분석결과를 종합하여 볼 때 다음의 논의점을 도출할 수 있다. 우선 학교효과의 교과간 일관성 검증 결과, 세 교과 사이에는 비교적 높은 상관이 존재하므로 세 교과를 각각 준거변수로 사용하여 학교효과를 측정하는 것은 연구자가 의도하는 측정하고자 하는 구인을 충분히 대표하지 못할 수도 있다. 그로 인해 학교효과의 구인타당도가 위협받을 수 있으므로 단일한 준거변수로 학교효과를 측정하는 것에서 더 나아가 여러 변수를 동시에 고려할 필요가 있다. 또한 다변량 다층모형을 적용한 분석 결과와 독립적인 단변량 다층모형을 적용하여 분석한 결과를 살펴보면, 학업성취에 통계적으로 유의한 영향을 주는 변수들의 종류와 회귀계수의 크기는 단변량 모형과 다변량 모형에서 크게 다르지 않았다. 그러나 모든 학교급에서 다변량 다층모형을 통한 결과의 표준오차가 단변량 다층모형의 표준오차에 비해 비교적 낮은 것을 통해 다변량 모형의 통계적 검증력이 더 높음을 확인할 수 있다. 마지막으로 어떠한 준거변수를 선택하느냐에 따라 선정되는 효과적인 학교가 매우 달라지므로 세 교과별로 준거변수를 각각 사용하여 효과점수를 산출하는 것은 학교효과 평가에 있어서 특정 교과에 제한된 성과만을 반영할 우려가 있다. 어떤 효과준거를 선택하느냐에 따라 학교가 효과적인 학교로 평가될 수도, 또는 비효과적인 학교로 평가될 수 있으므로 여러 준거변수를 고려한 다변량적 분석을 통해 학교효과를 측정하여야 한다. 이 연구는 학교효과의 크기를 측정함에 있어서 학교교육에의 투입변수만을 고려하였다. 그러나 학교교육의 결과에 영향을 미치는 변수로는 학교교육 과정에서 이루어지는 여러 개입이 있을 수 있다. 그러므로 향후 학교효과 점수 산출시 교육의 투입변수만이 아니라 교육과정 변수도 고려할 수 있는 분석이 필요할 것이다. 또한 학생들의 인지적 성취에만 관심을 가지는 기존의 학교효과 연구에서 더 나아가 전인적 발달과 인지적 발달을 모두 포괄하는 학교효과 모형 구축이 요구되며, 더 나아가 학교현장에 대한 컨설팅이 지원될 수 있는 실효성 있는 평가에 대한 후속 연구가 요구된다.;In school effectiveness research, effectiveness criterion can not be regarded as a neutral role. Based on the definition of school effectiveness, the primary goal of school education is set up. Applying the multivariate hierarchical linear model, this study explored the school effectiveness model which put the achievement results in several subjects at the same time to the model for ensuring the construct validity. With residuals from univariate and multivariate analysis, this research analyzed the correlation matrix effects to identify the consistencies among subjects in schools. In addition, after controlling of students and school-level variables, each 20 effective schools of elementary, middle, and general high schools were selected, respectively. Analysis results are summarized as follows. First, as a result of analysing the correlations of residuals from univariate and multivariate hierarchical linear model, elementary and middle schools showed a higher correlation compared to general high school. And correlations among students were higher than those among schools in all school levels. Second, the influence of student and school characteristics were analyzed. Girls showed higher academic achievement than boys in all school levels, and parents of higher socio-economic status affected on student achievement significantly. For participation in extracurricular tutoring, reading showed negative influences, but most of the student-level variables were statistically significant. The schools in mega-cities and of higher average SES were higher in students' academic achievement. Third, after controlling the students and the school variables, 20 effective schools were selected. Effective schools in all three subjects are less than half of the schools. The result was differed depending on what criteria was selected to find effective schools. Summarizing the above analysis, following discussions can be drawn. First of all, three subjects showed the relatively high correlation. Therefore, selecting a single effectiveness criterion might not be representative enough to measure the effectiveness of the school. This can be threatening the validity of school effectiveness. Further analysis needs to consider multiple variables simultaneously. The type and size of significant factors that influenced students' academic achievement did not differ significantly. However, in every school, standard errors of the multivariate models were relatively lower than that of the univariate models. This means that the statistical power of multivariate models was higher than univariate models. Further reaserches on school effectiveness need to include curriculum variables to investigate the effect of school education process. Also it is necessary to consider both affective development as well as cognitive achievement.