랜덤효과를 반영한 XGBoost기법을 활용한 학교내 수학 학업 성취도 편차 정도에 따른 고등학생의 수학 학업 성취도 예측 요인 분석

Abstract

본 연구는 PISA 2022 데이터를 활용하여 고등학교 1학년 학생들 중 학교 내 수학 학업 성취도 편차가 큰 그룹과 작은 그룹의 경제·사회·문화적 지위인 ESCS(index of economic, social and cultural status: ESCS) 1사분위 학생들을 대상으로, 수학 학업 성취도에 영향을 미치는 요인을 탐색하고 이를 기반으로 정책적 제안을 제시하는 것을 목적으로 한다. 본 연구에서는 변수 선택과 예측 성능 향상을 위해 혼합효과 랜덤 포레스트와 랜덤 효과를 반영한 XGBoost 기법을 활용하였다. 랜덤 효과를 반영한 XGBoost는 800개 이상의 변수 중 상위 45개의 주요 변수를 효율적으로 선정하는 데 사용되었으며, 격차가 큰 그룹과 작은 그룹 간 차이를 반영한 예측 모델에서 더 높은 성능을 보였다. 선정된 45개의 주요 변수는 통계적 유의성을 검증하고, 학업 성취도에 영향을 미치는 요인을 탐구하기 위해 선형혼합효과모형을 통해 추가 분석하였다. 그 결과, 수학 학업 성취도 격차가 큰 그룹에서는 총 16개의 변인이 유의미한 영향을 미치는 것으로 나타났으며, 이 중 학생 관련 변인은 6개, ICT 관련 변인은 4개, 학부모 관련 변인, 교사 관련 변인, 학교 관련 변인은 각각 2개로 나타났다. 구체적으로, 학생 관련 변수 중에서 유의수준 0.001에서 유의한 변수는 네 가지로, ‘나에게 수학은 쉽다’(B=19.44), ‘스크린이 있는 디지털 기기 개수’(B=12.575), ‘학교 시험 성적에 PISA결과가 들어간다면 얼마나 노력을 할 것인지’(B=6.617), ‘수학 수업을 포함한 주당 총 수업 횟수’(B=1.145)가 포함되었다. 유의수준 0.05에서 유의미한 경향을 보인 변수는 두 개로, ‘과학은 내가 가장 좋아하는 과목 중 하나다’(B=9.536), ‘등교 전 활동:아르바이트’(B=-11.882)가 있었다. ICT관련 변수 중에서 유의수준 0.001에서 유의한 변수는 두 개로, ‘SNS에 공유하기 전 온라인 정보의 정확성을 확인한다’(B=14.450), ‘컴퓨터 관련 수업에서 디지털 기기를 얼마나 자주 사용하는가’(B=7.248)가 있었다. 그리고, 유의수준 0.01에서 수학 학업 성취도에 부정적 영향을 미치는 변인으로 ‘SNS를 보는 데 얼마나 시간을 쓰는가’(B=-7.502)가 있었다. 또한 유의수준 0.05에서 수학 학업 성취도에 부정적 영향을 미친 변수는 ‘사진과 영상과 같은 디지털 콘텐츠를 만들거나 수정하는 데 ICT 활용 시간’(B=-5.483)이 있었다. 학부모 관련 변수 중, ‘자식이 수학과 관련된 직업을 가질 것이라 기대하는지’(B=19.901)는 유의수준 0.01에서 수학 학업 성취도에 긍정적 영향을 미쳤고, ‘자식이 고등학교를 마친 후 수학을 공부하는 데 관심을 보이는지’(B=22.779)은 유의수준 0.05에서 수학 학업 성취도에 긍정적 영향을 미치는 것으로 나타났다. 교사관련 변수 중에서 ‘업무 집중 능력: 최근 2주 동안 학교에서 집중하기 어려웠는지’(B=-16.409), ‘학교 리더십: 교장이 교사의 일을 용이하게 하도록 사람과 활동을 구성하는지’(B=12.546)는 유의수준 0.05에서 유의한 영향을 미치는 것으로 나타났다. 학교관련 변수 중에서 ‘PISA에 관한 학교장 지원 및 교사와 학생의 격려: 최선을 다하라고 학생들을 격려하였다’(B=33.781)은 유의수준 0.01에서 수학 학업 성취도에 긍정적 영향을 미치는 것으로 나타났고, ‘교사가 만든 학생 학업 성취도 평가 결과를 학생의 요구에 맞는 교수방법으로 전환하기 위해 쓰이지 않는지’(B=-28.502)는 유의수준 0.05에서 수학 학업 성취도에 부정적 영향을 미치는 것으로 나타났다. 선형혼합모형 분석으로 도출된 수학 학업 성취도에 유의미한 영향을 미치는 변수들에 대해 SHAP 요약 도표 및 SHAP 의존성 도표를 활용하여 추가적으로 분석하였다. SHAP 요약 도표는 변수의 중요도와 영향의 방향(긍정적, 부정적)을 시각적으로 보여준다. 또한, SHAP 의존성 도표는 주요 변수의 다양한 응답값이 수학 학업 성취도와 어떤 관계를 가지는지를 구체적으로 시각화하여, 변수 간 상호작용의 작용 방식을 보다 직관적으로 이해할 수 있도록 한다. 선형혼합모형과 SHAP 분석 두 기법을 병렬적으로 사용한 이유는 각 기법이 제공하는 시사점이 본질적으로 다르면서도 상호보완적이기 때문이다. 선형혼합모형은 변수의 통계적 유의성을 확인하고 인과관계 분석의 근거를 제시하며, 모집단 수준에서 일반화 가능한 결과를 도출하는 데 초점을 맞춘다. 반면, SHAP 분석은 예측 모델(XGBoost)의 결과를 해석하고, 주요 변수 간 비선형적 관계와 상호작용을 시각적으로 탐구하여 선형혼합모형 분석 결과를 보완한다. 이를 통해 수학 학업 성취도에 영향을 미치는 요인을 보다 정교하게 이해하고, 연구 결과의 해석력을 높이도록 하였다. 선형혼합모형 분석으로 수학 학업 성취도에 유의미한 영향을 미치는 변수들에 대한 SHAP 요약 도표 및 SHAP 의존성 도표 분석 결과는 다음과 같다. 먼저, 학생 관련 주요 변수 6개가 수학 학업 성취도에 기여하는 방식은 다음과 같다. 수학 학업 성취도와 긍정적 영향을 가지는 변수로는 ‘과학은 내가 가장 좋아하는 과목 중 하나다’, ‘나에게 수학은 쉽다’, 그리고 ‘학교 시험 성적에 PISA 결과가 반영된다면 얼마나 노력을 할 것인지’가 포함되었다. 이 세 변수들은 수학 학업 성취도에 긍정적인 영향을 미치지만, 각 변수의 응답값에 따른 구체적인 양상은 다르게 나타났다. ‘과학은 내가 가장 좋아하는 과목 중 하나다’ 변수 분석 결과, 과학에 대한 선호도가 형성 되기만 하면 선호도의 정도 차이는 수학 학업 성취도에 미치는 영향은 큰 차이가 없었다. ‘나에게 수학은 쉽다’ 변수 분석 결과, 선호도가 증가할 수록 수학 학업 성취도에 미치는 긍정적인 영향은 더욱 커지는 것으로 나타났다. ‘학교 시험 성적에 PISA 결과가 반영된다면 얼마나 노력을 할 것인지’ 변수 분석 결과, 학교 시험 성적에 반영되더라도 노력을 기울이지 않겠다고 응답한 경우 수학 학업 성취도에 미치는 부정적 영향이 큰 것으로 나타났다. 반면, ‘등교 전 아르바이트와 관련된 변수’는 아르바이트를 하는 경우 수학 학업 성취도에 부정적인 영향을 미치는 것으로 나타났다. 구체적으로, 등교 전 아르바이트를 하는 것 자체가 수학 학업 성취도에 부정적 영향을 미치는 것으로 나타났다. 다음으로, SHAP 요약 도표 분석 결과 수학 학업 성취도에 영향을 미치지만 일관되지 않은 효과를 보이는 변수로는 두 가지가 있었다. ‘총 수업 횟수’가 많을수록 수학 학업 성취도에 긍정적인 영향을 미치는 경향이 전반적으로 있지만, 일부 학생에게는 부정적인 영향을 미치는 경우도 관찰되었다. 또한, ‘스크린이 있는 디지털 기기 개수’가 많을수록 성적에 긍정적인 영향을 미칠 가능성이 있으나, 그 효과는 모든 학생에게 일관되게 나타나는 것은 아니었다. 구체적으로 SHAP 의존성 도표 분석 결과, ‘총 수업 횟수’가 30인 경우로 응답한 경우, 수학 학업 성취도에 미치는 전반적인 영향은 긍정적이었지만, 부정적인 영향도 다소 나타나는 것으로 확인되었다. ‘스크린이 있는 디지털 기기 개수’ 변수 분석 결과, 보유한 기기의 수가 6개 이상으로 응답한 경우 수학 학업 성취도에 긍정적 관계를 가지는 것으로 나타났다. ICT 관련 변수에서는 수학 학업 성취도에 긍정적 영향을 미치는 두 가지 변수가 도출되었고 ‘컴퓨터 관련 수업에서 디지털 기기를 얼마나 자주 사용하는지’, 그리고 ‘SNS에 공유하기 전 온라인 정보의 정확성을 확인하는지’가 포함되었다. ‘컴퓨터 관련 수업에서 디지털 기기를 얼마나 자주 사용하는지’ 변수의 SHAP 의존성 도표 분석 결과, 디지털 기기 활용 빈도가 수업의 절반 이상일 경우 수학 학업 성취도에 긍정적인 영향을 미치는 것으로 나타났다. ‘SNS에 공유하기 전 온라인 정보의 정확성을 확인하는지’ 변수의 SHAP 의존성 도표 분석 결과, 온라인 정보의 정확성을 검증하는 행동 자체가 수학 학업 성취도에 긍정적 영향을 미치는 것으로 확인되었다. 반면, 수학 학업 성취도에 부정적인 영향을 미치는 변수 두 가지로는 ‘SNS 사용 시간’과 ‘사진 및 영상과 같은 디지털 콘텐츠의 제작 또는 편집 빈도’ 변수가 나타났다. ‘SNS 사용 시간’ 변수의 SHAP 의존성 도표 분석 결과, 하루 세시간 이상 SNS를 사용하는 경우 수학 학업 성취도에 부정적인 영향을 미치는 것으로 나타났다. ‘사진 및 영상과 같은 디지털 콘텐츠의 제작 또는 편집 빈도’ 변수의 SHAP 의존성 도표 분석 결과, 하루 한시간 이상 해당 활동에 시간을 할애할 경우 수학 학업 성취도에 부정적 영향을 미치는 것으로 확인되었다. SHAP 요약 도표 분석 결과, 학부모 관련 변수에서 수학 학업 성취도에 긍정적인 영향을 미치는 두 가지 변수는 ‘부모가 자녀가 수학 관련 직업을 가질 것이라 기대하는 정도’와 ‘자녀가 고등학교 이후에도 수학을 공부할 것이라는 부모의 기대’로 드러났다. SHAP 의존성 도표 분석 결과, 두 변수에서 자녀가 수학 관련 진로 및 공부에 관심을 보이더라도, 수학 학업 성취도에 미치는 긍정적 영향의 정도는 크게 달라질 수 있는 것으로 확인되었다. 교사 관련 변수로는 ‘교장이 교사의 업무를 원활히 수행할 수 있도록 조직하는 능력’에 대한 평가와 ‘교사의 집중력’이 학업 성취에 영향을 미치는 것으로 나타났다. 교장이 교사의 업무를 원활히 수행할 수 있도록 조직하는 능력이 높다고 평가될수록 긍정적인 영향이 확인되었으며, 교사가 학교에서 집중하기 어렵다고 응답할수록 부정적인 영향을 미치는 것으로 나타났다. 학교 관련 변수로는 ‘PISA에 관한 학교장 지원 및 교사와 학생의 격려: 최선을 다하라고 학생들을 격려하였다’와 ‘학생 평가 결과 활용: 교사가 만든 학생 학업성취도 평가 결과가 학생의 요구에 맞는 교수방법으로 전환하기 위해 쓰이지 않는지’가 수학 학업 성취도에 중요한 영향을 미쳤고, 학교장이 격려를 하고, 교사가 학생 평가 결과를 교수방법 수정에 활용한다고 응답한 경우 수학 학업 성취도에 긍정적인 영향을 미치는 것으로 나타났다. ‘PISA에 관한 학교장 지원 및 교사와 학생의 격려: 최선을 다하라고 학생들을 격려하였다’ 변수의 SHAP 의존성 도표 분석 결과, 학교장이 학생들에게 시험에 최선을 다하라는 격려를 제공할 경우 긍정적 영향을 미치는 것보다 격려를 하지 않을 경우의 부정적 영향이 상대적으로 더 크게 나타났다. 또한, ‘학생 평가 결과 활용: 교사가 만든 학생 학업성취도 평가 결과가 학생의 요구에 맞는 교수방법으로 전환하기 위해 쓰이지 않는지’ 변수 SHAP 의존성 도표 분석 결과, 학생 평가 결과를 학습 요구에 맞게 교수법에 반영하지 않을 경우 성적에 부정적 영향을 미치는 경향이 두드러졌다. 반면, 수학 학업 성취도 편차가 작은 그룹에서는 총 8개의 변인이 유의미한 영향을 미쳤으며, 학생 관련 변인은 5개, ICT 관련 변인은 2개, 학교 관련 변인은 1개로 확인되었다. 이후, 각 변인에 대해 SHAP 분석을 실시하여 변수의 중요도와 영향을 평가하였다. 구체적으로, 학생 관련 변수 중에서 유의수준 0.001에서 수학 학업 성취도에 통계적으로 유의미한 영향을 가지는 변인은 ‘수학, 국어, 과학 교과에 대한 선호도 및 자아개념: 수학은 내가 가장 좋아하는 과목 중 하나다’(B=18.404), ‘PISA 시험과 설문에 대한 노력: 학교 시험 성적에 PISA결과가 들어간다면 얼마나 노력을 할 것인지’(B=5.589), ‘학생의 수학적 자아개념: 올해 학교 수학 교육의 질에 대한 평가’(B=5.373), ‘학교 수업에서 할당된 과목별 수업 횟수: 수학을 포함한 주당 총 수업 횟수’(B=0.826)가 있었다. ‘수학 숙제에 쓰는 시간’(B=5.104)은 유의수준 0.05수준에서 수학 학업 성취도에 대해 통계적으로 유의미한 영향을 미쳤다. ICT 관련 변수중에서 유의수준 0.01에서 유의미한 영향을 나타내는 변인은 ‘주중 ICT 활용 시간: 학교과제를 위해 인터넷을 사용하는 빈도’(B=7.081)가 있었고, 유의수준 0.05에서 유의미한 영향을 나타내는 변인으로는 ‘디지털 역량에 대한 자기효능감: 관련있는 정보를 온라인에서 찾을 수 있다’(B=12.657)가 있었다. 마지막으로 학교관련 변수중에서 ‘입학 사정 시 고려 사항: 학생의 자녀 유무 또는 임신’(B=-19.929)은 유의수준 0.05에서 수학 학업 성취도에 유의미하게 부정적 영향을 미치는 것으로 나타났다. SHAP 요약 도표 분석 결과, 학생 관련 다섯가지 변수 중 수학 학업 성취도에 긍정적 영향을 미치는 변수는 한개이며 ‘수학은 내가 가장 좋아하는 과목 중 하나다’가 확인되었다. 반면, 변수의 높은 응답값이 수학 학업 성취도에 미미하게 긍정적인 영향을 미치지만, 낮은 응답값이 두드러지게 부정적인 영향을 미치는 변수로는 두 개로, ‘학생의 수학적 자아개념: 올해 학교 수학 교육의 질에 대한 평가’와 ‘PISA 시험과 설문에 대한 노력: 학교 시험 성적에 PISA 결과가 반영된다면 얼마나 노력을 할 것인지’가 확인되었다. ‘학생의 수학적 자아개념: 올해 학교 수학 교육의 질에 대한 평가’ 변수의 SHAP 의존성 도표 분석 결과, 수학 교육의 질을 아주 낮게 평가한 학생들의 경우 수학 학업 성취도에 미치는 영향은 상당히 부정적인 것으로 나타났다. ‘PISA 시험과 설문에 대한 노력: 학교 시험 성적에 PISA 결과가 반영된다면 얼마나 노력을 할 것인지’ 변수의 SHAP 의존성 도표 분석 결과, 학교 시험 성적에 PISA 결과가 반영될 경우 최대한 노력을 기울이겠다고 응답한 경우에만 수학 학업 성취도에 긍정적인 기여를 하는 것으로 나타났고, 노력을 크게 하지 않겠다고 응답할 경우 수학 학업 성취도에 미치는 영향은 상당히 부정적인 것으로 나타났다. 한편, 변수의 효과가 일관되지 않거나 제한적으로 나타난 변수는 두 개로 ‘수학 숙제에 쓰는 시간’과 ‘수학을 포함한 주당 총 수업 횟수’가 포함되었다. ‘수학 숙제에 쓰는 시간’ 변수의 SHAP 의존성 도표 분석 결과, 수학 숙제에 하루 30분 이상 할애한다고 응답한 경우 수학 학업 성취도에 긍정적 영향을 미치는 것으로 나타났지만, 하루에 4시간 이상 할애한다고 응답한 경우와의 긍정적 영향 정도의 차이는 크지 않은 것으로 확인 되었다. ‘수학을 포함한 주당 총 수업 횟수’ 변수의 SHAP 의존성 도표 분석 결과, 주당 총 수업 횟수를 35회 이상으로 보고한 경우 수학 학업 성취도에 긍정적 영향을 미치는 것으로 나타났다. ICT 관련 변수 중에서는 ‘디지털 역량에 대한 자기효능감: 관련 있는 정보를 온라인에서 찾을 수 있다’ 변수가 수학 학업 성취도에 긍정적인 영향을 미치는 것으로 나타났다. SHAP 의존성 도표 분석 결과, 쉽게 정보를 찾을 수 있다고 응답한 경우에만 수학 학업 성취도에 긍정적 영향을 미치는 것으로 확인되었다. ‘학교 과제를 위해 인터넷을 사용하는 빈도’ 변수의 SHAP 의존성 도표 분석 결과, 일주일에 한두 번 또는 거의 매일 학교 과제를 위해 인터넷을 사용하는 것이 수학 학업 성취도에 긍정적인 영향을 미치는 것으로 확인되었지만, 빈도가 늘어나더라도 수학 학업 성취도에 미치는 긍정적 영향의 정도는 비슷한 수준으로 유지되었다. 학교 관련 변수 중 ‘입학 사정 시 고려 사항: 학생의 자녀 유무 또는 임신’은 응답값의 변화가 수학 학업 성취도에 큰 영향을 미치지 않아 해당 변수가 예측에 중요한 요인으로 작용하지 않을 가능성을 시사하였다. 전체적인 분석 결과를 종합하여 도출된 정책적 제언은 다음과 같다. 두 그룹 모두 학생들이 학업에 대한 동기와 책임감을 가질 수 있도록 지원하는 학습 환경의 중요성이 강조되었다. 또한, 주당 수업 시간을 적절히 배정하고, 학습의 질을 고려한 체계적인 수업 설계가 필요하다는 점이 확인되었다. 마지막으로, 학생들의 교과 흥미와 자아효능감을 증진시키는 교육적 접근이 학업 성취 향상에 중요한 요인으로 나타났다. 한편, 수학 학업 성취도 편차가 큰 그룹에서는 경제적 취약 계층 학생들이 학업에 집중할 수 있도록 아르바이트를 줄이고 학습에 집중할 수 있는 장학금 및 지원이 필요하다는 점이 강조되었으며, 수업 중 ICT의 체계적 활용과 정보의 신뢰성을 평가할 수 있는 비판적 사고 교육이 요구 된다. 반면, 성적 편차가 작은 그룹에서는 디지털 정보 탐색 역량과 자기주도적 ICT 활용이 중요한 영향을 미쳤으며, 과제에 필요한 정보를 효과적으로 찾고 활용할 수 있는 능력을 키우는 것이 학업 성취에 긍정적 역할을 할 수 있음을 시사했다. 또한, 학교 교육의 질에 대한 학생들의 인식을 긍정적으로 유지하도록 하여, 일부 학생이라도 수업의 질을 크게 부정적으로 평가하지 않도록 교육 환경을 개선할 필요가 있음을 확인했다. 이를 통해 모든 학생이 만족할 수 있는 학습 환경을 조성하고, 긍정적인 학습 경험을 통한 학업 성과 향상을 도모할 수 있는 정책적 방안 마련이 필요하다.;This study utilizes PISA 2022 data to investigate the factors influencing mathematics achievement among first-year high school students in schools with significant and minimal within-school variance in mathematics scores, specifically targeting students in the lowest ESCS (index of economic, social and cultural status) quartile. The analysis employed both Mixed-Effects Random Forest and XGBoost with estimated random effects. A performance comparison showed that XGBoost with random effects estimation outperformed the former, leading to the identification of 45 key predictor variables. Further Linear Mixed-Effects Model identified significant predictors within each group: in the high-variance group, 16 variables were found to be significant, with 7 student-related, 4 ICT-related, and 2 variables each related to parents, teachers, and school. In comparison, in the low-variance group, 8 variables were significant, including 5 student-related, 2 ICT-related, and 1 school-related factor. Subsequent SHAP analysis provided a detailed evaluation of the importance and impact of these variables. The findings underscore the importance of fostering a learning environment that encourages motivation and responsibility across both groups. Moreover, appropriate allocation of weekly instructional hours and quality-driven curriculum design emerged as essential factors. Lastly, fostering educational approaches that enhance students' interest in academic subjects and their sense of self-efficacy emerged as a critical factor in improving academic achievement. In the high-variance group, the findings highlight the need to support economically disadvantaged students by minimizing their need for part-time work and providing scholarships to enable focused learning. Structured integration of ICT in classrooms, along with critical thinking training to assess the reliability of information, was also identified as beneficial. Meanwhile, in the low-variance group, digital literacy and self-directed ICT usage significantly impacted academic outcomes, highlighting the positive role of skills in locating and utilizing relevant information for assignments. Additionally, maintaining a positive perception of educational quality among students is crucial, ensuring that none view the instructional quality overly negatively. This approach fosters a learning environment that enhances student satisfaction and drives academic achievement through positive and meaningful learning experiences. In sum, the findings advocate for targeted policy interventions aimed at fostering equitable, high-quality educational experiences that support both achievement and overall student well-being.