한국어 읽기 전략 지도 효과에 대한 메타 분석

Abstract

본 연구의 목적은 한국어 읽기 전략 메타 분석 지도 효과에 대한 선행 연구의 비판적 고찰을 통해 메타 분석을 수행함에 있다. 비판적 고찰이라 함은 선행 연구들을 통해 한계 및 제한점을 개선하고 업데이트된 연구를 추가하여 한걸음 나아가고자 함이다. 또한 사회과학으로서 한국어 교육학이 사회의 변화 현상과 그 조류에 따라 어떠한 영향을 받고 있는지 메타 분석 연구와 관련 지어 살펴보았다. 그중 가장 두드러진 변화는 세계적으로 높은 관심을 나타낸 메타 인지에 따른 학습 전략의 변화였다. 제2 언어에서는 먼저 이러한 현상이 반영되어 메타 분석을 통해 보고되었다. Plonsky(2019)는 이러한 효과 크기 증가는 교수자와 학습자의 학습 전략에 대한 이해가 높아짐에 따른 연구 설계 및 방법 개선에 따른 효과로 보고하였다. 그러나 그 변화의 정도가 매우 컸음은 보다 더 사회적인 원인도 작용했을 가능성이 크다. Plonsky(2011, 2019)에 따르면 2011년까지 메타 인지 전략은 인지 전략의 효과 크기의 절반밖에 되지 않았다. 그러나 2019년 메타 인지 전략의 효과 크기는 약 두 배나 높은 효과 크기를 보고했다. 이러한 결과는 학습 전략 효과 크기 보고에 있어 큰 패러다임의 변화가 일어났음을 의미한다. 그 이유는 그동안 제2 언어 학습 전략에 있어 인지 전략 연구의 4분의 1밖에 되지 않던 연구물들이 새롭게 업데이트 된 효과 크기 수의 차이로 메타 인지 전략이 9개로 인지 전략보다 1개 적었으며 인지 전략과 비교해 그 이전보다 많은 연구가 이루어 짐에 따라 기존자료에 합산 시 큰 비중을 차지하게 된다. 이와 같은 현상은 연구자들의 메타 인지 전략의 높은 관심이 있었기 때문임을 전제한다. 이러한 현상과 관련하여 한국어 교육학의 학습 전략에는 어떠한 변화가 있었는지 연구 종합을 통해 분석하고자 하였다. 체계적 연구 종합으로 메타 분석을 수행하기 위해 먼저 학습 전략을 분류하였으며 그 과정에서 학습 전략 범주의 큰 패러다임 변화가 있었음을 확인하였다. 2011년을 기준으로 학습 전략 분류에 있어 그동안 높은 직관성과 활용도로 사용되고 있던 Oxford(1990)의 학습 전략 분류 기준은 보다 진보된 S2R 모형을 제시하며 학습 전략의 관점과 관념에서 변화를 일으켰다. 학습 전략 변화의 근원에는 메타 인지 전략에서 학습자의 인지 전략을 지휘하는 자기 조절의 역할이 정의적 전략과 사회적 전략에도 확장되어 메타 정의적 전략과 메타 사회문화적 상호작용 전략 개념을 생성하였으며 이를 통칭하며 메타 전략으로 분류하였다. 이러한 분류에는 학습 전략의 행동적, 동기적, 인지적 요인을 토대로 그동안 인지적 요인에만 중점을 두고 이루어진 학습 전략이 세계화 현상과 맞물려 다양한 사회적 문화적 배경에 따른 차이가 학습 전략에 영향을 미치게 되며 제2 언어 학습 전략에서 구성주의적 관점이 많은 관심을 받게 된다. 이에 따라 사회 문화적 상호작용 전략 안에 사회적 전략과 보상 전략이 편입되며 자기 조절 학습만큼이나 관심을 받기 시작하였다. 그 결과 많은 연구들이 S2R 모형의 분류 기준을 적용하여 보고하기 시작했으며 이전보다는 S2R 모형이 적용된 자기 조절 학습 전략의 높은 연구 보고로 메타 인지 전략의 효과 크기 보고 빈도 또한 높아지며 매우 큰 효과 크기를 나타냈을 가능성이 있다. 또한 아직 과도기적 현상으로 이전 분류 기준인 Oxford(1990)에 따른 분류와 뒤섞여 나타남에 따른 현상으로 메타 전략이 이전 분류기준에 따라 인지 전략보다는 메타 인지 전략으로 분류됨에 있을 가능성도 있다. 아직까지 제2 언어에서 사회적 정의적 전략에 따른 효과 크기 보고가 인지 전략과 메타 인지 전략에 비해 매우 낮은 비중으로 따로 분류해서 보고할 정도가 아니라는 점도 작용했을 것이다. 본 연구는 한국어 교육학에서도 이에 따른 영향으로 학습 전략 효과 크기의 변화가 있었을 것을 가정하여 읽기 전략의 지도 효과에 대해 메타 분석하였다. 읽기 전략 지도 효과를 선정한 이유는 제2 언어 학습에서 가장 먼저 이루어지는 학습이 읽기이며 전략 학습에서 입력을 담당하는 만큼 한국어 학습자가 언어 능력을 향상시키는데 가장 기본이 되는 언어 능력이기 때문이다. 또한 그만큼 연구 축적물의 확보가 용이하여 메타 분석을 할 수 있을 정도의 수적 충족이 있었다. 본 연구의 메타 분석은 2000년부터 2022년 4월까지 누적된 연구물을 대상으로 실행하였으며 황성동(2014)에서 제시한 PRISMA에 따라 체계적인 검색 및 선별 과정을 거쳐 29편의 연구물에서 44개의 효과 크기를 선정하였다. 먼저, 읽기전략 지도 효과에 대한 메타 분석을 수행함에 있어 선행 연구의 한계와 제한점을 파악하는 비판적 고찰이 이루어졌으며 다음과 같은 발견이 있었다. 첫째, 학습 전략의 기존 선행 연구들이 특정 연구자의 학습 전략 범주를 적용하여 메타 분석이 수행되었고 그 기준에 따라 분류된 선행 연구들의 전략 분류 기준과 실제 메타 분석에 반영된 연구들의 연구 설계와 평가, 결과가 일치하지 않았다. 이러한 결과는 다양한 학습 전략의 정의에 있어 공통 요소인 학습자의 전략 실행과 교수자의 전략 지도에 있어 목적인 “의도성”을 간과하여 분류함에 있다. 즉, 학습 전략의 개별 연구의 분류에 있어 연구 목적과 연구 설계에 적합한 분류를 하지 못하였다. 최근 학습 전략 분류의 모호함과 중복된 분류 기준으로 새롭게 정의된 모형이 등장하고 있으며 계속해서 분류 기준에 따라 범주 모형은 변화해왔고 변화해간다. 그러나 학습 전략의 본질은 그대로 유지될 것이며 그 본질은 전략 사용의 의도성에 있다. 따라서 메타 분석을 수행함에 있어 개별 연구의 교수자의 학습 전략 지도 의도를 파악함이 우선이며 그에 따라 특정 전략 범주에 맞춰 분류되어야 한다. 그 이유는 교수자의 전략 지도 의도에 따라 연구 설계 및 평가, 목적이 달라지기 때문이다. 또한, 메타 분석에서 핵심은 개별 연구 설계에 가장 적절한 효과 크기 산출에 있으며 이는 연구 설계에 가장 적합한 분류가 선행됨을 전제로 한다. 그러나 선행 연구가 의도성을 간과함에 따라 본 연구와는 전략 분류에서 차이가 있었으며 본 연구는 이에 대한 기준으로 1차 연구물의 연구자의 명시적인 의도 및 정의에 따라 분류하였다. 둘째, 메타 분석을 수행하는 목적은 같은 주제에 대해 흩어져 있는 결과를 종합 분석하여 합리적이며 어느정도 일관된 효과를 보고함에 있다. 이를 위해서는 정확한 효과 크기가 산출되어야 한다. 그러나 기존 선행 연구들이 거의 같은 1차 연구물을 메타 분석에 포함하면서도 확연히 서로 다른 효과 크기를 제시함에 있다. 그 이유는 서로 다른 산출 방법을 적용했기 때문이며 연구 마다 다른 유형의 통계량을 제시하고 있음에도 기존 선행 연구들이 한 두가지 방법으로 효과 크기를 산출함으로 인해 문제가 제기되었다. 이러한 결과는 선행 연구의 메타 분석에 포함된 연구물들이 단일 집단 사전 사후를 포함하고 있음에도 통제 집단이 있는 유형의 효과 크기 산출을 적용하고 있었으며 개별 연구마다 다른 통계량을 제시하고 있음에도 획일적인 산출 방법을 적용함에 따라 효과 크기에 있어 다른 결과를 보고하였다. 따라서 본 연구에서는 이를 개선하여 통제 집단 사전 사후, 통제 집단 사후, 단일 집단 사전 사후의 효과 크기 산출 방법을 적용하였다. 또한, 통제 집단 사전 사후와 통제 집단 사후로 둘 다 분석이 가능할 경우 연구 설계에 따라 달리 적용하였으며 대부분은 통제 집단 사전 사후를 통해 산출하였다. 그 이유는 사전 점수를 제시한 통제 집단 사전 사후의 효과 크기가 인과 관계를 더 잘 설명하기 때문이며 통제 집단 사후로 측정 시 “동질한 집단”임이 충족되어야 하는데 그러기 위해서는 무선 할당이 전제되어야 하며 사전 검사는 무선 할당이 이루어진 후 이에 대한 동질성 확보의 점검 차원의 검증으로 동질성 요건을 충족하더라도 동질하지 않을 수 있기 때문이다. 즉, 효과 크기 산출 시 무선 할당이 이루어지지 않은 상태에서 사전 검사 충족요건만을 통해 동질한 집단인지를 확인하는 차원은 동질성을 온전히 확보할 수 없다. 이를 위해 동질한 집단인지 공분산 분석을 통해 확인한 결과 동질하지 않은 연구도 있었으며 이러한 경우 계산을 둘 다 적용해보고 그 차이가 클 때 원(original)자료로 돌아가 그 원인을 파악하고 연구 설계에 적합한 효과 크기 계산을 적용하였다. 단일 집단 사전 사후를 산출함에 있어 통제 집단이 없음으로 인한 문제로 연구를 제외할 수도 있었지만 선행 연구들이 이를 포함하고 있었고 조절 효과를 통해 차이 발생 원인을 살피는 것 또한 메타 분석을 하는 의미이다. 셋째, 한 연구물에 여러 효과 크기를 보고하는 연구에서 독립성 위배 문제가 발생하는데 이에 대한 고려 없이 보고되고 있으며 이는 전체 효과 크기 보고에 있어 연구물에 따른 평균 효과 크기 보고가 아닌 효과 크기에 따른 평균 효과 크기 산출로 독립성 위배 문제가 있음을 알 수 있다. 본 연구는 이를 분석 단위 이동 으로 해결하였다. 넷째, 개별 연구의 질적 요소를 고려하지 않은 효과 크기 산출로 인해 정확하지 못한 효과 크기를 보고하고 있으며 CMA와 같은 GUI방식의 프로그램을 통한 효과 크기 산출 시 선행연구에서는 질적 요소에 대한 고려가 보고되지 않아 표준편차를 적용함에 따른 문제가 예상된다. 이러한 배경에는 종종 분산이 동질하지 못한 한국어 교육학 실험 환경 에서 특히 주의해야 할 점이며 효과 크기를 산출하기 전 1차 연구물의 방법론적 질을 먼저 확인한 후 효과 크기 산출이 이루어져야 한다. 본 연구에서는 이를 무선 할당 정도, 문항 신뢰도 보고 유무, 사전 검사 유무를 통해 효과 크기를 산출하였다. 효과 크기 산출 시 또한, 표준편차 적용에 통제 집단 사전 사후의 효과 크기 산출 방법이라 하더라도 통합 표준편차가 아닌 통제 집단 사후 표준편차를 적용하였다. 다섯째, 읽기 전략 선행 연구와 관련하여 한 연구물만이 집단 간 차이에 따른 조절 효과를 보고했으며 하위 변인에 따른 조절 효과 보고가 단선적으로만 이루어져 이에 대한 체계적인 분석이 필요하였다. 따라서 본 연구에서는 인구통계학적 변인과 전략 지침에 따른 변인, 방법론적 질적 요소에 따른 변인으로 조절 효과를 확장하여 체계적으로 분석하였다. 그 결과 약간의 양의 비뚤림이 나타났으며 이러한 원인으로 한국어 교육학에서 읽기 전략 지도 효과의 측정에서 비표준화된 평가 즉 자체 제작 시험을 통해 상당수의 연구가 측정됨에 따른 편향이 발생되었을 수 있다. 또한, 상당수의 연구에서 신뢰도가 보고되지 않아 높게 나타났을 가능성이 있다. 일반적으로 난이도 조절이 이루어지지 않고 사전 검사보다 쉽게 출제되었을 때 그 효과 크기가 높게 나타나는데 이러한 현상은 연구자들이 유의미한 효과 보고로 인해 발생한다. 기존의 선행 연구가 상대적으로 큰 음의 효과 크기를 이상치로 제외시키거나 이를 양의 효과 크기로 변경함에 따른 양의 비뚤림 현상을 일부는 파악할 수 있었다. 본 연구는 다음과 같이 구성된다. Ⅰ장에서는 본 연구의 연구 목적과 필요성을 밝히고 연구 가설을 통해 연구 질문을 제시하였다. Ⅱ장에서는 이론적 배경인 학습 전략 정의 및 범주 체계의 흐름을 검토하였고 전략 범주의 중복과 모호함으로 인해 Oxford(1990)의 읽기 전략 모형이 S2R 모형으로 바뀌게 된 배경과 그 과정을 심도 있게 다룬 후 본 연구에서 적용하게 될 학습 전략 모형에 대한 학술적 검토가 이루어졌다. Ⅲ장에서는 메타 분석에 포함될 연구들을 연구 선정 기준에 따라 검색 선정하였고 자료 코딩을 통해 입력될 자료의 특징을 파악하였다. 자료 분석과 관련하여 적용하게 될 효과 크기 계산 및 분석 단위 이동 산출에 대한 제시를 하였고 Ⅴ장에서는 연구 결과에 따른 해석과 논의가 이루어졌으며 읽기 전략의 전체 효과 및 하위 전략에 따른 효과 크기를 산출한 결과를 토대로 해석과 논의가 이루어졌으며 인구통계학적 변인과 처치 변인, 방법론적 질적 요소 고려에 따른 조절 효과 분석이 이루어졌다. Ⅵ 장에서는 연구 요약을 통해 결론을 제시하고 연구의 한계 및 후속 연구를 위한 제언을 하였다. 본 연구의 연구 결과는 다음과 같다. 읽기 전략의 전체 효과 크기는 분석 단위 이동을 통해 Hedges의 g = .937을 산출하였다. 이전 메타 분석 연구의 효과 크기 .880 에 비해 약간 큰 효과 크기를 보고했으며 이 원인으로 최근 추가된 연구들이 COVID-19로 인해 온라인 Zoom을 통해 처치 받거나 평가가 이루어진 연구들의 높은 효과 크기 산출과도 관련이 있다. 이러한 현상은 제2 언어에서도 최근 온라인 수업의 더 높은 효과 크기를 보고하는 현상과 일치한다. 향후 온라인 교육을 통한 읽기 전략의 큰 효과 보고는 더 많은 학습자에게 KFL환경에서도 KSL환경에서 만큼 같은 혜택을 제공받을 수 있다는 점에서 고무적이다. 전략 별 효과 크기 보고와 관련해서는 인지 전략을 정교화 전략과 시연 전략, 조직화 전략, 인지 혼합 전략으로 구분하여 효과 크기를 산출한 결과 1편의 시연 전략을 메타 분석할 수는 없었고 효과 크기가 가장 크게 보고된 두 편의 정교화 전략만으로는 일반화할 수 없었다. 한국어 교육학의 인지 전략과 관련해서는 조직화 전략에서 가장 많은 연구가 보고되었으며 그 중 담화 구조에 따른 도식 표지자와 담화 표지어가 조직화 전략의 대부분을 차지하였다. 크기 순으로 나열하면 정교화 전략 > 인지 혼합 전략 > 구조화 전략의 순이었다. 인지 전략의 하위 전략 별 효과 크기는 인지 전략 > 복합 전략 > 상위 인지 전략 > 사회문화적 상호전략 순이었다. 대부분의 전략에서 효과 크기가 상승하였는데 그 이유는 최근 업데이트된 연구 결과들이 대부분 큰 효과 크기를 보고 함에 있다. 특히, 추가된 인지 전략과 복합 전략의 큰 효과 크기 보고로 인한 영향이 크다. 조절 효과와 관련하여서는 전략 수와 학습자 수에 따른 조절 효과를 제외하고는 통계적으로 유의미한 차이를 확인할 수 없었다. 통계적 검정력을 확인한 결과 연구물 수가 충분하지 않아 Boers 외(2021)의 제안에 따라 신뢰구간에 따른 조절 효과를 분석하였다. 본 연구결과를 통해 확인한 향후 연구를 위한 제언은 한국어 교육학 읽기 전략 지도 효과에 대한 메타 분석이 특정 전략 연구에 집중되어 있어 다양한 전략 연구가 필요하며 메타 분석의 정확한 효과 보고를 위해서는 절차적이고 방법적인 것도 중요하지만 무엇보다 1차 연구물의 품질에 따라 효과 크기 결과가 달라지며 그에 따른 오류 및 편향 문제로 인해 실제 효과 크기와 다르게 산출될 수 있기 때문에 1차 연구의 질과 수가 일정 수준 이상으로 충족되어야 한다. 이를 위해 한국어 교육학에서 연구 방법론 수업에 좀 더 많은 시간이 할애될 필요가 있음을 제언한다. ;This study aimed to review and critically consider previous meta-analysis studies on the teaching effect of reading strategy instruction in the Korean language education and perform a meta-analysis to advance the recently updated research. We thusly identified the following problems. First, it was impossible to classify Korean reading strategy according to the aim and design of the primary study due to the uniform application of a specific strategy cate-gory without considering the intentionality of strategy instruction and use. Second, different sizes were reported when calculating the effect size, even though the studies were classified using the same strategy. However, most of the sizes did not match, with some differing signif-icantly, causing multiple challenges in calculating the effect size. Third, the various analyses and explanations for the differences could not be conducted, as the analysis of the moderating effect through subgroup analysis was performed linearly by only one researcher. This study endeavored to address such problems. The intent of the reading strategy use and guidance was confirmed to calculate the classification of the primary research material and the appropriate effect size suitable for the study design and purpose. These are core factors of meta-analysis because of the differences in the research purpose and structure depending on the strategy instruction and learning intention. The study calculated the effect size considering methodological and qualitative factors, such as the degree of random assignment, the presence or absence of a pretest, and item reliability. Additionally, the causes of heterogeneity were identified using subgroup analysis through demographic variables, treatment variables, procedural processes, evaluations, and methodological qualitative factors. The funnel plot confirmed a slight positive (+) bias that did not significantly alter the results. The reasons for the quantitative bias were partially con-firmed through previous studies. Moreover, under the influence of small effects, a group with a small number of samples reported large effect size. Thus, a significant number of studies were positioned to the lower right of the X-axis. This study reported 44 effect sizes from 29 studies. The overall effect size of reading strategy was calculated as .937 in Hedges’ g. For the cognitive strategy, 25 effect sizes were reported in 17 studies, and an effect size of 1.113 was calculated. Organizational strategy, a sub-strategy of cognitive strategy, displayed an effect size of .884 from 17 effect sizes among 11 studies. Elaboration strategy showed an effect size of 2.017 from two effect sizes among two studies. There was only one demonstration strategy, therefore, meta-analysis was not nec-essary. Its generalization was unfeasible as only one effect size (2.862) was calculated from a single study. Conceptual blending strategy reported an effect size of 1.301 in five effect sizes among five studies. The effect size of cognitive strategies was in the order of elaboration strat-egy > conceptual blending strategy > organizing strategy. The meta cognitive strategy had an effect size of .912 in Hedges’ g in five effect sizes among five studies. Sociocultural approaches to reciprocal teaching strategies reported an ef-fect size of .407 in Hedges’ g in six effect sizes among three studies. Combination learning strategies reported an effect size of 1.030 in five effect sizes among four studies. Reading strategies listed in the order of effect size were cognitive strategies (1.113) > combination learning strategies (1.030) > meta cognitive strategies (.912) > sociocultural ap-proaches to reciprocal teaching strategies (.407). There were several differences in effect size compared to previous studies, and the cause of such differences was systematically and specif-ically analyzed. The moderating effect showed insignificant statistical differences, except for the moderating effect based on the number of strategies and learners. The verification of statis-tical power confirmed an insufficient number of studies; therefore, the based on the confidence interval, the adjustment effect was analyzed and interpreted according to the proposal of Boers (2021). Proposals for future research based on this study’s results are as follows. Various stra-tegic studies are needed as the meta-analysis on the effect of reading strategy instruction in Korean pedagogy is focused on specific strategy studies. Procedural and methodological as-pects are also crucial for accurate meta-analysis reporting. However, the effect size results vary depending on the quality of the preliminary study and may cause calculation differences in actual effect size due to errors and bias problems. Therefore, the quality and number of prima-ry studies must meet and exceed a certain level. It is thus suggested that more time should be devoted to research methodology classes in Korean education.