Enhancing the Classification Accuracy of Korean-English Bilingual Children with and without Language Impairment Using Dynamic Assessment of Story Retelling Task

Abstract

최근 조기교육, 다문화 가정, 귀국 가정등의 증가로 인해 이중언어를 사용하는 아동 인구가 점점 늘고 있다. 언어 평가를 통해 아동의 언어 발달 척도를 알아 보는 것은 매우 중요하지만, 이중 언어 평가 도구 및 규준의 부재로 인해 이중 언어 아동들의 언어 능력을 정확히 평가하는데 한게점이 있다 (Kohnert, 2010, Restrepo, 1998). 역동적 평가(Dynamic assessment)는 기존 평가 방법의 문제점을 보완 하고 이중 언어 구사 아동의 언어 능력을 다양한 관점에서 관찰하고 평가한다. 역동적 평가를 통해 과잉진단의 위험을 최소화 하고 아동의 취약점을 파악하여 개개인에 적합한 중재 계획을 설립하는데 목적이 있다. 이야기 다시 말하기 과제는 단일 언어 및 이중 언어 구사 아동의 언어 능력 평가 과제로 널리 쓰이고 있다 (Peets & Bialystock, 2015). 아동의 어휘 및 문법 능력, 이야기 문법, 이야기 결속력등을 평가할 수 있으며 나아가 상위 언어인 담화 수준의 문장 구성 능력을 알아 볼 수 있다. 이중 언어를 구사하는 아동 중 언어 지연 아동은 이야기 문법, 어휘 다양도, 이야기 결속력 등에서 일반 아동에 비해 어려움을 보이는 것으로 나타났다 (Govindarajan & Paradis, 2018). 따라서 역동적 평가를 통한 이야기 다시 말하기 과제는 이중언어 아동들의 언어 지연 여부를 판단하기 위해 널리 쓰이고 있다. 그리하여 본 연구에서도 역동적 평가를 통한 이야기 다시 말하기 과제를 실시하여, 이중 언어 구사 아동의 언어 지연 여부를 판별하는 지표가 무엇인지 알아보고자 하였다. 본 연구에는 만 5-9세의 한국어-영어 이중언어 구사 아동 총 22명이 참여하였다. 그 중 11명은 한국어 및 영어 수용 어휘 검사 결과 50%ILE 이상에 속하는 BI-HI group, 11명은 한국어 및 영어 수용 어휘 검사 결과 50%ILE 미만에 속하는 BI-LO group으로 분류하였다. 글이 없는 그림책인 개구리 이야기를 사용하여 아동의 이야기 다시 말하기 능력을 평가하였으며, 사전-사후 검사를 통해 아동의 한국어 및 영어 평균발화길이(Mean Length of Utterances in words), 한국어 및 영어 다른낱말수(Number of Different Words), 한국어 및 영어 전체낱말수(Total Number of Words)를 비교하였다. 검사자는 아동의 수정가능성(Total Modifiability Index), 이야기 문법 (Story Grammar Score)을 관찰 및 채점하였다. 결과를 요약하면 다음과 같다. 첫째, 이원혼합분산분석(Two-way mixed ANOVA)결과, 두 집단 간 평균발화길이, 다른 낱말 수, 전체 낱말 수는 유의한 차이를 보였으며, 집단 내 사전-사후 검사에서도 유의한 차이를 보였다. 영어 다른 낱말 수, 영어 전체 낱말 수는 상호작용효과가 유의하였다. 둘째, 판별 분석(Discriminant analysis)결과, 부모 보고 점수, 역동적 평가 점수(수정가능성, 이야기 문법 점수)가 모두 이중 언어 아동의 언어 지연 여부를 잘 판별해주는 것으로 나타났다. 수정 가능성 점수, 이야기 문법 점수를 모두 사용했을 경우 100%의 민감도(specificity)와 100%의 특이도(specificity)를 나타냈다. 셋째, 역동적 평가 점수만을 사용한 군집 분석 결과, 참여한 아동 22명을 세분화 시켜 3그룹으로 나눌 수 있었다. 그룹 1은 수정 가능성, 이야기 문법 점수가 모두 낮은 그룹, 그룹 2는 중간 점수, 그룹 3은 모든 점수가 높은 그룹으로 나뉘었다. 기존의 BI-LO그룹에 속해있던 참가자 3명은 그룹2로 분류되었는데, 이는 수용 어휘는 BI-HI그룹에 비해 낮은 수준을 보이지만, 이야기 다시 말하기의 학습 가능성 및 이야기 결속력 점수가 BI-LO집단보다 높았음을 뜻한다. 이 세 군집과 가장 관련이 높은 요인을 알아본 결과, 부모 보고 설문지(ALDeQ)중 아동의 행동 패턴 및 선호 활동 영역 점수가 가장 높은 연관이 있는 것으로 나타났다 ( p < .05). 즉, 언어 및 인지 놀이를 선호하고 학습속도가 빠른 아동 일수록 이야기 산출 점수가 높았던 것으로 나타났다. 본 연구의 결과를 통해 역동적 평가를 통한 이야기 다시 말하기는 이중 언어 아동의 언어 평가 방법으로 타당하다는 것을 확인하였다. 더 나아가 역동적 평가 점수로 아동을 선별하여 평가 단계를 최소화 하고 효율적인 평가 및 중재 방법을 제안하는 바이다.;It is important to accurately classify language-impaired children from typically developing children. Generally, standardized tests are first conducted, then clinicians suggest individualized support and intervention plan based on the result of the standardized tests. However, most traditional standardized tests do not have criterion that consider bilingual children’s language proficiency. Then bilingual children’s language proficiency may not be fully reflected in the results and are easily misdiagnosed with language impairment. To supplement such limitations, dynamic assessment has been widely used as a method to assess bilingual children (Carlson, 1983). Instead of measuring what the child has already acquired, dynamic assessment aims to measure child’s potential to learn and further suggest the best teaching methods that are specific for the child (Laing & Kamhi, 2003). Dynamic assessment helps to make less biased judgements when diagnosing bilingual children with and without language impairment. In addition, story retelling is one of the widely used tasks when assessing bilingual children’s language proficiency. Clinicians could gather information about the children’s vocabulary, grammar, cohesion of story and assess their linguistic ability at each level. This approach is especially useful in helping bilingual children since children’s strengths and weaknesses become evident and SLPs can organize individualized intervention plans. Lately there are increasing number of studies on dynamic assessment of story retelling for children. Many studies reported high classification accuracy of dynamic assessment measures (Kramer, Mallett, Schneider, & Hayward, 2009). High classification accuracy indicates that it is an eligible method when diagnosing children with language impairment. Modifiability ratings, post-test gain scores, story grammar scores are generally collected and analyzed during dynamic assessment. Therefore, the goals of this study are to find classification accuracy of dynamic assessment, and the optimal cut off scores for dynamic assessment indices to classify language impairment children and typically developing children. Also, the present study aims to find a way to classify bilingual children based on the dynamic assessment scores. A total of 22 Korean-English bilingual children participated in this study. Among the 22 participants, 11 were identified as having low proficiency in both languages (BI-LO group), and the other 11 were identified as having high proficiency in both languages (BI-HI group). All participants read ‘Frog, where are you?’ in Korean (Mayer, 1969), and ‘Frog goes to dinner’ and ‘Frog on his own’ (Mayer, 1969) in English. Dynamic assessment took place over 2 days, with pre-test, teaching phases, and post-test. Wordless picture books and story grammar icons were used to enhance children’s narrative skills. At the end of the post-test, the examiner scored children’s modifiability ratings and story grammar elements. The results indicated that there were significant differences in children’s mean length of utterances in words (MLU-w), Number of Different Words (NDW) and Total Number of Words (TNW) between groups. BI-Hi group used more words and diverse words in their utterances than BI-LO group. Also, there were significant differences between pre-test and post-test. Post-test performances were significantly better than pre-test. However, interaction effect was only significant for NDW in English and TNW in English. This is in line with preceding studies that reported NDW and TNW are more related to children’s language proficiency. BI-HI group showed bigger increase in NDW and TNW during the post-test and have better narrative skills. Furthermore, discriminant analysis was conducted to find classification accuracy of parent measure, Alberta Language and Development Parent Questionnaire (ALDeQ), and dynamic assessment indices. All variables revealed high classification accuracy, however when combined and used together, the classification accuracy increased to 100% sensitivity and 100% specificity. All indices are good indicators of language impairment. Lastly, K-means clustering was conducted to classify all participants based on the dynamic assessment scores. Total Modifiability Index, English Story Grammar Score, and Korean Story Grammar Score were used. The participants were in fact grouped into 3 groups, group 1 with low dynamic assessment scores, 1 with middle dynamic assessment scores, and 3 with high dynamic assessment scores. Interestingly, some children who were originally grouped into BI-LO group revealed dynamic assessment scores that were similar to BI-HI group, and thus were classified into group 2. Then chi square test was conducted to find the variable that contributed to such classification. Sectional scores of parent report, ALDeQ, were used and it was Section C, which is about child’s behavior patterns and activity patterns, that was correlated ( p < .05). Rather than child’s current language abilities, which was section B of ALDeQ, how a child behaves and prefers seem to be more correlated to child’s narrative skills. For these children, it is expected that their learning outcomes will be positive, and they will catch up soon. The results of this study reported measuring bilingual children’s narrative ability through dynamic assessment is a valid method to measure bilingual children’s language proficiency. Furthermore, dynamic assessment indices should be considered when identifying bilingual children with and without language impairment. It is believed to minimize the assessment procedure to develop the most effective intervention plan.