고기능 자폐스펙트럼장애 아동과 일반 아동 감정 발화의 비교

Abstract

말(speech)에서 화자가 자신의 감정을 전달하기 위해 사용하는 비언어적인 특징으로 정의가 가능한 감정적 운율은 효과적인 의사소통과 사회적 기능에 매우 중요한 역할을 담당한다(Banse & Scherer, 1996; Scherer, 2003). 일반 아동이 만 5세가 되면 정서를 지각할 수 있는 능력이 생기고 감정적 운율 산출이 자연스럽게 가능해지는 것(Choi & Mazuka, 2003; Sauter et al., 2013)과 달리 자폐스펙트럼장애 아동은 감정적 운율 산출 발달에 문제가 있다고 지속적으로 보고되어왔다(Hubbard & Trauner, 2007). 또한 여러 연구에서 자폐스펙트럼장애 집단과 일반 집단 간 사이 감정 인식에 유의한 차이가 없으며, 청자가 들을 때 자폐스펙트럼장애 아동의 감정 산출이 어색하게 들리는 것은 잘못된 운율 처리의 문제라고 보고하였는데(Boucher, Lewis & Collis 2000; Chevallier, Noveck, Happé & Wilson, 2011; Loveland et al., 1997), 이러한 연구 결과에도 불구하고 고기능 자폐스펙트럼장애 아동의 경우 아직까지 대부분의 연구가 감정 인식의 차이를 보는 연구에 집중되어 있어 감정 발화의 운율적 특성에 대한 연구는 부족한 실정이다. 이에 본 연구에서는 3가지 평가 방법으로 고기능 자폐스펙트럼장애 아동이 감정 발화 산출 능력에서 일반 아동과 어떤 차이를 보이는지 살펴보았다. 청지각적 평가, 음향학적 평가 및 시각화 분석(visual analytics)을 통해 분석하였다. 음향학적 평가는 Lehiste(1970)의 기준을 따라 시간(temporal), 강도(intensity) 및 스펙트럴(spectral), 3개의 차원에 감정 발화의 운율 산출 특성을 비교하였으며 시각화 분석에서는 t-SNE(t-distributed stochastic neighbor embedding) 기법(Maaten & Hinton, 2008)을 사용하였다. 연구 대상자는 성별을 남아로 통제하여 만 7세에서 만 11세의 고기능 자폐스펙트럼장애 아동 10명과 일반 아동 10명으로 선정하여 진행하였으며 선별 검사를 진행하였다. 고기능 자폐스펙트럼장애 아동은 한국 카우프만 아동용 지능검사(Korean Kaufman Assessment Battery for Children; K-ABC)(문수백 & 변창진, 1997), 수용·표현 어휘 검사(Receptive & Expressive Vocabulary Test; REVT)(김영태, 홍경훈, 김경희, 장혜성 & 이주연, 2009)에서 수용어휘 검사, U-TAP 검사(Urimal Test of Articulation and Phonology; U-TAP)(김영태, 신문자 & 김수진, 2004)를 진행하였다. 일반 아동은 K-ABC 지능 검사를 제외한 나머지 검사를 실시하였다. 고기능 자폐스펙트럼장애 아동이 감정을 모방하여 산출하는데 있어 일반 아동과 어떤 차이를 보이는지 알아보기 위해 송미숙(2016)이 자체 개발한 그림을 제시하는 동시에 전문 성우가 3가지 감정 발화(기쁨, 화남, 슬픔)에 대한 녹음을 들려주고 감정에 대해 모방하도록 유도하는 과제를 사용하였다. 고기능 자폐스펙트럼장애 아동과 일반 아동의 집단 간 감정 발화의 청지각적, 음향학적 평가에서 두 집단 간 유의한 차이가 있는지 살펴보기 위해 비모수검정의 맨-휘트니 검정(Mann-Whitney U test)을 실시하였다. 또한 시각화 분석(visual analytics)을 위해 t-SNE 기법을 사용하였다. 이에 따른 본 연구의 결과는 다음과 같다. 첫째, 집단 간 감정 발화에서 청지각적 평가 점수 차이가 통계적으로 유의하게 나타났다. 고기능 자폐스펙트럼장애 아동이 일반 아동보다 중립을 제외한 기쁨, 화남, 슬픔 감정에서 상대적으로 낮은 평가 점수를 받은 것으로 나타났다. 둘째, 집단 간 감정 발화의 음향학적 평가에서 기쁨, 화남, 슬픔의 감정에서 유의한 차이가 나타났다. 시간(temporal), 강도(intensity), 스펙트럴(spectral) 세 개의 차원의 7개의 파라미터(발화 길이, 평균 강도, APQ, HNR, 평균 기본 주파수, 기본 주파수의 표준편차, PPQ) 중 3개의 파라미터에서 유의한 차이가 나타났다. 기쁨 감정에서 평균 강도와 기본 주파수의 표준편차, 화남 감정에서 기본 주파수의 표준편차, 슬픔 감정에서 발화 길이에서 일반 아동과 차이를 보였다. 셋째, 집단 간 감정 발화를 MFCC와 음도를 강제 정렬시켜 시각화 분석을 진행한 결과, 고기능 자폐스펙트럼장애 아동의 경우 기쁨, 화남, 슬픔, 중립이 구분되지 않고 혼합되어 있는 것을 볼 수 있었다. 그러나 일반 아동의 경우 기쁨과 화남 감정이 일부 MFCC와 음도에서 다른 특징을 가지고 있어 따로 분포되어 있는 것을 발견할 수 있었다. 이러한 결과는 고기능 자폐스펙트럼장애 아동이 감정 발화에서 감정적 운율 산출 능력이 일반 아동보다 부족하다는 것을 시사한다.;The emotional prosody, which can be defined as a non-verbal feature of a speech that a speaker uses to convey his or her feelings, plays an important role in effective communication and social functioning(Banse & Scherer, 1996; Scherer, 2003). It has been reported that children with autism spectrum disorder have problems with emotional prosody(Hubbard & Trauner, 2007), while children with typical development may develop the ability to perceive emotions, and naturally produce emotional prosody (Choi & Mazuka, 2003; Sauter et al., 2013). In addition, many previous studies report that there were no significant differences in the perception of emotions between the children with autism spectrum disorder and with typical development, and the reason why the emotional output of children with autism spectrum disorder sounds awkward is due to the improper emotional prosody(Boucher, Lewis & Collis 2000; Chevallier, Noveck, Happé & Wilson, 2011; Loveland et al., 1997). Despite these findings, most studies on children with high functioning autism spectrum disorders have focused on differences in emotional perception. Consequently few studies have dealt with prosodic characteristic of emotional utterance. This study focuses on the difference of the ability to produce emotional utterance between children with high-functioning autism spectrum disorder and with typical development. It was analyzed through auditory-perceptual evaluation, acoustic evaluation and visual analytics. For acoustic analysis, emotional utterance prosody creation characteristics were analyzed in the three dimensions according to the standards of Lehiste(1970) which are temporal, intensity, and spectral. In the visual analytics, t-SNE(t-distributed stochastic neighbor embedding;) technique (Maaten & Hinton, 2008) was used. The subjects were 7 to 11-old boys with high functioning autism (n=10) and with typical development (n=10). The screening test were performed. For children with high functioning autism spectrum, K-ABC(Korean Kaufman Assessment Battery for Children)(Moon & Byun, 1997), receptive vocabulary test from REVT(Receptive & Expressive Vocabulary Test)(Kim, Hong, Kim, Jang & Lee., 2009) and U-TAP(Urimal Test of Articulation and Phonology)(Kim, Shin & Kim) were performed. For subjects children with typical development had rest of tests excluding K-ABC test. To identify the difference between children with high functioning autism spectrum and with typical development in imitating and producing such emotions, the pictures developed by Song(2016) were presented and asked them to imitate the emotions after letting them listen to the record of 3 emotional utterances (neutral, happy, angry, and sad). To identify if there is statistically significant difference in auditory-perceptual evaluation of emotional utterance between children with high functioning autism spectrum and with typical development, and to analyze acoustic parameters, one of nonparametric tests Mann-Whitney U test were performed. Additionally, t-SNE algorithms was used. The results of this study are as follows. First, there was statistically significant difference in emotional utterance auditory-perceptual evaluation scores between groups. Children with high functioning autism spectrum had relatively lower scores in happy, angry and sad except neutral. Second, there was significant difference in the emotion of happy, angry and sad in emotional utterance acoustic evaluation between groups. Out of 7 parameters such as duration, mean intensity, APQ, HNR, mean frequency(mean F0), F0 standard deviation(SD F0), PPQ in the three dimensions (temporal, intensity, and spectral), there was significant difference in three parameters. There was difference in mean intensity and SD F0 of PPQ in happy, SD of PPQ in angry, and duration of utterance in sad. Third, in the visual analytics of the emotional utterance by forced alignment MFCC and pitch, it was found that happy, angry, sad, and neutral were not separated but mixed up altogether in the children with high functioning autism spectrum. However, in the case of children with typical development, happy and angry have different characteristics in MFCC and pitch and are distributed separately. This result suggests that children with high functioning autism spectrum can produce emotional prosody in emotional utterance less proficiently.