감정 발화 자극에서 운율 및 의미 단서 제공에 따른 청년층과 노년층의 정서 이해 능력

Abstract

The ability to understand and speak emotions is a prerequisite for understanding others’ emotions, correcting misunderstandings that may arise in conversation, expressing intimacy and belonging, as well as expressing one's own intention (Arndt & Janney, 1991). Since the ability to comprehend others’ emotional expressions is central to social interaction, a lack of this ability makes it difficult to understand the emotional states of others and impairs the ability to respond in an appropriate way (Trauner, Balanantne, Friedland, & Chase, 1996). Humans can grasp two levels of information in emotional speech: one is the message and the other is the emotion (Gangamohan Paidi et al., 2016). That is, a message is a semantic element identified by the meaning of a word or sentence, while emotion can be grasp by prosody or a paralinguistic element. Understanding emotions in an emotional speech refers to empathizing with a situation seen in semantics and with an emotion felt in prosody. Understanding emotion in a prosody can be grasped through how much a voice intensity, pitch, and speech speed deviated from the normal state expressed neutrally. In other words, prosody is the ability to convey various intentions through the changes in stress, speed, and pitch (Bolinger, 1980; Monrad-Kohn, 1947). While understanding or expressing prosody in emotional speech is an essential skill for smooth communication and successful interaction, elders have difficulty in understanding emotions in prosody (Dupuis & Pichora-Fuller, 2015; Isaacowitz, & Schirmer, 2017). In terms of semantics, elders’ ability to read texts and understand emotions decreases (Grunwald et al., 1999), and it has also been reported that their ability to read text messages and understand emotions is decreases (Schneider et al., 2010). Elders’ language comprehension is used as a comprehensive term including all processes related to the input and understanding of speech, and hearing loss was shown as the most powerful factor in explaining their ability to understand language (Obler et al., 1980). Since prosody is related to the intermediate process through the auditory processing of speech input, phonological representation, syntax analysis of vocabulary, and vocalization in language processing (Kent, 2002), understanding emotion starts from processing voice information that is input audibly. Hearing loss is known to affect the language comprehension of the elderly from high-level cognitive process to low-level perception process (Schneider, Daneman, & Pichora-Fuller, 2002). Their hearing loss affected their ability to discriminate between low and high voice pitches (Humes and Christopherson, 1991) and to judge sound duration (Ostroff, McDonald, Schneider, & Alain, 2003), and elders showed a declined performance than young people in linguistic prosody (Wingfield et al., 2000). As such, it has been reported that elders have a declined speech perception ability (Humes & Dubno, 2010) and have difficulty in understanding language and other's emotions (Carton et al., 1999; Mitchell & Kingston, 2011). However, studies on emotional understanding have mainly focused on people with autism spectrum disorder and intellectual disability, who suffer from social communication disorders, and people with hearing impairment who have difficulty in auditory processing. However, even adults will have an increased risk of communication and emotional difficulties if they have defects in these abilities. Studies on the emotional understanding of the elderly divide the ability into the semantic aspect and prosody aspect. However, a conversation is not made by separating semantics and prosody, and in situations with conflicting semantics and prosody, for example, making sarcastic comments, either semantic or prosodic information must be selectively accepted to understand the other’s emotions. Therefore, this study produced tasks using both prosody and semantic and examined elders’ ability to understand emotions through them. In other words, this study analyzed whether both the elderly and the young people correctly accepted the emotions intended by the researcher and to what extent they accepted emotions. Also, this research examined which they relied on more between semantics and prosody, as well as their ability to selectively focus on semantics and prosody. A total of 80 subjects (42 elders, 38 young people) participated in this study. For both the older and young people, a health screening questionnaire was conducted to select those without verbal, cognitive, and neurological impairment, and Korean-Mini Mental State Examination (K-MMSE, Kang, Yeon-wook, 2006) was carried out to select those within the normal range of the results. The study chose young people whose average hearing in both ears was within 25dB HL at 0.5kH, 1kH, 2kH, and 4kH, respectively as well as the elders whose average hearing in both ears was within 40dB HL at 0.5kH, 1kH, 2kH, and 4kH respectively (Lee, Su-jeong & Kim, Hyang-hee, 2016). The Seoul Verbal Learning Test (SVLT; Kang, Yeon-wook & Na, Deok-Ryeol 2003) and the Korean version of SGDS (Short form of Geriatric Depression Scale) were additionally conducted on elders to select the ones within the normal range. The data of 32 elders were used for analysis, excluding 4 elders who did not pass the screening test above and 6 elders who did not pass the screening question to determine whether they focused on the task during data analysis. The data of 32 young people were used for analysis accordingly as well. As for the emotional speech task used in the experiment, 32 sentences in a total of 2 sets were used, 16 sentences per each, consisting of sentences to feel emotions semantically and sentences that did not have semantic emotion. 4 emotional prosodies (anger, sadness, happiness, neutrality) were applied to the selected sentences, recorded by a professional voice actor, and then were played to the subjects to examine the degree they understood the speaker’s emotion according to the 3 emotions of anger, sadness, and happiness. For example, if the target emotion was 'angry', the subjects listen to the voice and gave a score from 1 (not at all) to 5 (strongly yes) to the question "Do you think the speaker is angry?" to express whether the subjects could understand the emotion and how much on a 5-point scale. Second, in order to examine whether the subjects could selectively focus on prosody or semantics in understanding emotions, a task was conducted according to the researcher’s instructions (e.g.: Do you think the other person seem angry? Please focus on the semantics only). This study conducted two-way mixed variance analysis to examine whether there were age-related differences in emotional understanding ability according to context (Target Emotion Matched, Target Emotion Prosody, Target Emotion Semantics, Target Emotion Absent) as well as to examine whether there were age-related differences in emotional understanding ability according to task type (understanding semantics and prosody). The results of this study are as follows. In a natural situation without the researcher’s instructions, the elders had difficulty in accepting the other’s intended emotions correctly than the younger people, and accepted less emotions when understanding the emotions. In addition, while the young people obtained information similarly from both prosody and semantics and understood emotions, the elderly were more dependent on semantic information to understand emotions. When the researcher asked the subjects to focus only on prosody or semantics, the elderly showed difficulty in discriminating emotions by focusing on this information more than the young adults. Moreover, while the young adults were more capable of focusing on prosody than semantics, the elderly were more capable of focusing on semantics than prosody. As seen in the first research that had no instruction of the researcher, the elderly was much more capable of focusing on semantic information than prosody and were more dependent on semantics in understanding emotion. Therefore, the above results demonstrate that the elderly have difficulty in identifying the emotions intended by the other party and have more difficulty in using prosody clues in emotional speech. However, they showed a better ability in using semantic clues than the ability in using prosody, which compensated for their difficulty in understanding prosody due to hearing loss. This indicated that the elderly may opt to rely on intact abilities, to compensate for difficulties in other abilities, using their extensive experience.;감정발화를 이해하고 말하는 능력은 타인의 감정을 이해하고 대화에서 생길 수 있는 오해를 바로잡으며 친밀함과 소속감을 표현하며 자신의 의도를 표현하는데 필요한 전제능력이다(Arndt & Janney, 1991). 따라서 타인의 감정 표현을 이해하는 능력은 사회적 상호작용에 중심이 되지만 이 능력의 결함은 다른 사람들의 감정 상태를 이해하는것을 어렵게 만들며 적절한 방식으로 반응하는 능력을 손상시킨다(Trauner et al., 1996). 인간은 감정발화에서 두 가지 수준의 정보를 파악할 수 있는데 하나는 메세지이며 다른 하나는 감정이다(Gangamohan et al., 2016). 즉, 메세지는 단어나 문장의 뜻으로 파악할 수 있는 의미적 요소이며 감정은 운율, 즉 준언어적 요소로 파악할 수 있다. 감정발화에서 정서를 이해한다는 것은 의미와 뜻에서 알 수 있는 상황에 공감하는 것과 운율에서 느껴지는 정서에 공감하는 것을 말하는데, 운율에서 정서를 이해하는 것은 중립적으로 표현되는 정상 상태로부터 목소리 강도, 음도, 말속도가 얼마나 벗어났는지를 통해 파악할 수 있다. 즉, 운율은 강세, 속도, 음도의 변화를 통해 다양한 의도를 전달하는 능력으로(Bolinger, 1980; Monrad-Kohn, 1947), 감정발화에서 운율을 이해하거나 표현하는 것은 원활한 의사소통과 성공적인 상호작용을 위해 꼭 필요한 기술이다. 그러나 노년층의 경우 운율에서 감정을 이해하는 것에 어려움을 겪고 있다고 알려져 있다(Dupuis & Pichora-Fuller, 2015; Isaacowitz & Schirmer, 2017). 더불어 노년층은 운율적 측면 뿐 아니라 의미적 측면에서도 글을 읽고 정서를 이해하는 능력이 감소되며(Grunwald et al., 1999), 문자 메세지를 읽고 정서를 이해할 때도 그 능력이 감소된다고 보고되었다(Schneider et al., 2010). 노년층의 언어 이해는 말소리의 입력 및 이해와 관련된 모든 처리과정을 포함하는 포괄적인 용어로 사용되며 청력 손실이 노인의 언어 이해 능력을 설명하는 가장 강력한 요인으로 나타났다(Obler et al., 1980). 언어 처리 과정에서 운율은 말소리 입력의 청각 처리 단계, 음운 표상, 어휘의 구문 분석, 음성화를 거치는 중간 과정에 모두 관련되어 있기 때문에(Kent, 2002), 정서를 이해하는 것의 첫 단계는 청각적으로 입력되는 음성정보를 처리하는 과정에서부터 시작된다. 노년층은 음의 높낮이를 변별하고(Humes & Christopherson, 1991), 소리의 지속시간을 판단하는 것에서(Ostroff et al., 2003) 모두 청년층보다 낮은 수행을 보였으며, 운율의 기능적 사용(linguistic prosody)에서도 노년층은 청년층보다 저하된 수행력을 보이는 것으로 나타났다(Wingfield et al., 2000). 이렇듯 노년층은 말소리 지각능력이 저하되고(Humes & Dubno, 2010), 언어 이해에 있어 어려움을 보이며 상대방의 감정을 이해하는 것에도 어려움을 겪고 있는 것으로 보고되었으나(Carton et al., 1999; Mitchell & kingston, 2011), 정서 이해에 관한 연구는 주로 사회적 의사소통장애를 겪고 있는 자폐범주성장애 및 지적장애, 그리고 청각 처리과정에 어려움이 있는 청각장애등을 대상으로 이루어져 왔다. 하지만 성인의 경우에도 이러한 능력에 결함이 생긴다면 정서적 어려움과 함께 의사소통 장애를 겪을 위험이 증가할 것이다. 노년층을 대상으로 한 정서이해 연구들을 살펴보면 의미적 측면 혹은 운율적 측면에서의 정서이해로 그 능력을 나누어 살펴보고 있다. 하지만 대화는 의미와 운율을 따로 떼어놓고 이루어지지 않으며 의미와 운율이 상충하는 상황, 예를 들면 비아냥거리는 등의 상황에서는 상대방의 정서를 이해함에 있어 의미 혹은 운율 중의 한쪽의 정보를 선택적으로 받아들여야 한다. 따라서 본 연구에서는 운율과 의미 모두를 사용하여 연구자가 과제를 제작하였으며 이를 통해 노년층의 정서 이해 능력에 대해 살펴보았다. 즉, 노년층과 청년층에 있어서 연구자가 목표 하였던 정서를 올바르게 받아들이는지의 여부와 정서를 받아들이는 정도를 함께 알아보고 운율과 의미 중 어느 것에 더 의존하여 정서를 이해하는지, 그리고 운율과 의미에 선택적으로 집중하는 능력이 어떠한지를 함께 살펴보았다. 본 연구에 참여하였던 대상자는 총 80명(노년층 42명, 청년층 38명)이다. 청년층과 노년층 모두 건강 선별 설문지를 실시하여 언어, 인지적, 신경학적 손상 및 정신적 병력이 없으며, 한국형 간이 정신상태 검사(Korean-Mini Mental State Examination; K-MMSE, 강연욱, 2006) 결과 정상 범위에 해당하는 자로 선정하였다. 청년층의 경우 양측 귀의 평균 청력이 0.5kH, 1kH, 2kH, 4kH에서 각각 25dB HL이내인 자, 노년층의 경우 양측 귀의 평균 청력이 0.5kH, 1kH, 2kH, 4kH에서 각각 40dB HL이내인 자(이수정 & 김향희, 2016)로 선정하였으며 노년층의 경우 추가로 서울언어 학습검사(Seoul Verbal Learning Test; SVLT, 강연욱 & 나덕렬, 2003)와 한국판 SGDS(Short form of Geriatric Depression Scale)를 추가로 검사하여 정상 범위에 해당하는 자로 선정하였다. 따라서 위의 선별검사를 통과하지 못한 노년층 4명, 데이터 분석 과정에서 과제에 집중하는지를 판단하기 위해 삽입하였던 판별 문항을 통과하지 못한 노년층 대상자 6명을 제외하여 노년층 32명의 데이터를 분석에 사용하였으며 청년층도 이에 맞춰 32명의 데이터를 분석에 사용하였다. 실험에서 사용한 감정발화 자극의 문장은 한 세트 당 16개 문장으로, 총 2세트를 사용하여 32개의 문장을 사용하였으며 이러한 문장은 의미적으로 정서를 느낄 수 있는 문장과 의미적으로 특별한 정서가 느껴지지 않는 문장들로 구성되었다. 이렇게 선정된 문장에 4가지 정서적 운율(화남, 슬픔, 행복, 중립)을 입혀 전문 성우가 녹음 한 뒤, 대상자들에게 들려주어 그 음성에서 화자의 기분을 화남, 슬픔, 행복의 3가지 정서에 맞추어 이해하는 정도를 살펴보았다. 예를 들어, 목표 정서가 ‘화남’일 경우, 대상자들은 음성을 들은 뒤 “상대방이 화난 것 같나요?”라는 질문에 1점(전혀 그렇지 않다)부터 5점(매우 그렇다)까지 점수를 주어 대상자들이 정서를 이해할 수 있는지 여부와 정서를 느끼는 정도를 5점 척도로 나타내었다. 그리고 두 번째로는 정서를 이해함에 있어 운율 혹은 의미에 선택적으로 집중할 수 있는지 여부를 살펴보기 위해 검사자의 지시(예: 상대방이 화난 것 같나요? 의미만 집중해 주세요.)에 맞춰 과제를 실시하였다. 맥락(운율 의미 일치, 운율 일치, 의미 일치, 운율 의미 불일치)에 따라 집단 간 정서이해 능력에 차이가 있는지 살펴보기 위해 이원혼합분산분석을 실시하였으며 과제유형(운율 이해, 의미 이해)에 따라 집단 간 정서이해 능력에 차이가 있는지 살펴보기 위해 이원혼합분산분석을 실시하였다. 이에 따른 연구 결과는 다음과 같다. 검사자의 지시가 없는 자연스러운 상황에서 노년층은 청년층보다 상대방이 의도한 감정을 바르게 받아들이는데 어려움이 있었으며 정서를 이해할 때 그 정도도 더 작게 받아들이는 것으로 나타났다. 그리고 청년층은 운율과 의미 모두에서 비슷하게 정보를 얻어 정서를 이해한 반면, 노년층은 정서를 이해하는 데 의미적인 정보에 더 의존하는 것으로 나타났다. 검사자가 운율 혹은 의미에만 집중하기를 요청한 경우 노년층은 청년층보다 이 정보에 집중하여 정서를 판별하는 것에 어려움을 보였다. 그리고 청년층이 운율과 의미 중 운율에 집중하는 것에 더 수행력이 좋았던 반면 노년층의 경우 운율보다 의미에 집중하는 것에 더 수행력이 뛰어났다. 이는 검사자의 지시사항이 없었던 첫 번째 연구과제에서도 볼 수 있듯이, 노년층은 정서를 이해함에 있어 운율정보보다 의미정보에 더 집중이 뛰어났으며 의미정보에 더 의존적이라고 할 수 있다. 따라서 위의 결과를 종합하여 보면 노년층의 경우 상대방이 의도하였던 정서를 파악하는 것에 어려움을 느끼며 감정발화에서 운율 단서를 이용하는 것에 더욱 어려움이 있는 것으로 나타났다. 하지만 의미단서를 이용하는 것은 운율단서를 이용하는 능력보다 더 나은 수행을 보여주었는데 이는 청력저하로 인한 운율 이해의 어려움에 대한 보상으로 나타난 결과로서 노년층이 본인의 능력에 대한 결함을 보상하기 위해 온전한 능력에 의존하는 전략으로 볼 수 있다.