실어증 환자의 어휘인출결함 특성에 따른 구어동반 제스처의 사용 양상

Abstract

Two alternative accounts have been proposed to explain the role of coverbal gestures based on Levelt's (1989) successive stages of con- ceptualizing, formulating and articulating. One account, which is called the Lexical Retrieval Hypothesis, holds that coverbal gestures play a direct role in lexical access at the formulating stage. The other account, which is called the Information Packaging Hypothesis or the Sketch Model, holds that coverbal gestures play a role in the conceptual planning of the message to be verbalized at the conceptualizing stage. However, these two accounts of the role of coverbal gestures, whether involved at the conceptualizing or formulating stage, are not mutually exclusive. Both support the idea that coverbal gestures facilitate word retrieval either directly or indirectly. A common explanation for the word production process is that word retrieval involves two steps. The first step, lexical selection, which is called a lemma, maps from the conceptual representation of a word to a lexical representation. The second step, phonological encoding, which is called a lexeme, involves the retrieval of the word's sound pattern. Neither model of coverbal gestures specifically predicts how effective a gesture could be at facilitating word retrieval with respect to impairment at the two steps in the word production process, lexical selection or phonological encoding impairments. The primary aim of this study was to investigate the possible facilitation effects of coverbal gestures on word retrieval during the two word production steps. The purpose of this investigation was to compare the facilitation effects of coverbal gestures during word retrieval difficul- ties in two types of aphasic patients. To determine the aphasic subtypes, the Web-based semantic-phonological fitting routine (WebFit) developed by Dell et al. (1997) was used. According to the results of WebFit, 10 patients were assigned to the semantic-lexical (S-L) subgroup whose word retrieval impairment was based on the lexical selection step and another 10 patients were assigned to the lexical-phonologic (L-P) subgroup whose impairment was based on the phonological encoding step. As evidence suggests that natural gesture production is distinct from that produced under test conditions, natural and conversational samples 20 minutes long were acquired from the 20 aphasic patients. Verbal utterances were transcribed and classified as word retrieval difficulty, resolved word retrieval difficulty, and fluent speech production. The transcription was augmented with all arm and hand gestures produced by the participants. Coverbal gestures were classified into three types: lexical gesture, motor gesture and self-adapter. The occurrence timing of coverbal gestures was also examined with reference to before, at the onset of, in the middle of or at the moment of resolution of, word retrieval difficulties. Coverbal gesture patterns were compared between the S-L group and the L-P group in whole speech samples, during word retrieval difficulties and during resolved word retrieval difficulties. The occurrence timing pattern of coverbal gestures was compared between the S-L group and the L-P group during resolved word retrieval difficulties. To compare between the two groups and the gesture types within each group, mixed designs were used for statistical analysis. The results are as follows. First, there was no significant difference between the two groups in gesture production in whole speech samples. Lexical gestures and motor gestures were produced significantly more frequently than self-adapters in both groups. Second, gesture production was significantly more frequent during instances of word retrieval difficulties than during fluent speech production in both groups. Third, gesture production was significantly more frequent during resolved, as compared to unresolved, word retrieval difficulties in both groups. However, the gesture pattern during resolved word retrieval difficulties was different between the two groups: the S-L group produced lexical gestures most frequently, whereas the L-P group produced motor gestures most frequently. Fourth, more than 75% of coverbal gestures were started at the onset of and in the middle of word retrieval difficulties in both groups. More frequent gesture production in word retrieval difficulties in the current study supports findings that gesture production increases during the event of word retrieval difficulties for people with aphasia. The result of the present study also demonstrated that coverbal gestures reflected the facilitation of the resolution of word retrieval difficulties no matter which steps were impaired in the word production process. That is, coverbal gestures reflect an effort to facilitate processing in the impaired components. Moreover, it was found that most gesture onsets occurred in non-fluent speech with word retrieval difficulties. By inference, subjects use coverbal gestures with the intention of resolving word retrieval difficulties. Most of all, the importance of motor gestures was inferred from the result that the L-P group produced motor gestures most frequently rather than lexical gestures during resolved word retrieval difficulties. Motor gestures, which have been considered as unrelated to verbal production, were excluded from analysis in many gestural studies. This study revealed motor gestures seemed to be connected to activation of phonological encoding. The findings of the present study indicate that the participants with aphasia did not gesture indiscriminately. Rather there were noticeable patterns according to their characteristics of word retrieval difficulties.;사람들은 흔히 말을 하면서 동시에 제스처를 사용한다. 이와 같이 말을 하는 과정에서 자연발생적으로 구어에 동반되는 제스처를 구어동반 제스처(coverbal gesture)라고 한다(Carlomagno et al., 2005). 구어동반 제스처에 대한 전통적인 연구는 청자의 이해력 측면에 초점을 두고 있었다. 말을 하면서 제스처를 사용하는 것은 화자의 의도를 청자에게 보다 효과적으로 전달할 수 있고, 따라서 청자는 화자의 말을 더욱 명확하게 이해할 수 있다는 것이다(Kendon, 1994). 그러나 최근에는 구어동반 제스처가 청자를 위한 것이라기보다 화자 본인을 위한 것, 즉 화자의 구어산출과정에서 발생한다는 입장에서 접근되고 있다(de Ruiter, 1998; Krauss, Chen & Chawla, 1996). 이 가운데에서도 특히 어휘인출과 관련한 구어동반 제스처의 기능은 많은 연구자들의 관심사이다(Rose, 2006). 어휘인출과정에서 구어동반 제스처의 기능을 규명하기 위한 대부분의 연구들은 Levelt (1989)의 구어산출모델에 근거하여 제스처의 산출과정을 설명하고 있다. Levelt (1989)의 모델에 따라 구어산출과정을 개념화부(concep- tualization), 형성부(formulation), 조음부(articulation)의 세 단계로 나눌 때, 구어동반 제스처가 개념화부와 관계가 있느냐 형성부와 관계가 있느냐에 따라 개념화촉진가설과 어휘화촉진가설로 나뉜다. 개념화촉진가설은 구어동반 제스처가 구어산출과정의 개념화부를 촉진한다는 것이고(Sketch Model, Infor- mation Packaging Hypothesis) (de Ruiter, 1998; Kita, 2000), 어휘화촉진가설은 구어동반 제스처가 구어산출과정의 형성부를 촉진한다는 것이다(Le- xical Retrieval Hypothesis) (Rauscher, Krauss & Chen, 1996; Krauss, Chen & Chawla, 1996; Krauss & Hadar, 2001). 그러나 이 두 가설은 상호배타적인 것이 아닌 것으로 보이며, 두 가설을 절충하여 구어동반 제스처가 구어의 개념화부와 형성부 모두에 직간접적으로 영향을 줄 수 있다고 설명하기도 한다(Alibali, Kita & Young, 2000; de Ruiter, 1998; Morsella & Krauss, 2004). 어휘인출은 개념화부와 형성부를 거치는 일련의 과정이다. 이 때 형성부는 의미표제어(lemma)라고 하는 추상적 형태의 단어 선택 단계와 어휘소(lexeme)의 형태로 음운적으로 부호화되는 단계의 두 과정으로 다시 나누어진다(Levelt, Roelofs & Meyer, 1999). 성공적인 어휘인출은 개념화부에서 어휘의 개념이 형성되고 나서, 형성부에서 의미표제어 선택과 어휘소 형태로 음운부호화가 모두 이루어졌을 때 가능하다. 그러나 어휘화촉진가설의 경우 구어동반 제스처가 형성부를 직접 촉진한다고 주장하면서도, 의미표제어 선택 단계에 영향을 주는지, 음운부호화 단계에 영향을 주는지, 아니면 두 단계 모두에 영향을 주는지를 명확하게 밝히지는 못 하고 있다. 개념화촉진가설 경우도 제스처의 도움으로 활성화된 개념화부는 다음 단계인 형성부에 간접적인 영향을 줄 수 있다고 언급하고 있지만(Alibali, Kita & Young, 2000), 마찬가지로 구어동반 제스처가 구체적으로 형성부의 어느 단계에 간접적으로 영향을 줄 수 있는지를 밝히고 있지는 않다. 구어동반 제스처에 어휘인출을 촉진하는 기능이 있다면 어휘인출결함이 있는 실어증 환자들에게 일상 대화 시 제스처를 적극적으로 사용하도록 권장하여야 할 것이다. 그러나 실어증 환자들은 매우 이질적인 집단으로, 실어증 유형 뿐 아니라 환자 개개인의 특성에 따라 개념화부 및 형성부의 손상 여부와 정도는 다양하다. 이처럼 다양한 실어증 환자들에게 어휘인출촉진에 대한 구어동반 제스처의 효율적인 효과를 얻기 위해서는, 어휘인출과정의 각 단계 내에서 구어동반 제스처의 영향력을 구체적으로 규명하려는 노력이 선행되어야 할 것이다. 본 연구는 어휘인출과정 가운데 형성부 내에서 구어동반 제스처가 미치는 영향을 알아보기 위한 것으로, 형성부의 의미표제어 선택과 음운부호화의 두 단계에 구어동반 제스처가 미치는 영향력을 비교하고자 하였다. 의미표제어 선택과 음운부호화 단계에 대한 구어동반 제스처의 영향력을 규명하기 위하여, 실어증 환자들을 의미표제어 선택 단계에 결함이 있는 집단과 음운부호화 단계에 결함이 있는 집단으로 분류하여 두 집단의 구어동반 제스처 사용 양상을 비교하였다. 두 집단을 분류하는 데에는 연결주의학자들(Connectionists)이 제안한 Web-based semantic-phonological fitting routine (WebFit, 이하 WebFit) 프로그램(Dell et al., 1997, 2004)을 사용하였다. WebFit 프로그램 결과에 근거하여 의미표제어 선택에 결함 더 많은 환자군을 S-L (semantic-lexical lesion) 집단(10명)으로, 음운부호화에 결함 더 많은 환자군을 L-P (lexical-phonological lesion) 집단(10명)으로 분류하여 연구를 진행하였다. S-L 손상과 L-P 손상으로 분류하는 것은 환자가 상대적으로 어떠한 결함을 더 많이 가지고 있는지를 의미할 뿐, S-L 손상이라고 하여 절대적으로 S-L 손상만을 보이거나 또는 그 반대의 경우를 의미하는 것은 아니다(Dell et al., 1997). S-L 집단(10명)과 L-P 집단(10명)으로부터 자발화를 수집하여, 자발화 상황에서 자연발생적으로 나타나는 구어동반 제스처와 어휘인출결함의 관계를 분석하였다. 분석에 포함된 제스처의 종류는 어휘 제스처(lexical gesture), 운동 제스처(motor gesture) 그리고 접촉 제스처(self-adapters)였다. 어휘인출촉진과 관련한 제스처의 연구들이 주로 어휘 제스처에만 관심을 가져왔으나(Hadar, 1989; Krauss et al., 1995), 운동 제스처와 접촉 제스처도 어휘인출에 긍정적인 역할을 한다고 주장한 일부 선행연구들(하지완 ․ 심현섭, 2009; Chieffi & Ricci, 2007; Ravizza, 2003)에 근거하여 본 연구에서는 어휘 제스처 뿐 아니라 운동 제스처와 접촉 제스처도 분석 대상에 포함시켰다. 본 연구는 다음과 같은 순서로 연구를 진행하였다. 첫째 우선적으로 어휘인출결함 여부와 상관없이 전체 발화에 대한 구어동반 제스처의 출현율에 두 집단 간 차이가 있는지 살펴보았다. 둘째 어휘인출결함 여부에 따라 두 집단 간 구어동반 제스처의 출현율에 차이가 있는지 살펴보았다. 이것은 어휘인출결함이 있을 때 실어증 환자들은 구어동반 제스처를 더 많이 사용하는지, 그리고 두 집단 간 제스처 사용 양상에 차이가 있는지를 알아보고자 한 것이다. 셋째 어휘인출결함 해결 여부에 따라 두 집단 간 구어동반 제스처의 출현율에 차이가 있는지 살펴보았다. 이것은 어휘인출결함 해결 시 동반된 제스처가 어휘인출결함 해결에 도움이 되는지, 그리고 두 집단 간 제스처 사용 양상에 차이가 있는지를 알아보기 위한 것이다. 넷째 어휘인출결함이 해결된 경우 실어증 환자들이 어떠한 의도로 구어동반 제스처를 사용하였는지를 유추하기 위하여, 제스처의 출현시점을 어휘인출결함 전, 어휘인출결함 시작, 어휘인출결함 중간, 어휘인출결함 해결의 네 가지 시점으로 나누어 비교 분석하였다. 모든 분석에 대해 집단 간 및 제스처의 종류 별로 비교하기 위하여, 피험자 간-피험자 내 설계에 의한 혼합분산분석을 실시하였다. 연구결과, 첫째 전체 발화에 대한 두 집단의 구어동반 제스처 출현율에는 유의한 차이가 없었다. 둘째 두 집단 모두에서 어휘인출결함이 없는 경우보다 어휘인출결함이 있는 경우 구어동반 제스처가 유의하게 많이 출현하였고, 제스처 사용 양상은 두 집단 간 차이가 없었다. 즉 집단에 상관없이 대상자들은 어휘인출결함이 있을 때 구어동반 제스처를 많이 사용한다는 것을 알 수 있다. 셋째 두 집단 모두에서 어휘인출결함이 해결되지 않은 경우보다 해결된 경우 제스처가 유의하게 많이 출현하였다. 즉 어휘인출결함이 있을 때 동반된 제스처는 어휘인출결함 해결에 도움이 된다는 것을 알 수 있다. 그러나 어휘인출결함 해결 시 두 집단 간 제스처 사용 양상이 다르게 나타났는데, S-L 집단에서는 어휘 제스처가 가장 많이 발생한 반면 L-P 집단에서는 운동 제스처가 가장 많이 발생하였다. 이것은 의미표제어 선택 결함과 음운부호화 결함이라는 두 집단의 어휘인출결함 특성에 기인한 것으로 보인다. 넷째 두 집단 모두 어휘인출결함 시작 시점에서 제스처를 유의하게 가장 많이 사용하였고 그 다음으로 많이 사용한 시점은 어휘인출결함 중간이었다. 어휘인출결함 전과 해결 시점보다 어휘인출결함 시작과 중간 시점에서 제스처가 많이 발생하였다는 결과는 대상자들이 어휘인출결함을 해결하려는 의도로 제스처를 사용하였다는 것을 시사한다. 이상과 같은 연구결과를 정리하면 다음과 같다. 실어증 환자의 발화에서 어휘인출결함이 있을 경우 구어동반 제스처가 유의하게 많이 발생되었고, 이처럼 많이 발생된 제스처는 결과적으로 어휘인출결함을 해결하는 데 유의하게 영향을 주었다. 이것은 구어동반 제스처의 어휘인출촉진 기능을 시사하는 결과이다. 어휘인출결함 직면 시점인, 어휘인출결함 시작과 중간 시점에서 제스처가 유의하게 많이 발생하였다는 결과 또한 구어동반 제스처의 어휘인출촉진 기능을 지지할 수 있는 근거로 보인다. 어휘인출결함 해결에 대한 구어동반 제스처의 영향은 S-L 집단과 L-P 집단 모두에서 나타났다. 이러한 결과는, 구어산출과정의 어떠한 단계이건 제스처가 구어의 손상된 단계를 활성화시킨다는 Hadar & Yadlin-Gedassy (1994) 주장처럼, 의미표제어 단계와 음운부호화 단계가 모두 구어동반 제스처의 도움으로 촉진될 수 있다는 것을 의미할 것이다. 두 집단 모두에서 구어동반 제스처가 어휘인출결함 해결에 도움이 되었지만, 어휘인출결함 해결에 가장 영향을 준 구어동반 제스처의 종류는 두 집단이 다르게 나타났다. 즉 의미표제어 선택 단계에 결함이 있는 S-L 집단의 경우 어휘 제스처가 어휘인출결함 해결 시 가장 많이 나타났고, 음운부호화 단계에 결함이 있는 L-P 집단의 경우 운동 제스처가 어휘인출결함 해결 시 가장 많이 나타났다. 본 연구는 실어증 환자의 어휘인출결함 해결에 구어동반 제스처가 도움이 된다는 것을 밝히고, 의미표제어의 활성화는 어휘 제스처에 의해, 음운부호화의 활성화는 운동 제스처에 의해 촉진될 가능성을 제시하였다. 이제까지 실어증 환자의 제스처 연구들은 주로 어휘 제스처에만 관심을 가져왔다. 본 연구는 운동 제스처의 음운부호화 촉진 가능성을 시사하였다는 점에서 무엇보다 의의가 있을 것이다.