음운변동이 일어나는 의미 단어와 무의미 단어에서의 음운규칙 적용 여부에 따른 단어 재인 시 성인의 ERP 성분 분석

Abstract

한글은 자소와 음소가 일대일로 대응하는 표층표기체계 문자이지만 음절단위에서는 음운규칙에 의해 음운변동이 일어나는 음운변화 현상을 가지고 있다. 한국 아동들의 경우 음운규칙의 인식 및 적용이 2학년 이전부터 시작하여 초등학교 전반에 걸쳐 음운규칙에 대한 지식을 습득하며 읽기 및 쓰기 기술을 발달시키게 된다(임유진 & 배소영, 2008; 김미배 & 배소영, 2011). 이중경로모델(Coltheart, 2006)에 근거하면 음운규칙이 적용되는 의미 단어와 무의미 단어는 각각 시각경로와 음운경로의 다른 경로를 활용한다. 의미 단어는 철자정보가 곧바로 심성어휘집의 의미정보로 도달하는 반면 무의미 단어 혹은 저빈도 단어는 자소를 음소로 변환시키는 음운경로를 활성화시키는 과정을 거친다. 음운경로가 손상된 난독증 아동이나 실독증 성인의 경우, 자소-음소 변환이 이루어져야 하는 음운규칙 적용에 어려움을 겪으며, 또한 음운경로를 활용해야 하는 무의미 단어 처리 시에 더 큰 어려움을 겪는다(Wagner, & Torgesen, 1987; Landerl et al., 1997; Ripamonti et al., 2014). 따라서 읽기장애군의 효과적인 중재와 치료효과를 신경학적으로 증명하기 위해서는 읽기 장애군의 손상된 음운 경로를 밝히고 그들의 활성화 과정에 대한 연구가 필수적이다. 본 연구에서는 ERP 분석을 통해 한국어 특징적인 음운규칙의 적용과 의미 단어와 무의미 단어 재인에서의 음운경로 활성화에 대한 실시간 처리과정을 살펴볼 수 있는 기초 데이터를 제공함으로써 읽기장애의 음운경로와 처리과정에 대한 신경학적 토대를 마련하고자 했다. 이를 위해 의미단어의 음운규칙 적용 경험이 충분히 쌓인 만 20세 이상 38세 미만의 정상 성인 28명을 대상으로 실험을 진행하였다. 실험 과제로는 시각 단어 재인 후 연이어 들려주는 청각 단어와의 음운 비교를 통해 음운규칙이 올바르게 적용되었는지 여부를 판단하도록 하는 단어판단과제를 사용하였다. 과제 문항에 사용된 단어는 모두 음운규칙이 포함된 2음절 단어였으며, 의미 단어가 102개와 무의미 단어가 102개에 대해 청각자극으로 각각 음운규칙을 적용하여 읽거나 적용하지 않고 읽은 발음을 절반씩 제공하였다. 따라서 총 204개의 문항은 단어의 의미 유무와 음운규칙 적용 여부에 따라 4가지 조건으로 나누어졌으며, 음운규칙을 적용하여 읽은 의미 단어 51개, 음운규칙을 적용하여 읽지 않고 표기 그대로 읽은 의미 단어 51개, 음운규칙을 적용하여 읽은 무의미 단어 51개, 음운규칙을 적용하여 읽지 않고 표기 그대로 읽은 무의미 단어 51개가 포함되었다. 피험자들이 청각적 구어 자극으로 제공되는 발음의 자연스러움 여부를 판단하는 동안 정반응률(%), 반응시간(ms), 그리고 구간별 평균진폭(㎶)을 측정하였다. 먼저 행동분석 결과, 단어의 의미 유무와 음운규칙 적용 여부에 따라 정반응률과 반응시간에서 모두 유의미한 차이가 나타났다. 즉, 의미 단어가 무의미한 단어에 비해, 그리고 음운규칙을 적용하여 읽은 단어가 음운규칙을 적용하지 않은 단어에 비해 정반응률이 높았고 반응시간이 빨랐다. 이러한 결과는 성인을 대상으로 한 음독 연구(이광오, 1996)에서 나타난 결과와 같은 양상이었다. 이는 익숙한 단어를 보았을 때는 자소와 음소를 연결시키는 과정을 거치지 않고 단어 자체의 어휘목록에 접근하지만 새로운 단어를 보았을 때는 철자와 음운을 먼저 연결시키는 과정을 거치게 된다는 이중경로모델을 입증한다. 또한 정반응률에서는 단어의 의미 유무 및 음운규칙 적용 여부 간 이차상호작용 효과가 나타났다. 정반응률의 경우, 이해숙 & 김정오(2003)의 연구에서 음운규칙이 적용되는 단어를 읽을 때 참여자간 발음의 차이가 컸고, 단어보다 비단어에서 읽기 방식의 차이가 더 많이 나타났다는 결과와 같은 맥락으로 볼 수 있다. 반면 반응 시간의 경우 이차상호작용 효과가 나타나지 않고 단어의 의미 유무에 관계없이 음운규칙을 적용할 때와 적용하지 않을 때의 반응속도 차이가 비슷했다. 다음으로 ERP 성분을 분석하기 위하여 150~300ms, 200~350ms, 그리고 350~500ms 구간에서 각 조건의 평균 진폭을 비교하였다. 먼저, 청각 자극 제시 후 150~300ms 구간과 200~350ms 구간에서 의미 단어가 무의미 단어에 비해 모두 유의미하게 작은 진폭이 나타났으나, 음운규칙 적용 여부에 따라서는 유의미한 차이가 나타나지 않았다. 단어의 의미 유무에 따른 차이는 시각적으로 제시된 단어자극을 재인할 때 접근한 어휘 정보가 청각 자극이 제시된 이후에도 계속적으로 영향을 준 것으로 보인다. 이중경로가설에 의하면 의미 단어를 처리할 때는 시각 단어 재인 시 이미 심성어휘집의 의미 정보에 도달한 후 청각 자극 재인 시 음운정보를 비교하기 위해 음운경로를 다시 활성화시켜야 한다. 반면 무의미 단어는 의미 정보를 가지고 있지 않기 때문에 의미에 대한 처리가 필요 없이 자소-음소 변환 경로 내에 머물러 있음으로써 음운 정보에 대한 활성화가 덜 이루어지는 것으로 예상된다. 또한 의미 단어만 따로 살펴보았을 경우, 음운규칙을 적용하여 읽은 조건에서 적용하지 않고 읽은 조건에 비해 더 작은 파형이 나타났다. 이러한 결과는 점화 자극과 목표 자극이 음운적으로 일치하는 경우에 더 작은 파형이 나타난다는 선행연구(Newman & Connolly, 2004; Ashby et al., 2009; Kwon et al., 2011)와 일치한다. 또한 단어의 의미 유무와 음운규칙의 적용 여부 간의 이차상호작용 효과는 유의하였고 이는 의미 단어와 무의미 단어 간의 차이에서 기인하였다. 의미 단어에서 음운규칙 적용 조건과 비적용 조건의 차이가 무의미 단어에서의 차이보다 유의미하게 큰 것이다. 즉, 의미와 무의미 단어가 각각 음운규칙 적용 여부에 따른 점화효과를 다르게 받고 있는 것을 뜻한다. 청각 자극 제시 후 350~500ms 구간에서는 무의미 단어보다 의미 단어에서 더 큰 파형이 나타났다. N400은 문장 내에서 의미적 오류가 있거나(Kutas & Hillyard, 1980) 점화 자극과 의미적 혹은 음운적으로 연관이 없는 경우(McPherson, Ackerman, Holcomb, & Dykman, 1998), 어휘판단과제에서는 의미 단어에 비해 무의미 단어(Smith & Halgren, 1986)가 활성화 된다. 그러나 본 연구에서 의미 단어가 무의미 단어보다 큰 진폭을 보인 것은 선행 연구를 토대로 예상한 것과 상반되는 결과로, 이는 본 연구에서 사용된 과제가 의미 판단 과제가 아니므로 피험자들이 의미 판단에는 중점을 두지 않았기 때문에 의미처리 관련 정보가 덜 활성화 된 것으로 추측해 볼 수 있다. 그러나 음운규칙 적용 여부에서는 주효과가 나타나지 않았기 때문에 N400이 유발되는 처리과정을 순수하게 음운적인 영향만으로 해석하기에는 무리가 있으며, 표기나 음운적으로 일치한 경우 N400 진폭이 유발되는 선행연구(Meng et al, 2007; Kwon et al, 2016)의 결과와도 상반된다. 이는 본 연구 과제의 특성 상 청각 자극이 제시된 이후에는 무의미 단어와 달리 의미 단어는 심성어휘집에서 음운정보를 역으로 가지고 와야 하기 때문에 음운 처리와 의미 처리가 동시에 진행되게 되며 파형에 지속적으로 영향을 주었을 것이라 생각된다. 따라서 음운적 혹은 의미적 처리과정을 순수하게 비교한 선행연구들의 결과와 동일하지 음운처리와 의미처리가 복합적으로 이루어지면서 음운적 혹은 의미적 처리과정을 순수하게 비교한 선행연구들과 동일하지 않은 것 같다. 이러한 본 연구의 결과는 정상 성인의 경우 의미 단어와 무의미 단어를 재인 할 때 음운 경로는 다르지만, 자소-음소의 규칙성에 따라서는 판단시간에서 차이가 나타날 뿐, 음운 경로는 다르지 않음을 시사한다. 나아가 본 연구는 음운 규칙이 충분히 발달되지 않은 아동의 단어 재인과 음운경로 발달 과정, 인지능력 노화에 따른 노인의 단어 재인, 그리고 읽기 장애 아동의 단어 재인 연구를 위한 기초 데이터로써 기능할 수 있으며, 읽기장애 군의 치료효과를 신경학적으로 검증할 수 있는 토대가 될 것으로 기대한다. 본 연구의 한계점으로는 첫째, 과제의 특성상 단순한 자소-음소 전환과정뿐만 아니라 시각 단어를 재인했을 때의 음운과 청각 단어를 재인했을 때의 음운을 비교하여 분석하는 과정이 포함됨으로써 복잡한 처리 및 판단이 이루어져 자소-음소의 전환과정을 순수하게 보여주는 파형을 파악하기 어려운 것이며, 둘째, 음운 규칙이 적용된 단어만을 사용함으로써 음운 규칙이 적용되지 않은 단어를 기초선으로 활용한 비교분석이 어려웠다는 것이다.;Hangul(Korean language) is a shallow orthography language which spelling-to-sound has a strong consistency. However, there is phonological change which occurs between syllables by phonological rules. Korean children begin to recognize and apply phonological rules before the second grade of elementary school and they acquire knowledge of phonological rules throughout elementary school and develop reading and writing skills. According to the Dual Route Model (Coltheart, 2006), the words and non-words using phonological rules activate visual and phonologic pathways, respectively. The words are directly linked from orthography to meaning, while non-words or unfamiliar words activate the phonologic route that process grapheme-phoneme conversion. It is difficult to apply phonological rules to children and adults with dyslexia who have impaired phonologic pathways. They show a great difficulty in processing non-words which need to utilize a phonologic route. Therefore, it is necessary to identify the damaged phonological route of the reading disorder group and to study the activation process for the neurological proof of the effective intervention and the therapeutic effect for the reading disorder group. The purpose of this study is to provide basic data from ERP analysis to establish neurological research background, for real time processing of phonological pathway activation in application of Korean specific phonological rules and word/non-word recognition. A total of 28 normal adults aged between 20 and 38 years, who had sufficient experience of applying phonological rules in words, were included. The phoneme judgment task was used to see whether the phonological rule is applied correctly by comparing the pronunciation of auditory word after the visual word was presented. All the stimuli used in the task were two syllable words with phonological rules, with 102 words and 102 non-words. The phonetic rules were applied with auditory stimuli in half of the words, and the other half of the pronunciation was read without applying the phonetic rules. A total of 204 questions were divided into 4 conditions according to the meaning of word and the application of phonological rules. 51 semantic words read by applying the phonological rules, 51 semantic words read without reading by applying the phonological rules, 51 non-words read by applying the phonological rules, and 51 non-words read without applying the phonological rules. The correct response rate (%), the response time (ms), and the average amplitude (㎶) of ERP were measured during the evaluation of the naturalness of the pronunciation. In the behavioral analysis, there was a significant difference between the correct response rate and the response time depending on the meaning of the word and the application of the phonological rules. Compared to the meaningless words, the words pronounced by applying the phonological rules were significantly higher in both correct response rate and the response time than the ones without phonological rules. This supports the dual route model. It means that in the meaningless word, the ratio of feeling unnatural on reading without applying the phonological rule is lower than in the meaning word. There was a secondary interaction effect between word meaning and phonological rules. In reaction time, no secondary interaction effect was observed. Regardless of the meaning of the words, the gap of the reaction time was similar between applying phonological rules and not applying them. To analyze the ERP components, average amplitudes were compared between 150~300ms, 200~350ms, and 350~500ms time windows. Significantly smaller amplitude of the word than the non-word appeared in 150~300ms and 200~350ms latency windows after auditory stimulation. There was no significant difference according to whether phonological rules were applied. The difference in the meaning of the words indicates that the lexical information approached when the visual stimulus is recognized, has continued to be influenced even after the auditory stimulus is presented. In semantic words, the waveform was smaller when pronounced with the phonological rule, than by not applying rule. This suggests that the P200 and N250 components are observed when the prime and the target stimulus are phonologically consistent. In addition, the effect of the secondary interaction between the meaning of word and the application of phonological rules was significant. This seems to be due to the difference between word and non-word. In the 350~500ms time window, the word had a larger waveform than the non-word. This result is different from previous studies that pseudo-words cause larger amplitude than words. This is because the tasks used in this study are not lexical decision tasks and the subjects do not focus on semantic judgment. It is assumed that the waveforms related to the semantic processing are disturbed. After the auditory stimulation, the semantic word must bring back the phonological information in the phonetic lexicon, so it is thought that the semantic processing is in progress along with the phonological processing, and that it has continuously influenced the waveform. Words and non-words go through different phonologic routes while word recognition. According to the regularity of the grapheme-phoneme, there was a difference in the judgment time, but the phonological pathway was shared. The results of this study will be useful in the following research areas, such as the word recognition and phonological development in children, and the word recognition of the elderly with decreased judgment and low processing ability. It may also be useful in neurologically verifying the therapeutic effect of the reading disability groups. Due to the nature of the task, complicated processes and judgments were made and it was difficult to identify the waveforms that clearly showed the grapheme-phoneme conversion. Further studies are needed to examine the phonological pathway activation characteristics of each group by direct comparison investigation.