영한 순차통역 교육을 위한 원천텍스트 난이도 연구

Abstract

본 연구는 영한 순차통역 교육에 사용되는 원천텍스트의 난이도에 영향을 미치는 텍스트적 요인을 밝히고, 이를 바탕으로 교육용 원천텍스트의 난이도를 평가할 수 있는 효과적인 방안을 모색하고자 하였다. 이러한 목적을 달성하기 위하여 본 연구에서는 다음과 같은 세 가지 연구 문제를 설정하였다. 첫째, 통역 교육에 사용되는 원천텍스트의 난이도에 영향을 미치는 텍스트적 요인은 무엇인가? 둘째, 통역 교육에 사용되는 원천텍스트의 난이도를 어떠한 방법으로 평가할 수 있으며, 각 방법 간에 어떠한 관계가 나타나는가? 셋째, 통역 교육에 적용할 수 있는 원천텍스트 난이도 평가 모형은 어떠한 형태로 설계할 수 있는가? 위와 같은 연구 문제를 해결하기 위하여 문헌 조사와 한영 통역 교수자를 대상으로 한 조사 연구를 실시하였다. 문헌 조사를 통해서는 통역을 비롯하여 통역 수행의 단계와 관련성을 지니는 청해, 번역, 독해 분야의 텍스트적 난이도 요인을 다룬 선행 연구를 조사하여 원천텍스트 난이도 요인을 크게 주제, 어휘, 문장, 논리, 정보 밀도, 도착어 표현의 여섯 가지 영역으로 구분한 ‘원천텍스트 난이도 요인 분석틀’을 마련하였다. 다음으로 텍스트 난이도 평가와 관련된 선행 연구를 조사하여 원천텍스트 난이도 평가 방법을 주관적 난이도 평가와 객관적 난이도 평가로 구분하고, 각각을 보다 세부적인 평가 방법으로 구체화하여 본 연구에 적용할 원천텍스트 난이도 평가 방법을 결정하였다. 문헌 조사 결과를 바탕으로 15명의 한영 통역 교수자를 대상으로 하는 난이도 평가 조사를 실시하였다. 한영 통역 교수자들은 조사에 참여하여 다음과 같은 세 가지 과제를 수행하였다. 첫째, 참여자에게 통역 교육에 사용되었던 영어 원천텍스트를 제시하고 학습 과정 중에 있는 학생이 순차통역할 때 어려움을 경험할 것으로 예상하는 부분에 표시한 후 그 이유를 기술하는 ‘원천텍스트 난이도 요인 분석’을 실행하였다. 둘째, 선행 연구를 토대로 개발한 원천텍스트 난이도 요인 분석틀에서 주요 난이도 요인으로 구분한 주제, 어휘, 문장, 논리, 정보 밀도, 도착어 표현의 여섯 가지 요인 중 통역 교육용 원천텍스트의 난이도를 판단할 때 보다 중요하게 고려하는 요인이 무엇인지 확인하기 위하여 요인 간의 상대적 중요도를 가늠하는 ‘원천텍스트 난이도 요인 가중치 평정’을 실행하였다. 마지막으로 검토 대상 원천텍스트의 난이도를 점수화하여 평가하는 ‘원천텍스트 난이도 평가’를 수행하였다. 원천텍스트 난이도 평가는 통역 교수자의 판단에 근거한 주관적 난이도 평가로서, 구체적인 평가 영역이 설정되지 않은 ‘총괄적 평가’와 원천텍스트 난이도 요인 분석틀 상의 여섯 가지 주요 난이도 요인을 세부 평가 영역으로 하는 ‘분석적 평가’로 이루어졌다. 본 연구의 첫 번째 연구 문제인 통역 교육에 사용되는 원천텍스트의 난이도에 영향을 미치는 텍스트적 요인을 조사하기 위하여 통역 교수자 조사의 ‘원천텍스트 난이도 분석’에서 수집된 참여자의 응답을 분석하였다. 원천텍스트 난이도 요인 분석틀 상의 여섯 가지 주요 난이도 요인인 주제, 어휘, 문장, 논리, 정보 밀도, 도착어 표현을 기준으로 464건의 참여자 응답을 분류하여 각각의 주요 난이도 요인을 22개의 세부 난이도 요인으로 구체화하였다. 이에 더하여 통역 교수자 조사에서 이루어진 ‘원천텍스트 난이도 요인 가중치 평정’의 결과를 토대로 각 난이도 요인의 가중치를 산출한 결과, 참여자들이 교육용 원천텍스트의 난이도를 평가할 때 가장 중요하게 고려하는 난이도 요인은 논리(22.1%)인 것으로 나타났으며, 다음으로 정보 밀도(19.9%), 문장(17.4%), 주제(15.5%), 어휘(13.8%), 도착어 표현(11.4%)의 순으로 고려하는 것으로 나타났다. 두 번째 연구 문제, 즉 통역 교육에 사용되는 원천텍스트의 난이도를 어떠한 방법으로 평가할 수 있으며, 각 방법 간에 어떠한 관계가 나타나는지 확인하기 위하여 주관적, 객관적 원천텍스트 난이도 평가 방법을 실행하고 그 결과를 비교‧분석하였다. 원천텍스트에 대한 주관적 난이도 평가로서 통역 교수자 조사에서 이루어진 ‘원천텍스트 난이도 평가’의 결과를 분석하였다. 객관적 난이도 평가를 위해서는 연구자가 검토 대상 원천텍스트의 이독성 점수, 어휘 난이도, 어휘 다양도, 통사적 복잡도, 정보 밀도를 측정한 후 이를 종합하여 텍스트별로 점수를 부여하였다. 이독성 점수는 플레시 이독성 점수(Flesch Reading Ease Score)와 Coh-Metrix 제2언어 독해 지수(Coh-Metrix L2 Reading Index), 어휘 난이도는 텍스트에 포함된 어휘 중 사용 빈도가 낮은 고급 어휘의 비율, 어휘 다양도는 타입 대 토큰 비율(type to token ratio), 통사적 복잡도는 평균 T-unit 길이, 주동사 앞에 오는 단어 수, 명사구당 평균 수식어수, 그리고 정보 밀도는 텍스트에 포함된 총 명제 수를 총 단어 수로 나눈 수치로 측정하였다. 주관적 난이도 평가에서 참여자들이 텍스트별로 부여한 난이도 점수와 순위는 큰 편차를 나타내어 주관적 난이도 평가의 평가자간 의견 일치도는 전반적으로 매우 낮게 나타났다. 그러나 총괄적 평가에 비해 분석적 평가에서 평가자간 의견 일치도가 상대적으로 높게 나타났다. 참여자들이 부여한 점수의 평균을 기준으로 주관적 난이도 평가의 총괄적 평가와 분석적 평가를 비교한 결과, 아무런 지침 없이 평가자 개인의 기준에 의해 원천텍스트의 전체적인 난이도를 평가한 총괄적 평가는 분석적 평가의 세부적인 영역별 난이도 점수 중 논리, 정보 밀도, 문장의 순으로 유의미한 상관관계를 나타냈다. 주관적 난이도 평가와 객관적 난이도 평가를 비교한 결과, 통역 교수자의 주관적인 난이도 평가는 텍스트의 속성 중 평균 T-unit 길이, 플레시 이독성 점수, 타입 대 토큰 비율과 높은 상관관계를 나타냈다. 세 번째 연구 문제인 통역 교육에 적용할 수 있는 원천텍스트 난이도 평가 모형을 설계하기 위하여 첫 번째, 두 번째 단계의 연구 결과를 바탕으로 통역 교육에 사용되는 원천텍스트 난이도 평가 모형을 개발하였다. 통역 교육에 사용되는 원천텍스트의 난이도를 판단하는 데 필요한 전문성을 갖춘 통역 교수자의 주관적 관점을 중심으로 하되 평가자간 신뢰도를 향상시킴으로써 보다 객관적인 난이도 평가가 가능한 방안을 설계하고자 하였다. 이러한 설계 목적을 충족시키는 원천텍스트 난이도 평가 모형을 설계하기 위하여 연구자의 판단 하에 주관적 난이도 평가와 객관적 난이도 평가를 모두 포함시키고, 주관적 난이도 평가와 객관적 난이도 평가를 7:3의 비율로 반영하도록 하였다. 주관적 난이도 평가에는 평가자간 신뢰도가 높게 나타나는 분석적 평가의 틀을 적용하고, 객관적 난이도 평가를 위해서는 두 번째 연구 단계에서 통역 교수자들의 난이도 판단과 유의미한 상관관계를 보인 평균 T-unit 길이, 플레시 이독성 점수, 타입 대 토큰 비율을 적용하였다. 이에 더하여 원천텍스트 난이도 평가 모형을 실행하기 위한 구체적인 평가 절차를 수립하고, 점수 산출을 위한 평가 도구를 난이도 평가지의 형태로 설계하였다. 이와 같이 설계한 원천텍스트 난이도 평가 모형을 통역 교수자 10인을 대상으로 시험 적용한 결과 평가자간 신뢰도를 향상시키고자 했던 설계 의도가 충족된 것으로 나타났으며, 평가 모형의 유용성에 대하여 긍정적인 평가가 이루어졌다. 그러나 평가 모형의 사용 단계가 복잡하여 실용성이 떨어진다는 단점이 지적되어, 난이도 평가 모형을 보다 간소화하여 활용도를 높일 수 있도록 평가 모형의 핵심 내용을 담아 원천텍스트 난이도 평가를 위한 점검표(checklist)의 형태로 제안하였다. 마지막으로 본 연구의 결과를 종합 평가하자면, 우선 첫 번째 연구 문제를 해결함으로써 영한 순차 통역 교육에서 원천텍스트의 난이도를 평가하는 주체인 통역 교수사들이 자신의 교육 및 실무 경험을 바탕으로 주관적, 암묵적으로 적용해 온 난이도 판단의 기준을 구체적인 텍스트 사례를 바탕으로 명시화하였다. 두 번째 연구 문제를 다룬 연구 단계를 통해서는 통역 교육에 사용되는 원천텍스트의 난이도 평가를 위한 다양한 접근법을 제시하였으며, 객관적 난이도 평가의 활용 가능성을 확인하였다. 세 번째 연구 문제를 다룬 연구 단계에서는 실제 통역 교육 현장에서 원천텍스트 난이도를 평가할 때 평가자간 의견 일치도를 향상시키고 객관성을 강화할 수 있는 난이도 평가 모형을 제시하였다. 이로써 이제까지 교수자들의 직관에만 의존하던 원천텍스트의 난이도 평가 방법을 보다 체계화하였다. 본 연구는 통역 교육의 교수 및 학습 내용을 결정하고 통역 평가에서는 평가 도구로써 평가의 타당도와 신뢰도에 영향을 미치는 요소인 원천텍스트의 난이도를 판단하는 구체적인 기준과 방법을 제시함으로써, 보다 객관적이고 신뢰할만한 원천텍스트 난이도 평가를 통한 효과적이고 체계적인 통역 교육에 기여한다는 점에서 의의를 지닌다.;It is generally agreed in interpreter education that source texts(STs) must be sequenced according to their level of difficulty. But it appears that there is a dearth of research aimed at explaining ST difficulty based on specific textual factors, making highly impressionistic assessment of source text difficulty inevitable. The aim of this study is to analyze textual factors involved in the assessment of ST difficulty in interpreter education, and to develop a more objective and reliable way of assessing ST difficulty, with a focus on English source texts used in the education of English-Korean consecutive interpreting(CI). Three research questions were set for this PhD research: first, to identify the textual factors that affect the difficulty of source texts used in interpreter education; second, to test the methods for assessing ST difficulty and to discover the relations between the different methods; and third, to develop a more objective and reliable model for assessing ST difficulty in interpreter education. To answer the aforementioned research questions, literature review and a survey of interpreting teachers were conducted. Based on the review of previous studies on textual factors affecting text difficulty in SLA, language testing and T&I studies, six major textual factors were identified, i.e., topic, vocabulary, sentence, logic, information density and target language re-expression. In addition, previous studies relevant to text difficulty measurement were examined to decide on the methods of source text difficulty assessment for this study. Following the literature review, a survey of fifteen interpreting teachers was conducted. These interpreting teachers were asked to perform three tasks. First of all, the participants carried out an analysis of textual factors affecting ST difficulty with sample source texts; they reviewed five English source texts that had been actually used in major examinations at a postgraduate English-Korean CI program, and were asked to provide examples and explanations of textual factors affecting ST difficulty. Secondly, the participants compared the relative weights of the six major difficulty factors (topic, vocabulary, sentence, logic, information density, target language re-expression) in considering ST difficulty in interpreter education. Lastly, the participants rated the level of difficulty for the five source texts on a ten point scale. The last task was performed with two different methods: one was "holistic assessment", in which the participants based the overall difficulty rating solely on their individual judgment without any guidelines; the other was "analytic assessment", in which they performed difficulty rating according to the six major aspects of source text difficulty (topic, vocabulary, sentence, logic, information density, target language re-expression). To identify the textual factors that affect the difficulty of source texts used in interpreter education (first research question), results from the first two tasks of the interpreting teachers survey were analyzed. A total of 464 participant comments and text segments linked to those comments were analyzed and categorized under the six major difficulty factors affecting ST difficulty, and 22 specific textual features were identified that explained the six major difficulty factors more specifically. The result of relative weight comparison of the six difficulty factors indicated that the interpreting teachers considered logic(22.1%) most important in assessing the difficulty of source texts used in the education of English-Korean consecutive interpreting, followed by information density(19.9%), sentence(17.4%), topic(15.5%), vocabulary(13.8%) and target language re-expression(11.4%). To test the methods for assessing ST difficulty and to discover the relations between the different methods (second research question), various methods for subjective and objective assessment of ST difficulty were conducted and the results were compared. The result of subjective difficulty assessment by the individual survey participants showed a marked inconsistency; in other words, the difficulty scores rated by the fifteen participants demonstrated little correlation with each other; however, inter-rater consistency was relatively higher in analytic assessment than in holistic assessment. The participants' average scores in holistic assessment were found to be significantly correlated with their judgment of difficulty in the text's logic, information density and sentence in this order. Source text difficulty assessment by survey participants was followed by objective difficulty assessment, which was a more quantitative approach based on the measurement of readability(Flesch Reading Ease Score and Coh-Metrix L2 Reading Index); lexical difficulty(percentage of low-frequency words); lexical variety(type-to-token ratio); syntactic complexity(average length of T-unit, words before main verbs, mean number of modifiers per noun phrase); and information density(total number of propositions divided by total number of words) of the source texts used in the survey. Participants' difficulty assessment was found to be correlated significantly with the average length of T-unit, Flesch Reading Ease Score and type-to-token ratio of the source texts. To answer the third and last research question, which is to develop a model for ST difficulty assessment for English-Korean CI education, a model for assessment of ST difficulty was designed, drawing on both the expertise of individual interpreting teachers and more objective and reliable text difficulty assessment methods. The model was built based on the results of the first and second research questions, with interpreting teachers' subjective assessment accounting for 70% of the final ST difficulty assessment score and quantitative indicators of textual factors of STs 30%. The model requires interpreting teachers to conduct analytic assessment of source text difficulty with the six difficulty factors as assessment criteria; and quantitative indicators of text quality consist of average length of T-unit, Flesch Reading Ease Score and type-to-token ratio, all of which were found to be significantly correlated with interpreting teachers' judgment of source text difficulty in the second part of the study. The model for source text difficulty assessment was tested with a trial application on 10 interpreting teachers. Interpreting teachers agreed in general to the validity and usefulness of the model, and the difficulty assessment scores generated by the model showed higher inter-rater consistency than the method of using participants' subjective judgment alone. As some participants pointed to the need to further enhance the model's practical applicability in the field, the model has been modified to provide a simplified version. For practical and simple application, a checklist consisting of key components of the model was presented. This study has implications for the practice and study of interpreting education. The ST difficulty factors identified in the study can serve as a set of criteria for describing and analyzing ST difficulty in textual terms, so as to help both teachers and students better predict the kind of interpreting challenges presented by a given ST. Also, various ST difficulty assessment methods tested in the study point to the possibility of assessing ST difficulty in a more systematic manner. Most of all, the model for ST difficulty assessment proposed in this study can be utilized for a more objective and reliable assessment of ST difficulty, as it incorporates quantitative indicators relevant to interpreting ST difficulty assessment and is expected to improve inter-rater consistency.