학습자 중심 통역 평가 교육을 위한 실행연구

Abstract

본 논문의 목적은 학습자 중심 통역 평가 교육 도구로써 ‘자기평가 포트폴리오’모델을 개발하여 통역 수업에 활용하고 그 효과를 확인하는 것이다. 통역 교육 현장에서 학습자는 평가의 대상으로 간주되어 왔으며 통역 평가에 대한 학습자 인식은 주목받지 못했다. 통역 현장 조건, 통역 수행 목적, 평가 주체, 평가 기준과 같은 다양한 통역 품질 평가 기준이 복합적으로 존재하는 상황은 통역 평가가 교육 대상이 되지 못하는 요인으로 작용하였다. 결국 실제 통역 교육 현장에서 학습자는 평가를 수행하고 있음에도 불구하고 통역 평가 교육 과정의 부재로 그 과정과 결과에 대한 검증은 이루어지지 않는다. 그러나 학습자의 적절한 평가 기준 형성은 지속적인 자기조절학습의 전제가 된다는 점에서 간과되어서는 안된다. 급변하는 사회 흐름에 따라 통역이 필요한 현장도 다양해지는 만큼 전문가로서 통역사는 상황 변화에 민감하게 반응하여 현장에서 요구하는 평가 기준을 습득하고 통역을 수행할 수 있는 자기조절학습능력을 갖출 필요가 있다. 자기조절학습은 능동적인 인지처리 노력에 의해서 계획, 수행•의지통제, 자기 성찰이라는 순환고리를 형성하면서 반복적으로 지속되는 학습의 특징을 갖는다. 본 연구에서 개발한 ‘자기평가 포트폴리오’모델은 학습자가 중심이 되어 통역 평가를 수행하고 성찰하는 것을 지원하여, 학습자가 통역 평가에 대해 자기조절학습의 순환고리를 형성하도록 하는 목적을 가진 통역 평가 교육을 위한 도구이다. ‘자기평가 포트폴리오’모델 활용이 학습자의 통역 평가 기준 형성에 공헌하고 그 결과가 학습자의 통역 실력 향상에도 도움이 된다면, 이를 통역 평가 교육 도구로써 통역 수업에서 활용하는 방안을 고려해 볼만하다. 이러한 기대를 바탕으로 본 연구자는 자기조절학습 실현을 위한 통역 평가 교육 도구로써 ‘자기평가 포트폴리오’모델을 개발하는 실행연구를 수행하였고, 본 논문은 그 과정과 결과에 대한 보고이다. 본 연구에서는 우선 ‘자기평가 포트폴리오’모델을 개발한 실행연구 과정을 기술하여 모델 개발 근거를 논의하였다. 그리고 그 과정에서 확인된 학습자 중심 통역 평가 교육 도구의 요구 특성과 실행연구 결과 완성된 ‘자기평가 포트폴리오’모델을 제시하였다. 두 번째로 실행연구 결과 축적된 학습자의 ‘자기평가 포트폴리오’를 분석하여 학습자와 교수자 입장에서 인식한 모델 활용의 효용성을 살펴보고 도구 효과를 정리하였다. 세 번째로 실제 ‘자기평가 포트폴리오’모델을 활용한 결과 학습자에게 확인되는 변화를 통해 교육 효과를 고찰하였다. 먼저 실행연구 보고에 앞서 본 연구가 가지는 교육적 의의를 확인하기 위해 ‘자기평가 포트폴리오’모델이 지향하는 자기조절학습의 교육심리학적 이론 배경을 살펴보고 통번역 교육 연구와의 접점을 모색하였다. 그 결과 학습자 중심 교육과 과정 중심 교육, 자기평가와 관련한 교집합을 도출할 수 있었다. 이를 바탕으로 통번역 교육 연구 분야의 선행연구를 조사한 결과 특히 통역 교육의 경우 구어로 생성되는 통역 결과물의 특성으로 인해 통역 과정에 주목한 연구에 한계가 있음을 확인하였다. 이에 학습자가 통역 과정을 성찰할 수 있도록 하기 위해 번역 교육에서 활용하는 ‘번역일지’에 질(Gile 1983, 2004)의 노력모델을 접목하여 ‘자기평가 포트폴리오’모델을 개발하였으며, 이것의 과정 중심 교육 도구로서의 의의를 찾아볼 수 있었다. 또한 포트폴리오 평가법에 대한 교육학 이론 배경을 고찰하여 학습자가 통역 과정에만 주목하는 것에서 벗어나 종합적인 통역 평가 관점을 형성하도록 설계한 ‘자기평가 포트폴리오’모델의 특성을 확인하였다. 이상과 같은 이론적 배경을 바탕으로 본 연구에서는 우선 2010년부터 2017년까지 실행연구 방법을 통해 개발한 ‘자기평가 포트폴리오’모델의 개발 배경과 그 간의 실행연구 경위를 상세히 기술하였다. 그 결과로써 2010년 예비연구를 시작으로 2015년까지 6차에 걸친 모델 개선 과정과 2017년까지 안정화 기간을 거쳐 개발이 완료된 ‘자기평가 포트폴리오’모델을 제시하였다. 6차에 걸친 모델 개선 내역과 결과를 고찰함으로써 모델 사용자와 모델의 도구 효용성이라는 두 가지 관점에서 ‘자기평가 포트폴리오’모델의 요구 특성을 정리할 수 있었다. 먼저 사용자 관점에서는 핵심 요소를 중심으로 모델을 설계하는 구성 요소의 명료성, 통역 사용자 관점을 고려할 수 있도록 하는 상호작용성, 과업 부담 조정을 통한 지속가능성이 필요함을 확인하였고, 다음으로 도구 효용성 관점에서는 목적에 따라 도구의 다양한 구성 요소 활용을 조절할 수 있도록 하는 조작유연성, 성찰 결과에 대한 학습자와 교수자의 효과적인 인식 공유와 변화 과정 추적을 용이하게 하는 도구의 계량성, 도구 사용자인 학습자와 교수자가 인식하는 효용성 점검을 바탕으로 필요한 요소를 추가•변경 할 수 있도록 하는 개선가능성 등의 요구 특성을 도출할 수 있었다. 두 번째로 축적된 학습자의 포트폴리오를 분석하여 ‘자기평가 포트폴리오’모델 활용 효과를 사용자 관점과 도구적 관점에서 고찰하였다. 먼저 교수자 입장에서는 학습자의 평가 특성을 자세하게 파악할 수 있고, 필요 시 평가 지침, 교수자 피드백 등의 기능을 통해서 학습자의 평가 관점 변화를 유도할 수 있음을 확인하였다. 한편, 학습자 인식 조사 결과를 통해 학습자는 통역 수업에서 겪는 다양한 어려움을 해소하는데 ‘자기평가 포트폴리오’모델이 도움이 되었다고 인식하고 있음을 알 수 있었다. 구체적으로 학습자는 통역 품질 문제를 새롭게 인식하게 되었고 통역 과정에 근거하여 통역 문제를 유발한 원인을 분석할 수 있게 되어 본인의 강점과 약점을 인지하게 되었다는 점에서 ‘자기평가 포트폴리오’모델 활용이 도움이 되었다고 인식하는 것으로 나타났다. 이와 같은 사용자 입장에서 인식한 ‘자기평가 포트폴리오’모델 효용성을 도구 기능의 관점에서 정리한 결과 학습자가 통역 과정을 이해하고, 자기 성찰의 기회를 가질 수 있도록 한다는 점과 학습자와 교수자의 적극적인 상호작용을 가능하게 하는 점을 ‘자기평가 포트폴리오’모델이 가지는 도구 효과로 도출할 수 있었다. 세 번째로, 실행연구를 통해 ‘자기평가 포트폴리오’모델을 실제 통역 수업에서 활용한 결과 축적된 학습자의 포트폴리오에서 확인되는 변화를 추적하여 모델의 교육 효과를 고찰하였다. 포트폴리오 분석 결과 학습자는 전반적으로 시간이 경과함에 따라서 통역 과정에 근거하여 통역 문제를 특정하는데 있어서 교수자와 의견일치율이 높아지는 경향을 나타내었다. 나아가 의견일치율과 통역 실력 향상의 관계에 주목하여 학습자 그룹을 성적을 기준으로 나누어 경향성을 살펴본 결과 성적 상위 그룹이 하위 그룹에 비해 의견일치율이 현저하게 향상되었음을 확인하였다. 통역 훈련에 포함되는 복합적인 변인들을 고려할 때 단정하기는 어렵지만, 이러한 결과를 통해 ‘자기평가 포트폴리오’모델이 학습자의 통역 실력 향상과도 무관하지 않은 것으로 해석할 수 있었다. 즉, 학습자와 교수자는 ‘자기평가 포트폴리오’를 통해 적극적으로 상호작용하면서 평가 기준에 대한 인식의 간극을 좁힐 수 있다. 그 결과 학습자는 해당 통역 수업에 적용되는 기준에 근접하여 통역 과정과 결과를 관찰하고 평가하여 통역 개선 및 훈련 방안을 모색하고 전략을 세워 다음 통역 수행에 임한다. ‘자기평가 포트폴리오’모델은 이러한 과정을 반복하도록 설계되어 있어 학습자는 과업 수행을 통해 효과적으로 통역 실력을 개선해 나갈 수 있는 것이다. 이러한 원리에서 본 연구자는 ‘자기평가 포트폴리오’모델 활용을 통해 학습자가 통역 평가에 대한 자기조절적 순환고리를 형성하는 것이 학습자의 통역 실력 향상에도 기여할 수 있을 것이라 기대하였는데, 포트폴리오 분석을 통해 확인한 학습자의 의견일치율 변화에서 연구 기대가 일정 부분 적중했음을 확인할 수 있었다. ‘자기평가 포트폴리오’과업을 통한 자기조절학습 효과는 평가 주체 별 통역 평가 단계를 분석한 결과에서도 확인할 수 있었다. 먼저 평가 주체들이 평가한 내용을 현상 진단(A), 원인 분석(B), 개선을 위한 훈련 방법(C), 주의환기•개선요청(D), 개선변화 관찰(E)과 같은 형태로 평가 주체의 평가 의도 적극성을 기준으로 단계를 분류하고 이를 자기조절학습 순환단계의 관점에서 나열하였다. 평가 주체 별 평가 내용에서 나타나는 통역 평가 단계 특성을 비교 분석한 결과, 학습자는 동료평가 대비 자기평가 수행 시에 보다 자기조절적 순환고리를 형성하는 평가를 한다는 사실을 확인하였다. 다시 말해 학습자의 동료평가 수행 내용에 비해 자기평가 내용에서 현상 진단에 머물기 보다는 통역 과정에 주목하여 원인을 분석하고 전략을 세우는 적극적인 평가 요소가 관찰되었다. 또한 이러한 자기평가에서 나타나는 통역 평가 단계 특성은 ‘자기평가 포트폴리오’과업 수행 기간 동안 변화하였음을 관찰할 수 있었다. 이는 ‘자기평가 포트폴리오’모델 활용이 학습자가 자기조절적인 방향으로 통역 평가 단계를 형성하게 작용하는 효과가 있음을 보여주는 것으로 해석할 수 있다. 이상과 같이 본 연구에서는 학습자 중심 통역 평가 교육 도구인 ‘자기평가 포트폴리오’모델을 개발하기 위한 실행연구 과정을 기술하여 실제 교육 현장의 상황에 기반한 모델 개발 근거를 제시하였다. 2010~17년이라는 비교적 장기간의 실행연구 기간을 확보하여 소수 학습자로 구성되는 통번역 교육 기관의 특성에 기인한 연구 신뢰도 문제를 보완하였다. 또한 학습자 인식 조사 결과를 통해 모델 활용 효과를 검증함으로써 학습자 중심 통역 평가 교육 도구로써의 가치를 교수자 관점만이 아닌 학습자 입장에서도 확인하였다는데 의의를 갖는다. 연구 결과 ‘자기평가 포트폴리오’모델의 요구 특성과 통역 평가 교육 도구로써의 효과를 확인할 수 있었다. 이러한 결과를 바탕으로 통역 수업에서 학습자 중심 통역 평가 교육 도구로써 ‘자기평가 포트폴리오’모델 활용을 제안하고자 한다. ;The purpose of this paper is to develop a self-assessment portfolio model to be used as a learner-centered teaching tool for interpretation evaluation, to use it in interpretation classes, and to verify its effectiveness. In the field of interpreter training, the learner has typically been regarded as the object of evaluation, and learner perception of the interpretation evaluation has not been afforded much attention. Interpretation evaluation has rarely been viewed as an element of teaching and learning because of the complexity of various interpretation quality evaluation standards, such as interpreters' working conditions, the purpose of interpretation, evaluators, and evaluation criteria. After all, although learners perform evaluations throughout the teaching and learning of interpretation, the process and results of the learners' evaluations are not verified due to the absence of any relevant curriculum. It should not be overlooked, however, that learner knowledge of proper evaluation criteria is a prerequisite for continuous, self-regulated learning. As society changes rapidly, interpretation services are provided in increasingly diverse settings. Professional interpreters need to be able to detect and respond to changing situations, acquire the evaluation criteria required on site, and perform their work accordingly. In other words, the ability to engage in self-regulated learning is crucial. Self-regulated learning is characterized by a repetitive and continued cycle of forethought, performance or volitional control, and self-reflection, driven by active cognitive-processing efforts. The self-assessment portfolio model proposed in this study is a pedagogical tool for interpretation evaluation aimed at supporting learners' self-evaluation and self-reflection. If the use of the self-assessment portfolio model helps learners develop a proper set of interpretation evaluation criteria, which would help improve the leaner’s interpreting competency, it would be worthwhile to consider using the model as a teaching tool for interpretation evaluation. Based on this expectation, the author conducted an action research project attempting to develop a self-assessment portfolio model as an interpretation evaluation teaching tool that facilitates the self-regulated learning process. This study first describes the action research project aimed at developing the self-assessment portfolio model in order to discuss the basis of developing the model. The characteristics required of a learner-centered interpretation evaluation training tool, identified in the process, are discussed, and the self-assessment portfolio model developed as a result of the action research project is proposed. Secondly, by analyzing learners' self-assessment portfolios collected throughout the research, the effectiveness of applying the model is examined both from the learners' and the teachers' perspective, and the benefit of the model as a training tool is discussed. Thirdly, the model was actually applied in interpretation class to investigate its effect on learners and to explore its pedagogical relevance. In order to confirm the educational significance of this study, theories from educational psychology were consulted as to self-regulated learning (i.e., the intended outcome of using the self-assessment portfolio model) and were explored in terms of their relevance to the study of interpreter/translator training. As a result, it was possible to derive the intersection of learner-centered education, process-oriented education, and self-evaluation. Furthermore, existing studies on interpreter/translator training were also consulted, which indicated that research that looks into the process of interpretation is particularly restrained due to the nature of spoken language - the very product of interpretation. This also means the self-assessment portfolio model, developed by combining the reflective journal commonly used in translator training and Gile’s effort model (Gile 1983, 2004) can be a potentially useful tool for process-oriented education, which encourages learners to reflect upon their own interpretation processes. In addition, the characteristics of the self-assessment portfolio model, designed to help learners form a comprehensive viewpoint for evaluating interpretation as opposed to solely focusing on the interpretation process, were examined in the context of education theories on portfolio-based assessment. Based on the theoretical background above, this paper describes in detail the action research project carried out from 2010 to 2017, which resulted in the development of the self-assessment portfolio model. The proposed model is the outcome of preliminary research that started from 2010, underwent six rounds of improvement by 2015, and went through a stabilization phase by 2017. By reviewing the model improvement history and results over the six rounds, insights were gained as to the required characteristics of the model, in terms of the user and the model’s effectiveness as a tool. First from the user’s point of view, it was necessary that the model provide design clarity centered on core elements, interactiveness to consider the users of interpretation services, and sustainability to allow for the mediation of task burden. In terms of effectiveness as a tool, the model needed to provide 1) flexibility to manipulate the use of various elements to serve different purposes and 2) measurability to assist learners and teachers in sharing their observations effectively and tracing the progress made. In addition, the model needed to be open to improvement to allow for the addition and/or modification of elements in line with its effectiveness perceived by the users of the model - that is, the learner and the teacher. Secondly, learners' portfolios were analyzed to examine the effects of using the model from a user perspective and the model’s effectiveness as an educational tool. First, it was observed that the model assisted the teacher in better understanding the learners' methods of evaluation, and changing, if necessary, the learners' evaluation perspective by providing evaluation instructions, feedback, etc. Meanwhile, the examination of learner perceptions revealed that learners felt the model helped them cope with various challenges they face in interpreter training. More specifically, it was indicated that learners found the model useful in identifying the source of errors based on the analysis of their own interpretation process, as it provided a renewed perspective on the issue of interpretation quality, which ultimately shed light on the strengths and weaknesses of the learners themselves. The model, as a tool, was also found useful in providing the learner with opportunities to understand the process of interpretation and reflect upon their own learning and in increasing interaction between the learner and the teacher. Thirdly, an action research project was conducted where the self-assessment portfolio model was utilized in an actual interpretation class to investigate the model’s pedagogical relevance by tracking changes observed in the collection of learner portfolios. The portfolio analysis indicated that the learners' tendency to agree with the teacher in specifying errors based on the interpretation process increased over time. The relationship between the learner-teacher agreement and the improvement of the learner’s interpreting skills, in particular, was examined on the basis of academic grades achieved by learners. The group with higher grades demonstrated a notable increase in the tendency to agree with their teacher, compared to the group with lower grades. This could mean that the self-assessment portfolio model bears at least some relevance to the improvement of the learners' interpreting competence, although the complexity of other variables at play in interpreter training should be fully recognized. In other words, the self-assessment portfolio can potentially help learners and teachers communicate more actively to narrow the gap in their perceived evaluation standards. Learners, therefore, are better equipped to observe and evaluate the process and the product of interpretation in the closest proximity possible to the set of criteria addressed in a given training session in order to develop strategies to improve their performance for the next session. The self-assessment portfolio model is designed to repeat this process, so the learners can enhance their interpreting skills effectively by performing tasks. The change in the degree of the learner-teacher agreement, as evidenced by the portfolio analysis, could confirm that utilizing the model helps learners create a self-regulated evaluation cycle, which, in turn, improves their interpreting skills - a finding in line with the initial expectations of this study. The impact of self-assessment portfolio tasks on self-regulated learning was also identified in the analysis of the different evaluation stages employed by users. User evaluations were categorized into different stages based on the evaluations' degrees of proactiveness. The stages included (A) phenomenon diagnosis, (B) cause analysis, (C) training method for improvement, (D) calling for attention and improvement, and (E) observing the improvement process. The stages were listed in terms of the phases of the self-regulated learning cycle. Comparisons were made between the different evaluation stages employed by users, which indicated that the learner evaluations tend to be more commensurate with creating self-regulated cycles when the evaluation is on their own work, as opposed to their peer’s work. In other words, their self-evaluation displayed more proactiveness (i.e., going beyond diagnosis to process-oriented cause analysis and strategic planning), compared to peer evaluations. It was also found that the stages of self-evaluation changed over the period when learners engaged in self-assessment portfolio tasks. This could mean that the use of the self-assessment portfolio model encourages learners to employ evaluation stages in a way that increases self-regulation. This paper explores the process of an action research project aimed at developing the self-assessment portfolio model that reflects the realities and practices of actual interpreter training. The research was conducted over a relatively long period of time (from 2010 to 2017) to enhance the reliability of research outcomes, a common issue in translation/interpretation studies, given the typically small number of learners at T&I institutions. It is also notable that this study verified the benefit of the model as a learner-centered training tool not only from the perspective of teachers but also from a learner perspective by investigating learner experience of using the model. The findings of this study identified the elements required of the self-assessment portfolio model and confirmed the model’s effectiveness as an interpretation evaluation training tool. It is proposed that the model be used in interpretation class as a learner-centered training tool on the subject of interpretation evaluation.