시험방식 양상이 고등학교 영어 학습자의 문법 능력 평가 결과와 인식에 미치는 영향

Abstract

본 연구는 문법 능력 평가 방식이 고등학교 영어 학습자의 문법 능력 평가 결과와 학습자의 인식에 미치는 영향에 대해 알아보는 실험을 바탕으로 한다. 실험 결과에 비추어 학습자의 문법 능력을 보다 정확하게 평가할 수 있는 보다 나은 평가 방식을 모색하고자 하는 것이 궁극적인 목적이다. 이를 위해 고등학교 2학년 학습자 168명을 세 집단으로 나누어 세 가지 방식의 문법 능력 평가를 실시하였다. 총 30개의 문법 문항을 10개씩 세 가지 방식으로 나누고 그 배열순서는 각각 달리하였다. 세 가지 방식은 첫째, 문장의 밑줄 친 부분 중에서 어법상 틀린 것을 고르는 방식(고르기), 둘째, 밑줄이 없는 문장에서 어법상 틀린 부분을 찾아 밑줄을 긋는 방식(밑줄 긋기), 셋째, 밑줄이 없는 문장에서 어법상 틀린 부분을 찾아 바르게 고치는 방식(고치기)이다. 이와 같은 방식으로 분류한 이유는 고르기 방식과 같은 선다형 평가 방식이 대규모의 시험에서 일반화 될 만큼 많이 쓰이기 때문이다. 그러나 답을 유추할 가능성이 있고, 시험 응시 과정에서 나타나는 학습자의 사고 과정을 파악하기 어렵다는 한계가 있다. 따라서 답의 유추 가능성을 낮추고, 정답을 고르지 못했을 때에도 그 이유에 대한 정보를 얻을 수 있는 평가 방식과의 비교를 통해 보다 나은 문법 능력 평가 방식을 모색하고자 한다. 그리고 평가 방식에 따라 평가 결과에 큰 차이를 나타낸 문항을 선정하여 문항 분석을 시도하고 실험 대상자들로 하여금 문제 풀이 과정을 회상하게 하여 평가 방식에 따른 차이의 구체적 이유를 밝혀보고자 하였다. 마지막으로, 평가 방식에 따라 난이도, 효과적인 평가 방법, 장단점 등에 대한 학습자의 인식 조사를 위해 설문을 실시하였다. 본 실험 연구를 통해 얻어진 주요 결과는 다음과 같다. 첫째, 학습자들의 문법 능력 평가 결과는 평가 방식에 따라 유의미한 차이를 보였다. 밑줄 친 부분 중에서 틀린 것을 고르는 방식(고르기)의 평균 점수가 가장 높게 나타났으며, 밑줄이 없는 문장에서 틀린 부분을 찾아 고치는 방식(고치기)의 평균 점수가 가장 낮게 나타났다. 이와 같은 차이가 생긴 원인을 보다 자세히 알아보기 위해 평가 방식에 따라 평가 결과에 가장 큰 차이를 보였던 문항에 대한 학습자들의 응답을 비교 분석해 보았다. 그 결과 평가 방식에 따라 학습자들의 응답 여부에 차이가 나타났고 선다형이 아닌 밑줄 긋기 방식이나 고치기 방식의 경우, 해당 문항에서 측정하고자 하는 문법 요소에 대한 확실한 지식이 없으면 학습자들은 동사와 관련된 부분이 틀렸을 것이라고 생각하는 경향이 나타났다. 이러한 경향은 학습자들이 학교에서 배우는 문법이나 학교 정기고사 및 학력 평가에 출제되는 문법 문항에서 비슷한 문법 요소들을 반복적으로 접한 결과로 해석할 수 있을 것이다. 또한, 고치기 방식의 평가에서는 틀린 부분을 찾고 나서 고치지 않은 학습자들이 많았다. 이는 고치는 과정이 학습자들에게 부담으로 작용했기 때문인 것으로 판단된다. 둘째, 학습자들의 문제 풀이 과정에 대한 회상 자료를 살펴본 결과, 학습자들이 해당 문법 요소에 대해 얼마나 파악하고 있는지를 가장 잘 보여주는 평가 방식은 밑줄이 없는 문장에서 틀린 부분을 찾아 바르게 고치는 방식이었다. 선다형 문항처럼 선택지를 활용할 수 없어 해당 문항에서 측정하고자 하는 문법 요소에 대해 모르고 답을 맞힐 확률이 적었다. 또한, 문장의 극히 일부분만을 읽고 답할 가능성 역시 고르기 방식에 비해서는 적게 나타났는데, 이는 문법적으로 옳은 문장이 되도록 고쳐 쓰는 과정을 요구하였기 때문인 것으로 해석된다. 고르기 방식에서는 무작위로 답하거나 선택지를 활용하여 답을 찾는 방법을 사용하여 목표 문법 사항에 대한 지식을 정확히 측정해 낸 것이라고 할 수 없었다. 밑줄 긋기 방식에서도 고르기의 경우처럼 무작위로 답한 학습자들은 있었으나, 정답을 지적하지는 못하여 고르기 방식에 비해서는 학습자들의 문법 능력이 실제에 가깝게 나타났다. 셋째, 설문 조사에 대한 학습자들의 응답을 분석해 보면 학습자들은 고르기 방식을 가장 쉽다고 느끼고 있었으며, 고치기 방식을 가장 어렵다고 느끼고 있었다. 이에 대해서 상대적으로 더 어렵거나 복잡하다고 느끼는 시험은 불안감을 고조시킨다는 것이 가장 큰 이유로 나타났다. 학습자들은 고치기 방식이 가장 효과적이라고 응답하였으나, 고르기 방식 역시 거의 비슷한 정도로 효과적이라는 응답하였다. 고치기 방식이 효과적인 이유로는 정확성에 대한 언급이 가장 많았고, 그 외에도 문장을 자세히 읽게 해 준다는 응답도 있었다. 또한, 학습자들은 고르기 방식과 고치기 방식에 대해 난이도가 낮거나 높다는 점을 각 평가방식이 효과적이라고 생각하는 이유로 제시하였다. 이는 선행연구에서 학습자들이 선다형 방식은 중․하급 수준에 적합하고 개방형 방식은 최상․상급 수준에 적합한 방식이라는 응답을 한 것으로 미루어 알 수 있다. 세 가지 평가 방식의 장단점에 대한 학습자들의 의견으로부터 알 수 있었던 점은 특정 평가 방식에 대한 특징을 학습자에 따라 장점으로 인식하기도 하고 단점으로 인식하기도 한다는 것이었다. 따라서 이러한 학습자의 인식을 현재의 평가 방식을 개선하고 보다 나은 평가 방식을 모색하기 위한 절대적인 기준으로 삼기는 어려워 보인다. 그러나 특정 평가 방식에 대한 학습자의 부담이나 불안 정도는 알 수 있었기 때문에 평가 문항 출제 시 출제자가 수험자의 심리를 고려하기 위한 참고 자료로는 사용할 수 있을 것으로 판단된다. 결론적으로 문법 능력 평가를 위한 가장 바람직한 평가 방식을 어느 한 가지로 특정하기는 어렵다. 하지만 본 연구에서 얻은 결과를 종합해 보면, 고르기 방식과 고치기 방식을 조합하여 밑줄 친 부분에서 틀린 것을 골라 바르게 고치는 방식으로 변증법적인 방법을 제시할 수 있을 것이다. 본 연구의 문제 풀이 과정에 대한 회상 자료 분석을 볼 때, 고르기 방식에서 나타났던 가장 큰 문제점은 정확성이 부족하다는 것이었고, 세 가지 평가 방식 중 정확성이 높을 것으로 생각되는 고치기 방식은 고르기 방식의 문제점을 보완해 줄 수 있을 것이다. 또한, 문항 분석 결과 및 학습자들이 설문에 응답한 내용을 보면 학습자들은 고치기 방식에 대해 큰 부담감을 느끼는 것으로 나타났는데, 이러한 부담감은 학습자들의 시험 수행을 방해하는 요소가 될 수도 있다. 따라서 학습자들이 선택지를 이용한 전략을 함께 활용할 수 있도록 해 줌으로써 부담감을 어느 정도 줄여주는 방법이 정확한 능력을 측정하는 데 일조할 것으로 보인다. 본 연구의 결과에 비추어 볼 때, 문법 능력 평가에 있어서 연구에서 제시된 문법 능력 평가 방식에 따라 나타난 평가 결과의 차이 및 학습자의 인식에 미치는 영향이 주는 시사점을 다음과 같이 제시할 수 있다. 첫째, 평가자 및 평가 개발자는 평가 방식에 따라 평가 결과가 차이나는 원인에 대해 보다 심도 있는 탐구를 할 필요가 있다. 연구 결과에 따르면, 학습자들의 문법 능력 평가 결과는 평가 방식에 따라 다르게 측정되었고, 연구자는 그 원인을 학습자들의 응답을 통해 파악해 보았다. 무엇보다도 평가 방식에 따라 학습자의 능력이 다르게 측정된다는 것은 학습자들의 능력을 정확하게 측정해 내지 못했다는 것을 의미한다. 그렇기 때문에 평가 방식에 따라 평가 결과에 차이가 생기는 원인에 대한 탐구는 평가 방식의 차이가 미치는 영향을 최소화함으로써 보다 객관적이고 신뢰할 수 있는 평가 문항의 개발을 위해 필요한 작업이 될 것이다. 둘째, 보다 다양한 평가 방식에 대하여 가지는 학습자들의 인식을 지속적으로 다양한 방법을 통해 조사해 볼 필요가 있다. 연구 결과에 따르면 학습자들의 난이도, 효과적인 평가 방식, 그리고 시험 방식별 장단점에 대한 인식은 실제 시험 결과와 관련이 있는 경우도 있고, 그렇지 않은 경우도 있었는데 본 연구에서 설문 조사를 통해 학습자들의 인식으로 다룬 정보 외에도 평가 방식에 따른 평가 준비 과정이나 평가 시기, 평가 영역, 평가 절차 등 다양한 정보들에 대해 여러 가지 방법으로 학습자들의 인식을 계속 조사해 나간다면, 평가자나 평가 개발자들의 입장에서는 찾아내기 어려운 문제점들을 발견하고 개선해 나갈 수 있는 단초로 삼을 수 있을 것이다. 셋째, 본 연구에서 다룬 세 가지 문법 능력 평가 방식인 고르기, 밑줄 긋기, 고치기 방식이 미치는 영향을 보다 정확하게 파악하기 위해서는 실제 연구 도구로 사용된 문법 능력 평가에서 측정하고자 하는 능력에 대해 사전 조사를 하여 연구 대상을 선별할 필요가 있을 것이다. 선별된 연구 대상들을 통해서 평가 방식에 따른 영향에 대한 보다 유의미한 결과를 얻을 수 있을 것으로 생각한다. 나아가 시험 방식 양상이 미치는 영향을 줄여나갈 수 있는 또 다른 방법을 모색해 볼 수도 있을 것이다.;The purpose of this study is to examine the effects of grammatical ability test methods on learners' test performance and their perceptions. The test methods play an important role in developing tests that could measure learners' language competence in a more accurate manner. The analyzed data were gathered from grammatical ability test scores, recordings from the retrospective interviews of 9 participants, and student responses to questionnaire. The participants of this experiment were 168 high school students, and they were divided into 3 homogeneous groups. The test methods were classified by the types of responses: Choosing one of underlined words or phrases that is identified as an error (Choosing); Underlining (or marking) a part that is identified as an error (Underlining), and; Identifying and correcting an error (Correcting). The questionnaire consisted of 5 questions about the level of difficulty, effective test methods, and positive and negative aspects of the methods offered with explanations with respect to different test methods. The results of this experiment and their implications can be summarized as follows: First, in general, there were significant differences in the results among the three test method. The average score of Choosing was the highest, while that of Correcting was the lowest. This proves that the test methods had an effect on the learners' grammatical ability test results. In order to explore the reasons why the differences appeared, the item that showed the largest gap among the test methods was selected, and each learner's response was compared. As a result, the test methods had an effect on whether learners were able to answer the test question, and they tended to consider verb-related parts of the sentence as errors when they were tested by Underlining or Correcting. Also, learners seemed to have difficulties in the process of correcting errors, because considerable number of learners did not correct the errors even if they underlined or marked the errors. Second, based on the analysis of retrospective recordings, Correcting seemed the most accurate method in measuring learners' grammatical ability. There were no cases which show that they answered randomly, they were not able to use strategies related to multiple-choice questions. Also, there were fewer cases where learners provided answers based on extremely small portion of given sentences since they had to correct errors. In contrast, the results showed that learners who answered randomly picked the right answers, and they could use the strategies related to multiple-choices questions. This suggests that target structures were not properly tested in Choosing. There were a couple of students who answered randomly in Underlining, but they could not provide the right answers, indicating that Underlining was more likely to show learners' actual abilities than compared to Choosing. Third, learners seemed to have more difficulties with Correcting which did not provide any cues such as underlines and required more tasks. These aspects of Correcting made learners feel nervous when taking the test. This means that the test methods could have an effect on the attitude of learners towards tests. The students answered that the most effective test method was Correcting. However, Choosing was also regarded as almost effective as Correcting. The learners presented reasons why they responded as above: they thought that the effective test method should be able to measure their grammatical knowledge precisely. There were some other reasons: Correcting made them read the sentences carefully; Choosing could make them approach the test question more easily; and Correcting was more complicated and difficult. This could be related to the previous findings that multiple-choice questions were more appropriate for learners at low proficiency level while open-ended questions for learners at high proficiency level. Based on learners' opinions on the merits or demerits of each test method, I found out that their opinions could not be considered as the absolute standard for improving existing test methods or seeking better ones. Nevertheless, the information such as the level of their anxiety could be worth being referred to. In conclusion, it is hard to select the most desirable test method among the three methods. However, combining Choosing and Correcting could be suggested. This kind of test method could reduce the level of anxiety of test-takers and measure their ability more accurately as well. On the basis of the results of the study, some pedagogical implications and suggestions for follow-up research could be derived. First, examiners or test developers need to conduct an in-depth study on reasons why test results differ according to test methods. In this study, learners' grammatical ability test scores differed according to test methods. This means that learners' ability was measured inaccurately. Therefore, examiners, teachers, test developers, and other test users should to try to minimize the effects from test methods in order to develop even more objective and reliable test items. Second, investigating learner's perceptions on different test methods is called for. According to this study, learners can have a variety of thoughts on the difficulty level, effective test methods, and merits and demerits of such methods. Getting feedbacks from learners about these could help teachers to select more appropriate test methods which match with the purposes of tests or individual learners. In addition to research data dealt with in this study, more researches could be carried out using varied ways, which could help us modify current tests and find out what examiners or test developer have not realized. Last but not least, in order to achieve more significant results, subjects for the research should be selected by more detailed pre-test that includes what is actually tested in the procedure of an experiment. By doing so, more meaningful research results could be obtained. Moreover, finding other ways to reduce impacts from test methods could be made possible.