진단평가 실시 유형이 고등학교 영어 교수 활동과 학업 성취도 및 학습자 인식에 미치는 영향

Abstract

평가와 교육은 매우 밀접한 관련을 맺고 있다. 따라서 교사가 제대로 된 평가를 계획하고 실시한다면 교사와 학생 모두 바람직한 교육적 성과를 기대할 수 있다. 예를 들어 교사는 평가를 통해 학습자에 대한 정보를 바탕으로 수업의 효율성을 높일 수 있다. 학습자 또한 평가를 통해 본인의 강점과 약점을 파악하여 앞으로의 학습 방향을 효율적으로 모색할 수 있다. 많은 연구자들은 교육과 평가의 유기적인 상호작용을 꾀하고, 교사와 학습자에게 유용한 정보를 제공하는 중요한 도구로서 진단평가의 교육적 가치를 인정하고 있다. 그러나 기존의 진단평가는 채점 및 분석에 대한 교사의 부담이 크고, 학습자의 미래에 큰 영향을 미치지 않는 저부담시험이라는 등의 이유로 비실용적인 평가로 간주되어왔다. 이에 본 연구에서는 진단평가 실시 유형이 교사의 교수활동과 학습자의 학업 성취도 및 인식에 미치는 영향과 컴퓨터기반 진단평가가 기존에 존재해왔던 지면기반 진단평가의 한계를 감소시키고 평가의 효율성을 제고할 수 있는지를 알아보고자 한다. 본 연구를 위해 83명의 고등학교 2학년 학생들을 대상으로 7주 동안 실험이 진행되었다. 진단평가를 보지 않는 반을 통제집단, 지면기반 진단평가를 보는 반을 실험집단 A, 컴퓨터기반 진단평가를 보는 반을 실험집단 B로 선정하여 총 18차시의 수업을 진행한 후, 각 집단 별로 진단평가 실시 유형이 교수활동에 어떠한 영향을 미치는지, 진단평가 실시 유형이 학습자의 학업 성취도에 어떠한 영향을 미치는지, 진단평가 실시 유형이 영어 수업과 진단평가에 대한 학습자의 태도 및 인식에 어떠한 영향을 미치는지를 4차시 분량의 진단평가지, 사후 평가지, 녹음자료, 설문지, 교사 저널 등에서 얻은 내용을 바탕으로 비교 분석하였다. 이와 같은 연구 방법을 바탕으로 연구 질문에 대하여 얻은 연구 결과를 요약하면 다음과 같다. 첫째, 진단평가 실시 유형이 교수활동에 미치는 영향을 알아보기 위해 먼저 진단평가 실시 유형이 교사의 설명시간에 미치는 영향을 알아본 결과, 집단 내 진단평가의 정답률과 교사의 개별 항목에 대한 설명시간은 부적 상관관계를 이루고 있었다. 이러한 현상은 교사가 진단평가의 결과를 수업에 반영하여 보다 효율적인 교수활동을 꾀했음을 보여준다. 그러나 정답률이 비교적 높았음에도 불구하고 오랜 설명시간이 할애된 경우가 있었는데, 이것은 교사가 오로지 정답률에만 근거하여 설명시간을 조정한 것이 아니라 학생이 저지른 오류를 정정하는데도 시간을 할애했기 때문인 것으로 나타났다. 또한 정답률에 따른 세 집단 간 설명시간을 비교했을 때, 정답률이 낮은 항목에 있어서는 통제집단보다 두 실험집단에서 교사가 훨씬 더 긴 설명시간을 할애한 것으로 나타났다. 반면, 정답률이 높은 항목에 있어서는 세 집단 간 교사의 설명시간은 비교적 동일한 것으로 나타났다. 이러한 결과는 교사가 진단평가를 실시하지 않았을 때, 많은 학생들이 교사의 설명이 불충분하거나 부족하다고 느낄 가능성이 높음을 암시한다. 다음으로는 진단평가 실시 유형이 교사의 교수전략에 미치는 영향을 알아보았다. 그 결과 진단평가의 실시는 교수전략의 질적 향상에도 도움을 주었다. 교사는 정답률이 낮은 항목에 대하여 두 실험집단에서 통제집단보다 더 많은 강조를 하였으며, 더 많은 교수 자료를 제공하였다. 또한 두 실험집단에서 교사는 진단평가의 결과를 언급하여 학습자의 학습동기를 향상시키고, 학습자가 저지른 오류나 오답을 정정해주었다. 마지막으로 진단평가 실시 유형이 교사의 채점 및 분석 활동에 미치는 영향을 알아보았다. 교사 저널을 분석한 결과 컴퓨터기반 진단평가를 실시했을 때 채점 및 분석에 소요되는 시간은 지면기반 진단평가를 실시했을 때보다 평균 30분정도 짧은 것으로 나타나 교사에게 있어 컴퓨터기반 평가의 실용성이 확인되었다. 둘째, 진단평가 실시 유형이 학습자의 학업 성취도에 미치는 영향을 연구한 결과, 두 실험집단의 성취도 점수가 통제집단의 성취도 점수보다 훨씬 더 높은 것으로 나타났으며 두 실험집단 간에는 유의미한 차이가 없는 것으로 나타났다. 이러한 결과는 진단평가의 실시 유형과는 상관없이 진단평가 실시 자체가 학습자의 학업 성취도 향상에 기여한 것으로 해석된다. 셋째, 진단평가 실시 유형이 영어 수업과 진단평가에 대한 학습자의 태도 및 인식에 미치는 영향을 살펴보면, 대체적으로 진단평가의 실시가 학습자에게 긍정적인 영향을 미쳤음을 확인할 수 있었다. 예를 들어 두 실험집단은 통제집단보다 수업에 대해 더 만족스러워 했으며, 특히 많은 학생들이 진단평가가 학습에 도움이 되었다고 응답했다. 진단평가 실시에 대한 긍정적 의견으로는 나의 현재 실력과 부족한 부분을 파악할 수 있다, 진단평가를 본 후 수업시간에 이를 다시 복습하게 되어서 좋다, 수업을 더 열심히 듣게 되고 학습동기가 생긴다 등의 의견이 있었다. 반면, 진단평가 실시에 대한 부정적 의견으로는 모르는 내용이 많아서 자신감이 떨어지고 부담이 된다는 응답이 가장 많았다. 마지막으로 컴퓨터기반 진단평가에 대한 실험집단 B의 인식은 대체로 긍정적인 것으로 나타났다. 또한 컴퓨터 기반 진단평가 실시에 대한 의견으로는 편리하다, 채점 결과를 바로 확인 할 수 있어 좋다는 긍정적 의견과 컴퓨터실 이동이 번거롭다, 컴퓨터로 딴 짓을 하게 된다 등의 부정적 의견이 있었다. 지금까지 논의한 연구 결과를 바탕으로 우리나라 영어 교육 현장에 주는 시사점을 요약하면 다음과 같다. 첫째, 두 실험집단에서의 학업 성취도 점수 및 수업에 대한 만족감이 통제집단보다 훨씬 높은 것으로 봤을 때 앞으로 실제 교육현장에서 진단평가가 적극적으로 활용될 필요가 있다. 둘째, 진단평가 실시에 따른 교수활동의 질적 향상은 컴퓨터 활용으로 인해 훨씬 더 극대화될 가능성이 있다. 교사 저널에 따르면 컴퓨터기반 평가는 지면기반 진단평가에 비해 채점 및 분석 활동에 소요되는 시간을 절반가량 줄여주며, 교사 스스로도 컴퓨터기반 평가의 효율성과 편리함에 만족하는 것으로 나타났기 때문이다. 셋째, 교사는 정답률이 낮은 항목에 대해, 즉 학생들이 어려워하거나 잘 모르는 항목에 대해 진단평가의 결과를 활용하면 특히 좋은 성과를 거둘 수 있으리라 기대된다. 넷째, 컴퓨터기반 진단평가를 실시 할 때 컴퓨터실 활용에 따른 문제점을 잘 보완한다면 컴퓨터기반 진단평가는 학습자에게 훨씬 더 긍정적인 영향을 미칠 수 있으리라 기대된다. 다섯째, 교사는 혼자 진단평가를 제작하고 개발하기보다는 다른 교사와 협력하는 하는 것이 좋다. 또한 지면기반 진단평가를 실시하되 OMR 답안지를 활용하는 방안을 고려할 수도 있다. 앞으로 듣기, 말하기, 읽기, 쓰기 같은 전반적인 언어 능력에 대해서도 지면기반 및 컴퓨터기반 진단평가를 실시한다면 큰 교육적 효과를 거둘 수 있으리라 기대한다.;This study aims to investigate the effects of implementation and types of diagnostic tests on teacher instruction and the achievement and perceptions of English learners at Korean high school. It also aims to investigate whether a computer-based diagnostic test can relieve the limitation of paper-based diagnostic tests and increase its practicality. The subjects of this study were 83 high school students. The students were divided into three-groups: a control group, who did not take the test, an experimental group, A, who took a paper-based diagnostic test and an experimental group, B, who took a computer-based diagnostic test. Two experimental groups took a diagnostic test four times with paper and pencil and with a computer, respectably. Each group was given 18 instructions for 7 weeks with the same learning objectives while the teacher incorporated the results of the test into her instruction for two experimental groups. To examine the effects of the implementation and types of diagnostic tests, teacher instruction, the achievement and attitudes of learners were examined and analyzed with the following instruments: four diagnostic tests, a post test, a post-experiment questionnaire, teacher's journal, and MP3 files of the lessons. The findings of the study are as follows. As for the effects of types of diagnostic tests on teacher instruction, first of all, there was a negative correlation between a percentage of correct answers and a length of the time teacher spent on each item. It indicates that learners were taught rather efficiently as the teacher reflected the results of the diagnostic tests in her instruction. Even though the percentage of correct answers was quite high, however, there were several cases where students were given a long explanation. It shows that the teacher did not adjust the time allotment based solely on the percentage of correct answers, but spent some time correcting students' wrong answers. In addition, when comparing the length of explanation of each of three groups with one another, it was shown that the teacher spent much more time in two experimental groups, explaining about items which had low percentage of correct answers, than a control group. On the other hand, as for the items which had a high percentage of correct answers, the length of the teacher instruction of each of three groups was similar to one another. These results show that when a teacher does not conduct a diagnostic test, students would probably feel unsatisfied with the teacher’s explanation about the item that they consider difficult or don't know well. Besides, it was identified that the implementation of diagnostic tests helped a quality of teaching strategies to improve. For example, the teacher made more emphasis on the item which had a low percentage of correct answers and gave more supplementary materials in two experimental groups than a control group. Moreover, as the teacher mentioned about the results of the diagnostic tests to the experimental groups and made a correction on their errors or mistakes, she raised their awareness of the item which they felt difficult. In addition, as a result of analyzing the teacher's journal, the time spent in scoring and analyzing the results of the diagnostic tests was much less in computer-based group than paper-based group. The teacher also mentioned many advantages of using the computer-based tests. These prove that computer-based diagnostic tests are very efficient and practical from the perspective of a teacher, compared to paper-based tests. Secondly, it was proved that the implementation and both types of the diagnostic tests had positive effects on the students’ achievement. The results of the post-test revealed that while there was no difference between two experimental groups, these experimental groups achieved much higher scores than the control group. These findings indicate that regardless of the types of the diagnostic tests, the implementation of the diagnostic tests itself significantly contributed to the improvement of the students’ achievement. Third, as for the effects of the implementation and types of the diagnostic tests on the attitudes and perceptions of the students, it was revealed that two experimental groups felt satisfied with the teacher instruction more than the control group. This means that the implementation of the diagnostic tests helped the learners to feel more positive about the teacher instruction. In addition, many of the students replied that the diagnostic tests helped them study for following reasons. Firstly, it enabled them to recognize the current level of their learning ability and their weaknesses. Secondly, it gave them a chance to review the items during the class once more. Third, it led them to have a learning motivation. Fourth, it allowed a teacher to notice their weaknesses or a certain item which they considered confusing. On the other hand, some students mentioned the negative side of the diagnostic tests such as it made them less confident and put pressure on them. Finally, as for the implementation of the computer-based tests, students responded positively. Specifically, they replied that it was very comfortable to take a test using a computer and it was good to receive the feedback immediately. On the other hand, there were several negative responses such as it was inconvenient to move to the computer lab every time they had to take a test and it was possible to do something irrelevant to the class with computers. Based on the these findings of the study, pedagogical implications and suggestions for further study are as follows. First, it is necessary for teachers to implement a diagnostic test on the classroom because it was proved that it enhanced both students’ achievement and their satisfaction towards the teacher instruction. Secondly, it is expected that the proper use of the computer in diagnostic tests would maximize the quality of teaching activities since it was revealed that computer-based diagnostic tests considerably reduced the burdens of the teachers to score and analyze the results of the test. Thirdly, it is also expected that the implementation of the diagnostic tests is particularly helpful for a teacher’s explanation about the items students feel difficult. Fourth, if some problems with using of the computer lab are solved, the computer-based diagnostic tests will bring about much better educational attainments. Fifth, teachers need to negotiate with other teachers when designing and developing the diagnostic tests. If it is difficult to implement computer-based tests, it could be a good idea to make use of OMR answer sheet while using paper-based tests. This study is expected to shed further light on the effects of diagnostic tests on the other various areas from reading, listening, writing, to speaking.