중학교 시 창작 수행평가에서 학습자 중심 루브릭 개발 연구

Abstract

본 연구는 중학교 시 창작 수행평가에서 학습자가 평가도구로써 루브릭을 개발하는 과정을 통해 평가 기준을 이해하고, 그러한 개발 과정 경험이 학습동기와 학업 성취도에 어떤 영향을 미치는지 확인하고자 했다. 또 루브릭에 따른 학생 채점 결과를 전문가(교사)의 채점 결과와 비교했을 때 어떠한 차이나 유사점을 보이는지 살펴보고, 루브릭을 평가도구로 활용하였을 때 얻을 수 있는 장점을 살피는 것을 목적으로 하였다. 이 연구에서는 경기도의 00중학교에서 시 창작과 관련된 내용으로 2012. 3. 2. ~ 6. 5까지 진행하였으며, 전체 2학급 중에서 1개 학급을 통제 집단으로, 다른 1개 학급을 실험 집단으로 구성하였다. 이 연구는 루브릭의 신뢰성을 검증하기 위하여 통제 집단은 실험 집단은 교사-학습자 간 협의를 통해 개발하였다. 통제 집단에게는 전문가 집단과의 성적차 및 루브릭의 객관성을 확인하기 위해서 시와 관련한 사전 지식을 확인하는 평가를 거친 후에, 실험 집단에서 교사와 학습자의 협의를 통해 개발한 루브릭을 제시하여 과제 수행 평가를 실시하였다. 자료의 통계 처리는 Window 용 SPSS 18.0 한글 버전 프로그램과 SPSS(Statistical Package for Social Science) Ver 19.0, SAS Ver 9.1 통계패키지 프로그램을 사용하여 전산통계 처리하였으며, Power 분석, 기술통계, t-test, 회귀분석을 실시하였다. 유의수준은 p<0.05, p<0.01, p<0.001 에서 검증을 사용하였다. 이 연구를 통해 얻은 결론은 다음과 같다. 첫째, 과제 수행 평가에서 루브릭 제시 방식에 따라 학습동기에 유의미한 영향을 주었다. 특히 학습동기의 하위 변인 중에 자신감과 만족감에 유의미한 영향을 주었다. 둘째, 루브릭을 통하여 ‘루브릭을 활용한 전문가(교사) 집단의 점수와 루브릭을 활용한 학습자 간의 점수차가 적을 것’이라는 가설을 입증하기 위해 ICC를 실시하여 3명의 교사간의 채점점수의 차이가 없음을 살펴보고, t-test를 시행하여 주관적 채점 점수와 루브릭 방식 채점 점수의 차이가 없음을 증명하였다. 셋째, ‘교사의 주관적 채점과 학생의 루브릭 방식 채점의 점수차는 없을 것이다’라는 가설을 세우고 교사와 실험 집단 간 t-test를 시행하여 교사의 점수와 실험 집단 학생의 점수의 차이가 없음을 증명하였다. 넷째, ‘교사의 주관적 채점과 루브릭을 개발하지 않은 학생의 주관적 채점의 점수차는 있을 것이다. 반면 같은 학생들일지라도 루브릭 방식으로 채점하게 되면 점수차는 없을 것이다’라는 가설에 대해 교사와 통제 집단 간 anova와 사후검정 duncan을 시행하여 교사의 점수와 통제 집단 학생의 점수의 차이가 있고(주관적 채점), 없음(루브릭 방식)을 증명하였다. 다섯째, ‘실험 집단과 통제 집단 간의 채점 결과가 실험 집단에서 더 바람직한 결과가 나올 것이다’라는 가설에 대해 실험 집단과 통제 집단(루브릭) 간 t-test를 시행하여 점수의 차이가 있음을 증명하였다. 이 실험을 위해 국가수준 학업성취도 평가 시 관련 문항의 성적을 근거로 학생 모둠을 선정하였고, 모둠 선정 결과 통제 집단의 성적이 실험 집단의 성적에 비해 다소 높았다. 그러나 사전 학습동기와 사후 학습동기를 비교하였을 때, 루브릭 개발에 참여한 실험 집단의 시 창작 성적의 평균이 통제 집단보다 높아졌기 때문에 학습자에게 유의미한 수행과제였음을 확인하였다. 또한 시 창작과 관련하여 사전 사후 학습동기와 수행과정에 대한 학업성취도 결과치가 높았으므로 학습자에게 유의미한 수행과제였음을 알 수 있다. 학습자가 루브릭을 개발하는 과정에서 평소 국어시간에 적극적이지 않았던 학습자들도 시의 표현 방법이나 시의 용어, 개념 등에 대해서 교사에게 적극적으로 질의하는 경우를 볼 수 있었으며, 조별로 자신의 루브릭의 효용성에 대해서 입증하려는 모둠간의 긍정적 자극(경쟁)이 있었다. 특히 발표에 대해 두려움을 느끼거나 친구들과 협의하는 과정 참여에 어려움을 느끼던 학습자들이 루브릭 개발을 위한 모둠에서는 궁금한 내용에 대해 수업 이후로도 교사에게 질문을 하거나, 발표자의 의견을 보조하여 설명하는 모습을 통해 소극적인 태도를 지닌 학습자들의 적극성을 이끌어내고 참여도를 높여 줄 수 있음을 확인했다. 개발한 루브릭 내용을 토대로 이를 학습자들에게 적용하였을 때, 통제 집단이나 실험 집단 모두 정확한 서술형 준거를 통해 채점하였기 때문에 자신이 틀린 영역을 정확하게 확인할 수 있었고, 준거에 제시된 점수를 부여하였을 때 채점자가 다르더라도 채점자간 점수차가 크지 않다는 것을 학습자들 스스로가 확인하였다. 특히 루브릭으로 모둠간 채점을 할 때 수행 과제에 대해서 자신의 모둠이 점수를 받지 못한 부분에 대해서 어떻게 개선해야 하는지를 실험 집단(루브릭 적용)과 통제 집단(루브릭 적용) 의 여러 모둠이 언급하고 스스로 검토하는 모습을 보였다. 다만, 수업 설계 및 학습자와의 협의 과정에서 교사와 학생간의 의사소통이 원활하게 이루어져야 한다는 것과, 루브릭 중심으로 채점을 하다보니 창작시의 문학적 요소보다는 지식적 측면의 평가에 치중할 우려가 있다는 점도 확인할 수 있었다. 또한 교과 시간 중에서 시 창작과 관련된 수업시간이 확보되어야 한다는 것은 연구를 진행하는 과정에서의 어려움이었다. 수행 과제를 만들 때 과제에 대한 이해를 돕기 위해 사용할 수 있고, 과제의 문제해결을 위한 조건으로 사용하거나, 자기 주도적 학습의 한 방법으로도 활용이 가능하다. 교사가 루브릭을 작성할 경우에는 신뢰성이나 객관성을 반영한 평가를 위한 지침으로 활용할 수 있다.;This study was aimed to allow learners to be aware of the standards required in assessment and how to apply them to their assignments through the process of developing a rubric as an assessment tool in the performance assessment of poems in the education of middle school Korean language. In addition, it was aimed to confirm what influences such solution processes had on their learning motivation and academic performance. In addition, the purpose of this study was to look closely into what differences or similarities there were when comparing the scoring results of students by the rubric to those of experts (teachers) and to find out the advantages obtained and the improvements when using the rubric as an evaluation tool. The study was pertinent to the creation of poems at 00 Middle School in Gyeonggi-do and it was conducted from March 2, 2012 to June 5, 2012. Among the two classes, one class served as a control group and the other as an experimental. To verify the validity of the rubric, the study created a control group and an experimental group through the consultation between teachers and learners. To the control group, the study evaluated a priori knowledge to check the differences with the expert group and the objectivity of the rubric and conducted assignment performance assessment by unilaterally suggesting the developed rubric through the consultation between teachers and learners in the experimental group. As for the statistical treatment of data, Window SPSS 18.0 Korean version program, SPSS (Statistical Package for Social Science) Ver 19.0 and SAS Ver 9.1 statistical package program were used for analysis, and power analysis, descriptive statistics, t-tests and regression analysis were conducted. The significance levels used in the analyses were p<0.05, p<0.01, and p<0.001. The results obtained from this study were as below. First, it was found that the methods of suggesting the rubric in the assignment performance assessment had significant influence on students' motivation. In particular, it had significant influences on a sense of confidence and satisfaction among the sub-variables of learning motivation. Second, in order to prove the hypothesis that 'there would be small differences in the scores between the expert (teacher) group and the learner group when using the rubric,' the study conducted intra-class correlation coefficients (ICC), showing that there were no differences in the grading scores between three teachers. It also computed the t-tests, verifying that no differences were found between the rubric-based grading scores and the subjective ones. Third, the study set up the hypothesis that ‘there would be no differences between teachers' subjective grading scores and students' rubric-based scores’ and conducted t-tests between the teacher and the experimental group. This proved that there were no differences between teachers' scores and those of students belonging to the experiment group. Fourth, with regard to the hypothesis that ‘there would be some differences between teachers' and students' subjective grading scores; on the other hand, there would be no differences in scores if the rubric method was used even for the same students,’ the study conducted an ANOVA between the teacher and the control group and post-hoc Duncan tests, proving that there were some differences in subjective grading scores between the teacher and the student group from the control group and there were no differences in the rubric method between them. Fifth, regarding the hypothesis that ‘there would be more desirable grading results in the experimental group,’ the study conducted t-tests for the rubric between the experimental and the control group, confirming that there were differences in their scores. In the academic achievement assessment suggested to select the students in groups before developing the rubric at first, the control group's performance on the poems had been higher than the experimental group's. However, when comparing the pre-learning motivation to the post-learning in the performance related to the poems of the experimental group participating in the development of the rubric, the average poem creation performance was higher in the experimental group than in the control, confirming that this was the performance assignment significant to the learners. In addition, the values of academic achievement for the pre-learning and post-learning motivation and performance process related to the creation of poems were high, indicating that this was the performance assignment significant to the learners. It was found that in the process of developing the rubric, there were some cases that the learners who had not been active in Korean language classes in the past actively asked their teacher questions regarding the expression methods, terminologies and concepts of the poems and there were some positive stimuli (competition) among the groups in terms of proving the usefulness of their rubric by each group. Specifically, it was confirmed that those who had happened to be afraid of making presentations or those who had felt difficulties in participating in the discussion of the issues with their classmates started to ask the teacher questions after class regarding what they were curious about in their groups for the development of the rubric, or they started to help supplement the opinions of presenters and add some explanations, which allowed the learners with passive attitudes to be actively involved in the learning processes. When applying the content developed based on the rubric to the learners, both the control and experimental groups were graded through accurate descriptive standards; for this reason, they could check exactly in what areas they were incorrect and confirm by themselves that the differences in scores between the graders were not noticeable when given the scores based on the standards. In particular, it was demonstrated that several groups from the experimental (with the application of the rubric) and control groups (with the application of the rubric) were reviewing by themselves how they could improve the parts that they had not been good at regarding the performance assignment when between-group grading was conducted by using the rubric. However, it was suggested that the communication between teachers and students should be made smoothly in class design and in the discussion process with the learners. Meanwhile, it was thought to be disadvantageous that the rubric-based grading could focus on knowledge-based assessment rather than literary elements during the creation process. Furthermore, ensuring class time related to the creation of poems during the class hours was one of the difficulties in the process of doing research. The rubric may be used to help learners have a better understanding of the assignment when creating it. By allowing them to draw it up, they could employ it as a condition for solving the assigned problem or utilize it also as a way of self-directed learning. In case that the teacher draws up the rubric, he or she should create it as a guideline for the assessment reflecting reliability or objectivity.