예비수학교사를 대상으로 한 평가문항 제작 관련 지식 분석

Abstract

By doing the assessment, teachers, students, and parents can get information that they need at the same time. The assessment helps teachers not only decide that what level the class will be in the future but know that the current class is operated well. With the assessment process including testing, grading and giving feedback to students etc., students are able to know their current level and then to gain achievement and motivation. However, some students can be frustrated about their poor grade. For the parents, they can know which chapter their children need to develop as well as the current level of learning of them. Thus, it is very important that teachers make up accurate and correct test items. Teachers should know process and conditions of making test items so that they form test items correctly and objectively. For this, they need to fully understand the precautions of them and also need to much experience of setting math questions. In addition, the 2007 revised curriculum, the 2009 revised curriculum and the 2015 revised curriculum mention students' understanding and correct use of mathematical expressions in relation to the enhancement of communication skills. In order for students to be able to do this smoothly, knowledge transfer teachers must be aware of the changing curriculum and assessment system and use the correct symbols and terms in the assessment. The purpose of this study is to examine the perceptions of pre-service mathematics teachers, how they know about the changing assessment system, and how to apply the principles of production in relation to item production. In the future, I will talk about the importance of the development of the question in the pre-service teacher education and the importance of the practice of the item development. The subjects of this paper are as follows: 1. How pre-service mathematics teachers apprehend themselves well about setting math questions and overall assessment procedure? 2. How pre-service mathematics teachers apprehend about Mathematical Knowledge for Teaching(MKT) about assessment? 2-1. Do they have corrected knowledge about assessment procedures and systems? 2-2. Can they apply well their knowledge that is the principle of making test items to questionnaires practically? 3. Are there differences between pre-service mathematics teachers’ recognition of competence and their practical application? In order to solve the research questions, 156 questionnaires were obtained from the pre-service mathematics teachers. The questionnaire was revised and supplemented based on the two times of preliminary examinations and three times of review by math education experts. The contents of the questionnaire were based on the analysis framework that is combined the principle of production of MKT with the principle of constructing math questions of Seok-hyun Lee(2010). The other items related to the assessment system were the content of Tae-ja Seong(2013) achievement standards-based assessment manual. The problems presented in the items have been modified or referenced in some of the National Association of Academic Achievement Tests and textbooks. The responses were coded and classified. The reliability for the questionnaire was measured by the Cronbach alpha coefficient and Cohen’s Kappa coefficient. The resulting value for each question is represented by frequency and percentage of the result. The detailed analyzed data tables are attached as an appendix at the end of this paper. The results of this study are put in the order of subjects as follows: 1. Most of the respondents answered that they knew about the assessment system and the whole procedure and showed positive response to the necessity of the practice. 2. 2-1 of research question 2 showed a low correct answer rate compared with the knowledge related to the assessment system and editorial guidelines, which was generally known as the result of research question 1. They showed a somewhat lower percentage of correct answers in the achievement standards-based assessment, a dual-purpose classification table, and the mathematics assessment procedure. 2-2 of research question 2, we examined whether the errors can be found in the actual items. The respondents answered that they were not satisfied with the items with the errors with more than half of the responses. 3. At research question 3, the items related to research question 1 and research question 2 were cross-analyzed like ① Comparison practical application with self-perception of pre-service mathematics teachers about principle of setting math questions(question number 2 and 17, 18, 21 to 26), ② Comparison practical application with self-perception of pre-service mathematics teachers about mathematical assessment procedure (question number 5 and 27, 28), ③ Comparison practical application with self-perception of pre-service mathematics teachers about a dual-purpose classification table (question number 6 and 15, 16), ④ Comparison practical application with self-perception of pre-service mathematics teachers about Achievement standards-based assessment (question number 8 and 12 to 14). As a result, although some people answer positive in question about perceptions, but in question about actual. Of course, the opposite data exist. Based on the results of the above research, it can be used to construct teacher training program for pre-service mathematics teachers related to setting math questions. In addition, it is possible to recognize the need for opportunities to apply the knowledge related to the development of the assessment items, which is known to the present, through the result that the self-recognition does not coincide with the reality, and this suggests that this opportunity should be provided. However, this study has a limit in that it is not a whole pre-service mathematics teacher but a part of it is a target and that more specific responses are not obtained due to the adjustment of the number of items considering the questionnaire response rate. For the convenience of the response, the questionnaire was constructed in such a way that errors were found in the given question. Therefore, I propose follow-up study the pre-service mathematics teacher proposes the practice of setting math questions directly and the pre-post-test study through the feedback between the peers. As another follow-up study, I propose how made math questions by pre-service mathematics teachers can be exactly understood by the students: do the errors of made math questions by pre-service mathematics teachers prevent students from answering correctly about them? I propose the other follow-up study that compare the difference perspective between pre-service mathematics teachers made math questions and students be able to solve the test items about how perfectly these made math questions were formed as well. It would be better using the way in-depth interview and qualitative research methods.;평가를 통해 교사, 학생, 학부모는 다양한 정보를 얻는다. 교사의 경우, 앞으로 수업을 어느 수준에 맞춰 진행할지를 결정하거나 현재 수업 진행이 잘 되고 있는지를 파악한다. 동일한 평가를 통해 학생은 자신의 현재 수준을 알 수 있을 뿐 아니라, 성취감을 얻기도 하고, 동기부여를 얻기도 하며, 학생에 따라 좌절을 겪기도 한다. 학부모는 자녀의 현재 학습정도와 부족한 점들을 알 수 있고, 학교에서 자녀가 수업을 잘 받고 있는지를 파악할 수 있다. 평가가 이러한 정보들을 정확하게 제공하기 위해서는 결과에 대한 해석도 중요하지만 무엇보다 평가도구가 올바르고 정확하게 제작되어야 한다. 교사의 내용 영역에 대한 오개념과 오류가 포함된 문항은 올바른 평가가 이루어지는데 걸림돌이 될 수 있으며 평가를 통한 올바른 피드백 역시 이루어 질 수 없다(양성현, 이환철, 2014). 올바르고 정확한 평가도구를 제작하기 위해서는 이론적인 부분들을 숙지하는 것과 더불어 실질적인 많은 경험이 필요하다. 현재 학교 현장에서 이뤄지는 평가는 대부분 교사에 의해서 이뤄진다. 이와 관련하여 끊임없이 평가의 공정성과 더불어 평가제도의 변화에 대해 논의되고 있다. 특히, 교사는 현행 교육과정에 대한 충분한 이해를 토대로 평가할 수 있어야 한다(이민희, 임해미, 2015). 2007개정 교육과정과 2009개정 교육과정, 곧 시행되는 2015개정 교육과정에서는 의사소통 능력 함양과 관련하여 학생들에게 수학적 표현을 이해하고 정확하게 사용하는 것을 언급한다. 학생들이 이를 원활히 할 수 있게 하려면 지식을 전달해주는 교사부터 변화하는 교육과정과 평가제도에 대해 정확히 인지하고, 올바른 표기와 용어를 사용한 평가문항으로 학생들과 의사소통 할 수 있어야 한다. 이러한 것은 이론적인 지식으로 충족되기보다 끊임없는 경험을 통해 체득 되는 것이다. 그럼에도 불구하고, 현재 예비교사의 양성교육은 실제보다 이론 중심적이며, 평가에 대해 중점적으로 다루고 있지 않다. 또한, 교직 과목 내에 교육평가 과목이 있으나 필수과목이 아닌 선택과목으로, 듣지 않고도 졸업할 수 있다(김신영, 2007; 박정, 2013; 윤상이, 2015). 김선희(2006)의 연구에서는 교직 과목의 교육평가 과목뿐만 아니라 수학 학습평가와 관련된 과목에 대해서도 조사하였는데, 이 역시 필수가 아닌 선택으로 둔 학교가 많았다. 이는 예비교사들이 교육평가라는 과목을 교직과목이나 교과교육에서 접해보지 못하고 현장에 설 수 있다는 점을 의미한다. 이와 더불어 예비교사, 특히 수학과의 예비교사를 대상으로 한 현황 분석이 제대로 이루어지지 않고 있다. 교사 양성 교육 방식에서 교육평가의 활성화, 특히 실습의 활성화를 요구하는 선행연구는 있으나 이러한 제안들이 현재 대학교육 안에서 제대로 시행되고 있는지는 알 수 없다. 이에 본 연구에서는 예비수학교사들이 갖고 있는 평가에 대한 역량인식과 앞으로 변화하는 평가제도에 대해 어느 정도 알고 있는지, 실제로 제작원리를 문항 제작과 관련하여 잘 적용할 수 있는지에 대해 알아보고자 한다. 이를 통해, 앞으로 예비교사 양성교육에서 문항개발의 중요성과 문항개발 실습의 중요성을 말하고자 한다. 본 연구의 연구문제는 다음과 같다. 1. 예비수학교사가 갖고 있는 평가문항개발 및 평가 전반에 대한 역량 인식은 어떠한가? 2. 예비수학교사가 갖고 있는 평가에 대한 수학교수지식(Mathematical Knowledge for Teaching)은 어느 정도인가? 2-1. 예비수학교사들이 갖고 있는 평가절차, 제도에 대한 지식은 어느 정도로 정확한가? 2-2. 예비수학교사들이 갖고 있는 평가문항제작원리에 필요한 지식을 문항에 대해 잘 적용할 수 있는가? 3. 예비수학교사의 문항개발 관련 역량 인식과 실제 적용에서의 차이가 있는가? 연구 문제를 해결하기 위해 예비수학교사에 해당하는 사범대학, 비사범대학 교직이수, 교육대학원 혹은 교원자격증 취득과정에 있는 대학원생을 대상으로 설문조사를 시행한 결과 156부의 응답결과를 얻었다. 설문지는 1, 2차의 예비검사와 총 3차례의 수학교육전문가들의 검토를 바탕으로 수정·보완하여 완성하였다. 문항의 내용은 제작원리와 관련된 문항에 대해서 이석현(2010)의 MKT와 평가문항제작원리를 결합한 분석틀을 바탕으로 진행하였고 그 외의 평가제도와 관련된 문항은 성태제(2014a, 2014b, 2014c) 교육평가에 대한 내용과 성태제(2013) 성취평가제 매뉴얼을 바탕으로 제작하였다. 문항에서 제시한 문제들은 전국연합학력평가나 교과서의 일부 문제를 변형하거나 참고하였다. 응답한 설문지에 대해서는 코딩을 하여 분류하였고, 문항에 대한 신뢰도는 Cronbach 계수와 Cohen’s Kappa 계수로 검증하였다. 설문 이후, 설문 응답자 156명 중, 분석 대상자에 한하여 추가 질문을 시행하였고, 3명을 대상으로 심층 인터뷰를 진행하였다. 각 문항에 대한 응답들은 빈도수와 백분율로 정리하여 나타냈고 인터뷰는 전사 중 필요한 부분들을 첨부하였다. 이와 관련한 상세한 전체적인 표는 부록으로 첨부하였다. 본 연구의 결과는 다음과 같다. 연구문제 1은 예비수학교사가 갖고 있는 평가문항개발 및 평가 전반에 대한 역량 인식을 알아보는 것으로 대부분의 응답자들은 평가제도나 절차 전반에 대해 알고 있다는 응답을 보였고, 실습의 필요성에 대해서도 긍정의 응답을 보였다. 연구문제 2의 2-1은 평가제도나 편집지침과 관련된 지식으로 연구문제 1의 결과에서 대체로 알고 있다고 응답했던 것과 다르게 낮은 정답률을 보였다. 진단평가, 형성평가에 대해서는 어느 정도 알고 있으나, 성취평가제나 이원목적분류표, 수학과 평가절차에 있어서는 다소 낮은 정답률을 보였다. 연구문제 2의 2-2는 문항제작원리와 평가지침과 관련된 문항으로 실제 문항에서 오류를 찾아낼 수 있는지를 보았다. 절반이 넘는 응답률로 오류가 있는 문항에 대해 맞는 문항이라고 판단하거나 잘 모르겠다고 응답하였다. 연구문제 3에서는 연구문제 1과 연구문제 2에서 연관되어 있는 문항들을 ①문항2와 문항17, 문항18, 문항21∼문항26 ②문항5와 문항27, 문항28 ③문항6과 문항15, 문항16 ④문항8과 문항12∼문항14로 교차 분석하였다. ①을 통해서는 제작원리에 알고 있다는 인식과 실제적용을 비교하였고 ②를 통해서는 수학과 평가절차에 대한 인식과 실제적용, ③은 이원목적분류표에 대한 인식과 실제적용, ④에서는 성취평가제에 대한 인식과 실제적용을 비교하였다. 그 결과 역량 인식 질문에서는 잘 알고 있다고 응답하였으나 실제적용에서는 오답을 응답한 경우와 더불어 이와 반대되는 역량 인식 질문에서는 잘 모른다고 응답하였으나 실제적용에서는 정답을 응답한 경우가 다수 존재함을 확인하였다. 위의 연구 결과를 토대로 현재 예비수학교사들에게 평가문항제작과 관련한 필요한 학습을 구성하는 데 활용할 수 있다. 또한 문항제작과 관련하여 역량 인식과 실제적용이 일치하지 않는 결과를 통해 현재 자신이 알고 있는 평가문항개발과 관련된 지식을 적용시켜 볼 기회의 필요성에 대해 자각할 수 있으며, 이런 기회가 마련되어야 한다는 시사점을 제공한다. 다만 본 연구에서는 응답의 편의성을 위해 주어진 문항에서 오류를 발견하는 형식으로 설문지를 구성하였으나, 추후 심층 면접과 질적 연구방식을 이용하여 예비수학교사가 직접 문항을 제작해보고 동료 간의 피드백을 통해 사전사후의 변화를 알아보는 연구, 개발한 문항이 학생들의 시각에서는 어떤 응답을 하게 하는지, 예비수학교사는 인지하지 못한 제작과정의 오류가 학생들의 올바른 응답을 방해하는 경우가 있는지를 알아보는 연구, 예비수학교사가 생각한 문항의 완성도와 학생의 입장에서의 문항 완성도의 차이를 비교해보는 연구를 후속연구로 제언한다.