행동기준 평정척도(BARS)를 활용한 교사의 STEAM 융합 교수역량 척도개발

Abstract

본 연구는 행동기준 평정척도(Behaviorally Anchored Rating Scale: BARS)를 활용한 STEAM 융합 교수역량 척도를 개발하고자 하였다. 이를 위해 STEAM 융합 교수역량의 개념을 규명하고 요인별로 측정할 수 있는 척도를 개발하여, 내용타당도, 구인타당도, 준거관련타당도 등의 근거를 확보하였다. 뿐만 아니라 현황을 함께 파악하여 STEAM 융합 교수역량 함양을 위한 교육과정 설계방향을 모색하고자 하였다. 본 연구가 상정한 구체적인 연구문제는 다음과 같다. 첫째, 교사의 STEAM 융합 교수역량의 측정을 위한 구성요인은 무엇인가? 둘째, STEAM 융합 교수역량의 구성요인을 측정하기 위한 타당한 문항은 무엇인가? 셋째, STEAM 융합 교수역량 척도는 타당도와 신뢰도를 확보하였는가? 넷째, 집단별(성별, 교사경력, 학교급, 전공계열, 지역, STEAM 교육과정 운영경험)에 따른 STEAM 융합 교수역량은 차이가 있는가? 위와 같은 연구문제를 달성하기 위하여, 연구내용별로 크게 초기문항 개발, 척도 타당화, 현황분석인 집단별 STEAM 융합 교수역량으로 구분하고 세부 단계를 수행하였다. 초기문항 개발은 총 5단계를 거쳐 개발되었다. 1단계에서는 STEAM 융합 교수역량의 구성요인을 규명하고 조작적 정의를 내렸으며, 2단계에서는 우수 STEAM 교사에게 보이는 행동특성과 행동지표를 도출하였다. 3단계에서는 재역화 과정을 수행하였으며, 4단계에서는 BARS 형태의 초기문항과 선택지인 행동지표를 개발하였다. 이를 바탕으로 5단계에서는 전문가 자문을 통해 문항 및 행동지표를 수정·보완, 삭제하여 초기문항을 확정하였다. 6단계와 7단계에 해당하는 척도 타당화에서는 515명의 교사 응답을 바탕으로 개발된 초기문항에 대한 요인분석을 실시하여, 최종문항을 선정하였다. 확정된 최종 문항에 대해 전문자 검토를 통한 내용 타당도를 확인하였으며, 윤문작업을 실시하였다. 이상의 과정을 통해 STEAM 지식 12개 문항, STEAM 스킬 13개 문항, STEAM 태도 12개 문항의 35개 최종문항이 확정되었다. 마지막으로 현황을 분석하고자 8단계와 9단계를 통해, 집단(성별, 교사경력, 학교급, 전공계열, 지역, STEAM 교육과정 운영경험)별에 따른 STEAM 융합 교수역량의 차이를 확인하였다. 본 연구절차를 통해 도출된 주요 연구결과와 시사점은 다음과 같다. 첫째, 본 연구에서 개발된 STEAM 융합 교수역량은 3개 요인인 STEAM 지식, STEAM 스킬, STEAM 태도로 구성되었다. 특히, 요인분석을 통해 STEAM 지식, STEAM 스킬, STEAM 태도로 구분한 STEAM 융합 교수역량의 구성이 타당함을 입증함으로써, 역량관점에서 STEAM 융합 교수역량을 설명될 수 있음을 지지하였다. 역량은 교육을 통해 향상될 수 있으며 쉽게 변화하지 않으며 안정적이라는 특징을 가지기 때문에, STEAM 융합 교수역량 교원연수 설계 및 다양한 연구에서 적용이 가능하다. 또한 본 연구는 BARS 척도로 개발되어, 피검자가 모두 동일한 기준에서 응답할 수 있어 객관적인 평가가 이루어질 수 있다. 높은 문항 신뢰도와 타당도를 확보하였으며, 기존 도구와의 유의한 상관관계를 보여 준거관련타당도를 확보하여 일반화된 도구임을 입증하였기 때문에, 다양한 실증연구에서 이를 사용한다면 신뢰로운 결과를 도출할 수 있다. 개발된 STEAM 융합 교수역량을 위한 BARS 척도는 설계연구, 실험연구, 조사연구 등 다양한 응용연구에서 활용될 것으로 기대한다. 둘째, 본 연구에서 도출된 집단별 STEAM 지식, STEAM 스킬, STEAM 태도, 전체에 따른 차이는 다음과 같다. 성별의 경우, 모두 차이를 보이지 않았다. 교사경력은 STEAM 스킬만이 차이를 보였으며, 10년~15년의 경력을 가진 교사집단이 타 연령대의 교사집단보다 높은 STEAM 스킬 점수를 보였다. 학교급도 STEAM 스킬과 전체만이 차이를 보였으며, 초등학교 교사가 중·고등학교에서 모두 높은 점수를 보였다. 또한 전공계열은 STEAM 스킬과 전체만이 차이를 보였다. 과학과 교사와 도덕과/사회과 교사가 국어과 교사보다 높은 STEAM 스킬 점수를 보였으며, 초등교육 교사가 국어과 교사보다 높은 전체 점수를 보였다. 지역의 경우, STEAM 태도만이 차이가 있었으며 비수도권에 거주하는 교사가 수도권에 거주하는 교사보다 높은 STEAM 태도 점수를 보였다. 마지막으로 STEAM 교육과정 운영경험에 따라 STEAM 지식, STEAM 스킬, STEAM 태도, 전체가 차이가 있다. 전반적으로 5년 이상의 STEAM 교육과정 운영경험을 가진 교사가 1년과 2년~5년의 STEAM 교육과정 운영경험 운영경험을 가진 교사보다 모두 높은 점수를 보였다. 이처럼 본 연구는 STEAM 융합 교수역량의 현 수준을 파악함으로써, 이를 함양할 수 있는 STEAM 교원 연수과정 개발에 필요한 기초자료 성격을 갖는다. 개발된 STEAM 융합 교수역량 척도는 성과관리를 위한 지표로 활용될 수 있을 뿐만 아니라, 구성요인에 따라 교원연수 프로그램을 설계하고 실행할 수 있다. 본 연구의 주요 한계점과 후속연구를 제언하면 다음과 같다. 첫째, BARS 척도는 행동으로 표현되지 않은 심층적인 면까지 측정하기는 어렵다. 본 연구에서 개발한 STEAM 융합 교수역량 척도와 함께 다른 측정도구(예: 문제풀이형 문항)를 사용하여, 다각적으로 측정하는 방안을 제안한다. 둘째, 학교급과 학교상황에 따라 STEAM 교육과정의 수준과 범주에 차이가 있다. 전공계열에 따른 교사의 전문성이 달라, 후속연구에서는 이들의 특성을 반영한 STEAM 융합 교수역량의 BARS 척도를 개발할 필요가 있다. 셋째, STEAM 융합 교수역량의 실제 수준과 인식하는 수준 간에 차이가 있을 수 있다. 본 연구에서 개발한 STEAM 융합 교수역량 척도와 함께 루브릭이나 비디오 포트폴리오 평가 등을 사용하는 방법을 고려해볼 수 있다. 넷째, 본 연구결과와 선행연구들의 불일치에 대한 원인을 설명하기 위해, 국가수준에서 STEAM 융합 교수역량 현황을 재파악해야 할 필요가 있다. 또한 STEAM 융합 교수역량에 영향을 미치는 요인을 파악하기 위해, STEAM 교육과정을 위한 교원연수 활동 및 사전지식 수준, 관심 정도 등 다양한 요인들을 함께 분석할 필요가 있다. 인터뷰 및 네러티브 연구와 같은 질적 연구도 수행하여, 교사들이 STEAM 교육과정 운영에서 겪는 어려움을 심층적으로 파악해야 한다. 이러한 한계점에도 불구하고 본 연구는 타당하고 신뢰로운 STEAM 융합 교수역량 BARS 척도를 개발하였다. 또한 집단별 STEAM 융합 교수역량에 대한 차이를 함께 살펴봄으로써, 확대되는 STEAM 교육과정을 위한 교원연수의 설계와 실행에 대한 지침을 제공한다는 의의를 가진다.;This study developed the STEAM infused teaching competency scale using BARS(Behaviorally Anchored Rating Scale) scale. The concept of STEAM infused teaching competency was identified and developed a scale that can be measured for each factor by confirming the basis for content validity, construct validity, and criterion-related validity. It also was attempted to find instructional design direction for cultivating STEAM infused teaching competency by grasping the current situation. The research questions of this study are as follows: 1. What are the constructs of a teachers' STEAM infused teaching competency indicator? 2. What are the items of a teachers' STEAM infused teaching competency indicator? 3. Does the teachers' STEAM infused teaching competency indicator show evidence of validity and reliability? 4. Are there any differences in teachers' STEAM infused teaching competency according to teacher’s gender, teacher career, school level, major, region, STEAM curriculum operation experiences? To answer the above research questions, this research divides into initial items development, scale validation, and current status analysis by contents. After that, it conducts detailed 9 steps. First, The initial items were developed in stages 1 to 5. STEAM infused teaching competency factors were divided and identified definitions at stage 1. In stage 2, the best practices of STEAM class were selected through incident case technique and derived to behavioral characteristics and indicators shown to excellent STEAM teachers. In stage 3, a retranslation process was performed to classify the behavioral characteristics and indicators randomly listed by component. After, the initial BARS scale questions and behavioral indicators were derived in stage 4. In stage 5, expert reviews confirmed the initial questions by correcting, supplementing, and deleting questions and behavioral indicators. The developed initial items went through an item validation process, and the final items were selected. Next, scale validation was performed in stages 6 and 7. To validate the initial items of STEAM infused teaching competency selected through 515 teachers' responses across the country in stage 6. In stage 7, the content validity of the final items was confirmed through expert reviews and editing performed. Through the above process, 35 items of STEAM infused teaching competency were confirmed: STEAM knowledge 12 items, STEAM skill 13 items, and STEAM attitude 12 items. Finally, current status analysis was conducted in stages 8 to 9. t-test and ANOVA test were conducted to examine the differences in STEAM infused teaching competency between different backgrounds (teacher’s gender, teacher career, school level, major, region, STEAM curriculum operation experiences). The significant conclusions and discussions are as follows. Firstly, The STEAM infused teaching competency was consisted of three factors: STEAM knowledge, STEAM skill, and STEAM attitude. Especially, it proved that the composition of STEAM infused teaching competency divided into STEAM knowledge, STEAM skill, and STEAM attitude through exploratory factor analysis and confirmatory factor analysis. The results of this study support constructs of STEAM infused teaching competency that can be explained from a competency perspective. Competence improved through education, and because it does not change easily and has the characteristic of being stable. It can be applied to STEAM infused teaching competency of teacher training design and various studies. In addition, this study was developed with the BARS scale so that all subjects can respond in the same standard and be made objective evaluation. When used in various empirical studies, reliable results can be derived because it was secured high items' reliability and validity, and evidence-related validity, which proved to be a generalized tool. It also can be used as the basis of various applied studies such as design research, experimental research, and survey research. Secondly, The differences according to STEAM knowledge, STEAM skill, STEAM attitude, and overall are as follows. In the case of gender, there was no difference in any of them. There was a difference STEAM skill in teacher's careers and the group of teachers with 10 to 15 years of experience showed higher STEAM skill than others. Only the STEAM skill and the whole showed a difference at the school level, and elementary school teachers showed high scores in both middle and high schools. In addition, only the STEAM skill and the overall showed a difference at the major. Science teachers and moral/society studies teachers showed higher STEAM skill than Korean language teachers, and elementary education teachers showed higher overall scores than Korean language teachers. Only the STEAM attitude differed in the regions, and teachers living in non-metropolitan areas showed higher STEAM attitude than teachers living in the metropolitan area. Lastly, there are differences in STEAM knowledge, STEAM skill, STEAM attitude, and overall depending on the experience of operating the STEAM curriculum. Teachers with more than 5 years of STEAM curriculum operation experience generally showed higher scores than teachers with 1 year and 2-5 years of STEAM curriculum operation experience. This study was identified the current level of STEAM infused teaching competency and examined differences in STEAM knowledge, STEAM skills, STEAM attitude, and overall according to group(teacher’s gender, teacher career, school level, major, region, STEAM curriculum operation experiences). It is meaningful because it can be used to cultivate and improve curriculum and STEAM infused teaching competency as an objective scale. It also can be used as an indicator for performance management as designing and implementing a teacher training program according to STEAM knowledge, STEAM skill, and STEAM attitude. However, the study still had limitations, and further studies are planned. Firstly, the BARS scale is difficult to measure in-depth aspects that are not expressed in behavior. It proposes a multi-dimensional measurement method that uses other tools (e.g., problem-solving questions) with the STEAM infused teaching competency scale developed. Secondly, there are differences in the level and category of operating STEAM classes depending on the school level and situations. Since teachers have different expertise according to their majors, developing a STEAM infused teaching competency BARS scale is necessary to reflect their characteristics in further studies. Third, there was a difference between the actual STEAM infused teaching competency and the perceived. It can be used with rubric or video portfolio evaluation to overcome the limitations of the self-report scale. Fourth, it is necessary to re-evaluate the current status of STEAM infused teaching competency at the national level to explain the cause of the discrepancy between the results of this study and previous studies. Various factors (e.g., teacher training activities for the STEAM curriculum, the level of prior knowledge, the degree of interest) should also be analyzed to affect STEAM infused teaching competency. Qualitative research (e.g., interviews, narrative research) also should be conducted to understand the difficulties teachers face in operating the STEAM classes. The study developed a valid and reliable evaluation tool for STEAM infused teaching competency using the BARS scale despite these limitations. It also has significance in providing guidelines for designing and implementing teacher training for the expanded STEAM curriculum by examining the differences in STEAM infused teaching competency by groups.