프로젝트기반학습을 위한 동료피드백 지원 시스템 개발연구

Abstract

Project-based learning is a form of learning that utilizes technology to explore with members based on the topics being discussed in the actual context, and develops the outcomes that are the result of learning (Becker et al., 2017). Project-based learning is a form of learning in which a learner actively searches for a topic of interest in a real context and generates an output in the form of concrete output using his own experience and knowledge (Blumenfeld, Soloway, Marx, Krajcik, Guzdial, & Palincsar, 1991). In other words, as learners plan, execute, and evaluate learning activities centered on output, opportunities for developing output quality in the learning process are needed. With this form of learning, the learner is able to manage and develop a project successfully by receiving feedback from his / her learning activities and assignments. Learners provide information or feedback to their peers using the peer feedback strategy. Peer feedback refers to the activity of exchanging information between learners about the tasks performed by peers (Hattie & Timperley, 2007; Topping, 2005). However, providing information does not simply provide feedback and provision, but it allows learners to facilitate the participation of all other learners through learning activities and encourages active team work by creating a collaborative atmosphere within the team. This study proposes peer feedback as an activity to exchange various opinions on the output of a team, including opinions on the activities and processes of peer learners. In this process, the learner can receive information about his / her learning process, develop a problem solving and critical thinking ability, and also provide reflection feedback to his / her peers. However, the peer feedback activity is a complex mechanism that includes the process of determining the acceptance of the feedback provided by the recipient. Thus, the results of peer feedback effects tend to be reported inconsistently. As a result, the effect of peer feedback is increased, and peer feedback activities using this technology can be searched as the recent technology-based instruction design activities spread to the school site. Peer feedback system activity can be expected to actively communicate with learners, provide peer feedback consistently on topics and consistent feedback, and easily share team feedback with team members. And the feedback provided is maximized because the learners review the feedback provided to their learning situation. Due to these advantages, many peer feedback systems such as CPR (Calibrated Peer Review), PRAISE, ComPAIR, Web-based Peer Review System (Kim, 2008) and WikiTalki (Koh, 2015) are being developed. However, existing examples are limited to specific contexts, such as writing education, peer evaluation that evaluates peers, or focus on feedback on a one-to-one basis, it is difficult to utilize it in project-based learning aiming at collaborating with colleagues. This study focuses on this point and aims to develop a peer feedback system that aims to support the output of project-based learning through the process of exchanging opinions among the teams and continuously reviewing them. The research questions for this study were set as follows: 1. What is the function and design principle of an effective peer feedback system for project-based learning? 2. Does the peer feedback system effectively support team product creation in project- based learning? To solve the research questions of this study, the development research was carried out according to the type 1 research procedure suggested by Richey, Klein and Nelson (2004). First, the research problems were identified to be solved at each stage of the design, development and evaluation process of this study. Second, literature on project-based learning, peer feedback, peer feedback cases, etc., which influenced the process of developing effective teaching tools were reviewed. Third, a requirement analysis was conducted in order to identify the needs of the learner. Fourth, the requirement analysis and development procedures for this study were then clearly planned and strategized through the literature review process. Fifth, the system was developed using the ADDIE model. Data gathered from the respective stages of the model such as the storyboard, participants’ opinions after reviewing the storyboard, prototype, participants’ opinions after reviewing the prototype, and the usability test of the system were summarized and analyzed. Sixth, based on the collected data, context-specific conclusions were drawn that could contribute to teaching design for peer feedback system in project - based learning. For this procedure, five design principles were derived as a result of research question 1. First, learning outcomes and goals were continuously checked. Second, learners became active participants. Third, all learners participated in the feedback activities. Fourth, the feedback provided were automatically shared. Last, multiple feedbacks were provided at various stages. Based on the derived design principles, a storyboard was designed. Experts and students in this study reviewed the designed story board to check for validity. The prototype and the peer feedback system were developed after the validity check by the experts and students were done. The developed system was tested with graduate students in the web program production lesson of the project-based learning context in the first semester of 2018, and out 21 students who used the system, 15 students answered the questionnaires. For the data analysis, first, the peer feedback system was found to be an effective system to support the peer feedback activities among learners and to develop team projects. It was found that the feedback obtained from the peer feedback thus through face-to-face activities, as reported in the prior research, were not revealed at all through the answers provided by the learners. It was also found that the peer feedback activities were convenient and easy to participate in. In particular, it has been deduced through this study that peer feedback systems are effective in reviewing and sharing feedback provided by learners. Second, the peer feedback system facilitates learner's reflection during project-based learning. The results of this study are summarized as follows. First, reflection is mainly used as a prescription strategy in teaching and learning activities. In this respect, the peer feedback system not only facilitates the reflection activities naturally in the process of participating in the learning activities, but also induces collaborative reflection and maximizes the level of reflection. Thus, it was found to be effective. Third, peer feedback system is a system that effectively supports the team artifact generation process during project-based learning. The quality of artifacts produced can be a determinant of the learner's performance in that project-based learning is developed and evaluated through a series of processes centering on the development of artifacts. Therefore, the gradual development of the output in the course of learning is a strategy that must be considered. In this respect, the peer feedback system can be proved to be a system that supports learning activities in project-based learning and helps the learner to use them to cooperatively perform team activities. However, there are some limitations and suggestions in this study. In the course of development, we collected intentional data from learner who experienced peer feedback activities that exchanges peer feedback activities with peer evaluation. In addition, this study confirmed the possibility of using artifact generation and team activity among project - based learning of peer feedback system. This study confirms the possibility that further validation of the learning outcomes is needed when the peer feedback system is used in the future collaborative context. The developed peer feedback system can serve as a useful system for improvement of the lesson of project - based learning by allowing learners to easily and conveniently perform feedback activities.;프로젝트기반학습은 테크놀로지를 활용하여 실제적 맥락에서 논의되고 있는 주제를 중심으로 구성원과 더불어 탐구하고, 그 가운데 학습에 대한 결과물인 산출물을 개발하는 학습형태로, 실제라는 구체적인 상황과 맥락에서의 학습이 강조되는 교수학습법이기 때문에 교육현장에서 더욱 주목 받고 있다(Becker et al, 2017). 프로젝트기반학습은 정해진 기간 내에 학습자가 능동적으로 실제 맥락에서 관심 주제를 탐색하여 자신의 경험과 지식을 활용하여 구체적인 산출물의 형태로 결과물을 생성하는 학습형태이다(Blumenfeld, Soloway, Marx, Krajcik, Guzdial, & Palincsar, 1991). 즉, 산출물 중심으로 학습자가 학습 활동을 계획하고 실행하며 평가하기 때문에 학습과정에 있어 산출물 품질을 발전시키는 기회가 필요하다. 이 과정에서 학습자는 자신의 학습활동, 과제에 대한 반응적 결과를 제공받아 프로젝트를 성공적으로 관리 및 수행할 수 있는데, 학습자가 동료에게 제공할 수 있는 다양한 정보 중에 동료 반응에 대한 의견으로 동료피드백 전략이 있다. 동료피드백은 동료가 수행한 과제에 대해 학습자간 정보를 교환하는 활동을 일컫는다(Hattie & Timperley, 2007; Topping, 2005). 하지만 정보를 제공한다고 해서 단순히 의견을 제공하고 제공받는 형태가 아니라 학습자는 이러한 학습활동을 통해 모든 학습자의 학습 참여를 촉진할 수 있고, 팀 내 협력적 분위기를 조성하여 활발한 팀 작업을 유도할 수 있다. 본 연구는 동료학습자의 학습 활동이나 과정에 대한 의견을 포함하여 팀으로 산출하게 되는 산출물에 대한 다양한 견해를 주고받는 활동으로 동료피드백을 제안하고자 한다. 이 과정에서 학습자는 자신의 학습 과정에 대한 정보를 받아 문제해결능력과 비판적 안목을 발전시킬 수 있으며, 동료에게 피드백을 제공하는 과정을 통해 자신의 과제에 대한 반성적 성찰의 기회를 갖게 된다. 그러나 동료피드백 활동은 피드백을 제공받는 학습자가 제공받은 피드백에 대해 수용여부를 판단하는 과정을 포함하는 복잡한 매커니즘이다. 따라서 동료피드백 효과에 대한 결과가 일관되지 않게 보고되는 경향이 있다. 이러한 동료피드백의 제약적인 효과를 증가시키고, 최근 테크놀로지 기반의 교수설계활동이 학교현장에 확산됨에 따라 이를 활용한 동료피드백 활동을 모색할 수 있다. 동료피드백 시스템 활동은, 학습자간 활발한 의견 교환을 기대할 수 있으며, 동료에게 지속적으로 주제와 일관된 피드백을 제공할 수 있고, 제공받은 피드백을 손쉽게 팀 구성원과 공유할 수 있기 때문에 효율적으로 팀작업을 수행할 수 있게 되며, 피드백을 제공받는 학습자가 자신의 학습 상황에 맞게 제공 받은 피드백을 검토하기 때문에 피드백의 효과성이 극대화된다. 이러한 장점 때문에 최근에는 CPR(Calibrated Peer Review), PRAISE, ComPAIR, 웹기반 동료평가 시스템(김민정, 2008), 위키토키(고은혜, 2015)와 같은 동료피드백 시스템이 다수 개발되고 있다. 그러나 기존의 사례는 글쓰기 교육과 같은 특정 맥락에 한정되어 있거나, 동료를 평가하는 동료평가의 관점이거나, 일대일로 피드백을 주고받는 것에 초점을 두고 있어, 장기간 동안 동료팀의 산출물에 대한 평가적 정보를 제공하여 자기성찰을 촉진하고, 동료와의 협력을 목적으로 하는 프로젝트기반학습에서 활용하는 데는 어려움이 있다. 본 연구는 이러한 점에 주목하여, 팀간 의견을 주고받고 이를 지속적으로 검토하는 과정을 통해 성공적으로 프로젝트기반학습의 결과물을 산출하는 것을 지원하는 목적의 동료피드백 시스템을 개발하고자 한다. 이와 같은 연구목적에 따라 구체적으로 본 연구에서 다루어진 연구 문제는 다음과 같다. 1. 프로젝트기반학습을 위한 효과적 동료피드백 시스템의 기능과 설계원리는 무엇인가? 2. 개발된 동료피드백 시스템은 프로젝트기반학습에서 팀 산출물 창출과정을 효과적으로 지원하는가? 본 연구의 연구문제를 해결하기 위해 Richey, Klein과 Nelson(2004)이 제시한 유형 1의 연구절차에 따라 개발연구를 수행하였다. 1) 본 연구의 설계, 개발, 평가 과정의 각 단계에서 해결해야 하는 연구문제를 규정지었다. 2) 효과적인 교수 산출물 개발 과정에 영향을 주는 프로젝트기반학습, 동료피드백, 동료피드백 사례 등의 문헌 검토를 하였다. 3) 문헌 검토에 대한 현장의 요구를 파악하기 위해 학습자를 대상으로 요구분석을 실시하였다. 4) 문헌 검토와 요구분석을 통해 설계, 개발 절차를 명확히 계획하고 개발을 위한 전략을 수립하였다. 5) ADDIE 절차에 따라 개발을 진행하면서 각 단계의 산출물인 스토리보드, 스토리보드검토 의견, 프로토타입, 프로토타입 검토 의견, 시스템 활용 맥락 등과 같은 자료들을 정리하고 분석하였다. 6) 수집된 자료를 기반으로 프로젝트기반학습에서의 동료피드백 시스템에 대한 교수설계에 기여할 수 있는 맥락-특수적인 결론을 도출하였다. 이와 같은 절차를 바탕으로 한 결과, 연구문제 1에 대한 결과로 5가지의 설계원리가 도출되었다. 첫째, 학습성과와 목표에 대해 지속적으로 점검한다. 둘째, 학습자가 능동적 참여자가 될 수 있도록 지원한다. 셋째, 모든 학습자를 피드백 활동에 참여하게 한다. 넷째, 피드백을 자동 공유한다. 다섯째, 여러 단계에 걸쳐 다수의 피드백을 제공받게 한다. 도출된 설계원리를 기반으로 스토리보드를 제작하였고, 그에 대한 타당화를 위해 전문가, 전공자를 대상으로 검토를 실시하였다. 그 다음 단계에서 개발된 프로토타입도 역시, 타당성 확보를 위해 전문가와 전공생을 대상으로 한 평가를 실시한 후 동료피드백 시스템을 개발하였다. 개발된 시스템은 2018년 1학기 프로젝트기반학습맥락의 웹 프로그램 제작 수업에서 대학원생을 대상으로 활용하였고, 21명의 학습자가 시스템을 사용한 후 15명이 설문에 응하였다. 자료를 분석한 결과 첫째, 동료피드백 시스템은 학습자간 동료피드백 활동을 편리하게 지원하며 팀 산출물 생성에 효과적인 시스템인 것으로 파악되었다. 학습자들의 답변을 통해 선행연구에서 보고되어왔던 면대면 활동에서의 동료피드백의 문제가 전혀 드러나지 않음을 알 수 있었고, 동료피드백 활동을 편리하고 손쉽게 참여했던 것을 파악할 수 있었다. 특히 학습자들이 제공받은 피드백을 검토하고 공유하는 데 있어 동료피드백 시스템이 효과가 있었음을 추론하였다. 둘째, 동료피드백 시스템은 프로젝트기반학습에서 학습자의 성찰을 촉진하는 시스템이다. 성찰은 학습자의 성공적인 학습 결과를 보장하는 핵심 요인으로 학습자의 인지적, 정의적 측면에 효과가 있다(조경진, 임규연, 2015). 따라서 성찰은 교수학습 활동에서 처방적 전략으로 주로 사용되는데 이러한 관점에서 동료피드백 시스템은 학습자들이 학습활동에 참여하는 과정에서 자연스럽게 성찰활동을 촉진시킬 뿐만 아니라 협력적 성찰을 유도하여 학습자의 성찰 수준을 극대화하는 효과가 있는 것으로 판명되었다. 셋째, 동료피드백 시스템은 프로젝트기반학습에서 팀 산출물 창출과정을 효과적으로 지원하는 시스템이다. 프로젝트기반학습이 산출물을 개발하는 것을 중심으로 일련의 과정이 구성되어 진행되고 평가된다는 점에 있어 산출물의 품질은 학습자의 성과를 결정짓는 잣대가 될 수 있다. 때문에 학습 과정에서 산출물의 점진적인 발전 추구는 반드시 고려되어야 하는 전략이다. 이러한 관점에서 동료피드백 시스템은 프로젝트기반학습에서 학습활동을 지원하는 데 효과가 있으며 학습자가 이를 활용하여 팀 활동을 협력적으로 수행하게 할 수 있도록 지원하는 시스템인 것으로 판명할 수 있다. 그러나 본 연구에 몇 가지 제한점 및 제언이 있다. 개발과정에서 동료피드백 활동이 동료평가와 다른 점을 착안하여 학습자간 의견을 주고받는 동료피드백 활동을 경험한 학습자를 대상으로 의도적으로 자료를 수집하였다. 또한 본 연구는 동료피드백 시스템의 프로젝트기반학습에서의 산출물 생성과 학습자간의 팀 활동에 대한 활용 가능성을 확인하였다. 본 연구를 통해 가능성이 확인되었으니 추후 협력맥락에서 동료피드백 시스템을 사용하였을 때 학습 성과나 학습 효과는 어떠했는지에 대한 발전된 검증이 필요하다. 개발된 동료피드백 시스템은 학습자가 손쉽고 편리하게 피드백 활동을 수행할 수 있게 함으로써 프로젝트기반학습의 수업개선을 위한 유용한 시스템으로 활용될 수 있을 것으로 기대한다.