Reconstructing the English camp experience

Abstract

본 논문은 국내 4년제 대학에서 주최한 대학생을 위한 영어캠프 프로그램을 평가하였다. 연구대상인 영어캠프는 2010년 12월 20일부터 2011년 1월 15일까지 총 4주 동안 실시되었다. 대학 및 대학원생을 위한 캠프였지만 수시합격자에 한해서 고등학교 3학년 학생들도 참가하였다. 총 55명의 수시합격자, 대학생, 및 대학원생이 캠프에 참가하였다. 55명 중 39명의 학생들은 수시전형에 합격한 고등학교 3학년 학생들이었고 한 명의 대학원생을 제외하고 나머지 15명은 모두 대학생이었다. 15명의 대학생 중 12명이 1학년, 1명이 2학년, 그리고 2명이 3학년이었다. 캠프에 참가하는 모든 학생들은 의무적으로 학교 기숙사에 합숙하였다. 영어캠프에 입소부터 퇴소까지 참가학생들은 오로지 영어만을 사용해야 하는 캠프규칙을 따랐다. 영어캠프 프로그램은 오전, 오후 수업 및 저녁 활동으로 나뉘었다. 오전 수업은 듣기, 말하기, 읽기 및 쓰기 등 4개의 영역을 중심으로 이루어졌다. 오후 수업은 토플 수업과 학생들의 흥미에 따라 선택할 수 있는 선택수업들로 이루어졌다. 영어캠프 프로그램의 평가를 위하여 다음과 같은 총 9개의 연구도구를 사용하여 자료를 수집하였다. 사전 및 사후 토플 모의시험, 온라인 사후 캠프 자체 설문조사, 연구자가 개발한 사전 및 사후 설문조사, 학생 인터뷰, 캠프강사 인터뷰, 캠프수업 비디오 촬영, 현장노트 및 캠프 관련 서류들을 수집하여 연구자료로 사용되었다. 연구결과와 결론 및 제언은 브라운(1995a)의 프로그램 평가 모형에 따라 다섯 개의 영역(needs analysis, objectives, testing, materials, teaching)으로 나뉘어 제시되었다. 첫 번째 영역은 수요조사(needs analysis) 측면을 평가하였다. 캠프 시작에 앞서 학생들에 대한 수요조사를 시행하지 않았다는 점이 캠프의 결점으로 지적되었다. 수요조사의 시행과 정확한 분석이 이루어져야 학생들의 학습요구에 맞는 영어캠프 프로그램을 개발할 수 있다. 따라서 캠프기간 전 뿐만 아니라 기간 동안에도 학생들에 대한 수요조사를 체계적으로 시행할 수 있는 방안을 마련하여야 한다. 학생들이 캠프에 지원하는 시기에 수요조사를 함께 시행하는 방법을 제안한다. 두 번째 영역은 목표(objectives) 측면을 평가하였다. 영어캠프는 읽기 영역을 제외한 듣기, 말하기, 쓰기 등 세 개의 영역에 긍정적인 영향을 미쳤다. 또한 오로지 영어만을 사용하는 규칙이 대체적으로 잘 이루어졌다. 따라서 학생들은 캠프에 대해 매우 긍정적인 반응을 보였다. 이런 강점을 보인 반면에, 읽기 영역에 유의미한 영향을 미치지 못했다는 것이 결점으로 지적되었다. 따라서 캠프가 달성하고자 하는 모든 목표를 면밀히 살펴봐야 한다. 세 번째 영역은 평가(testing) 측면을 평가하였다. 학생들의 듣기 및 읽기 영역을 측정하기 위하여 사전 TOEFL PBT 모의시험과 사후 TOEFL iBT 모의시험이 시행되었고 단어시험도 시행되었다. 말하기 및 쓰기 영역에 대한 평가는 발표 및 활동 등 수행평가로 이루어졌다. 캠프기간 동안에 다양한 방법으로 학생들의 평가가 이루어졌다는 점은 영어캠프의 강점으로 볼 수 있다. 그러나 말하기 및 쓰기 영역에 대해 듣기 및 읽기 영역과 동일한 방법으로 평가하지 않았다는 결점을 안고 있었다. 말하기 및 쓰기 영역에 대해서도 TOEFL 모의시험을 시행하는 방법을 제안한다. 또한, 듣기 및 읽기 영역에 대해 TOEFL 모의시험이 이루어졌지만 PBT와 iBT 등 다른 방식으로 시행되었다. 이러한 방법으로 얻어진 결과로 학생들의 사전사후 능력의 차이를 효과적으로 파악할 수 없다. 따라서 모든 영역에 대해 동일한 시험 종류와 방식으로 평가가 이루어질 수 있도록 해야 한다. 네 번째 영역은 교재(materials) 측면을 평가하였다. 듣기 및 말하기 수업과 TOEFL 수업은 출판된 교과서를 교재로 사용하였다. 읽기 및 쓰기 수업과 선택수업은 캠프강사가 준비한 자료들로 수업이 이루어졌다. 연구결과에 의하면 학생들은 교과서에 대한 반응도 대체로 좋았지만 자신의 수준에 맞는 자료들로 수업하는 것을 선호하였다. 따라서 캠프강사들은 체계적인 절차에 따라 학생의 수준에 맞는 교과서를 선정하고 자료를 사전에 체계적으로 준비하여야 한다. 다섯 번째 영역은 교육(teaching) 측면을 평가하였다. 학생들의 학습기회를 저해할 수 있는 요소 중심으로 살펴보았다. 원어민과의 자유로운 대화 시간(free-speaking tutoring)과 학생들의 수준을 섞은 그룹(mixed-level group)을 도입에 대해 긍정적인 반응을 얻었다. 그러나 대화 주제 선정 방식, 그룹 활동 횟수 등 프로그램 운영사항에 대한 변경이 이루어져야 프로그램을 보완할 수 있다. 또한 원어민 캠프강사들이 한국 학생들의 영어습득 과정과 공통된 문제점들에 잘 알고 있는 것은 프로그램의 강점일 수 있는 동시에 결점이 될 수 있다. 학생들이 자신의 문제점을 파악하기 전에 강사가 이해하는 경우에 학생들이 스스로 문제점을 고칠 수 있는 기회를 빼앗길 수 있기 때문이다. 또한 분반을 나눌 경우 학생들 간의 수준 차이가 많이 벌어지지 않도록 주의해야 한다. 마지막으로 캠프의 모든 요소에 대한 기준을 제시하는 캠프 매뉴얼이 존재하지 않는다. 따라서 캠프의 모든 운영사항을 담은 캠프 매뉴얼을 개발해야 한다. 본 논문의 시사점은 캠프 측면과 프로그램 평가 측면 등 두 가지 측면으로 나누어 볼 수 있다. 캠프의 측면에서 다섯 가지의 시사점을 제시할 수 있다. 첫 번째, 학생들에 대한 수요조사가 캠프기간 전과 기간 동안에 이루어져야 한다. 수요조사로 얻어진 결과는 캠프 관련 사항들에 대한 결정을 내릴 경우에 좋은 참고자료가 될 것이다. 두 번째, 캠프에 대한 목표를 세밀하게 정하고 이를 자세하게 기술해야 한다. 캠프 운영진과 강사진은 캠프에 대한 목표에 명확하게 알고 있어야 하며 목표 도달 여부를 측정할 수 있는 방법을 강구하고 목표에 도달했는지 끊임없이 평가를 해야 한다. 세 번째, 캠프에서 시행하는 모든 시험은 캠프 목표에 부합하여야 한다. 체계적인 평가계획이 확립되어야 한다. 네 번째, 캠프에서 사용되는 모든 교재는 학생들에 수준에 맞게 사전에 미리 체계적으로 준비가 될 수 있도록 해야 한다. 다섯 번째, 학생들의 학습기회를 저해할 수 있는 캠프 요소의 여부 등을 끊임없이 점검하여 최적의 학습 환경을 조성해야 한다. 프로그램 평가의 측면에서 시사점은 다음과 같다. 영어캠프에 대해 전후로 프로그램 평가가 체계적으로 이루어져야 한다. 프로그램 평가에 대한 보고서가 더욱 많이 출판되어야 새로운 영어캠프 프로그램 개발 혹은 기존 영어캠프 프로그램 유지 및 발전에 이바지할 수 있다. 본 논문은 브라운(1995a) 제시한 모형을 토대로 영어캠프 프로그램 평가의 틀을 제시하고자 하였다. 모든 영어캠프 프로그램 평가에 적용될 수 있도록 더 많은 연구가 이루어져야 할 것이다.;This study is a program evaluation of a domestic English language camp that was offered to university students. The English camp was organized by the language program office of a four-year university located in Seoul, Korea. The camp was held for a period of one month from December 20, 2010 to January 15, 2011 and was attended by a total of 55 students. Of the 55 camp participants, 39 were high school seniors who were accepted to the university through the early entrance exam. The remaining 16 comprised 15 undergraduates - 12 freshmen, one sophomore, and two juniors - and one graduate student. The students who participated in the English camp were required to stay in the school dormitory and were asked to adhere to an English-speaking-only policy. The camp curriculum consisted of morning and afternoon classes, and night sessions. The morning classes aimed to improve the four basic language skills: listening, reading, speaking, and writing. The afternoon classes consisted of TOEFL classes, club activities, and content-based study. The night sessions consisted of free-speaking tutoring sessions and other weekly activities and events. This present study aimed to identify and measure the outcomes of the camp according to the five components of the program evaluation model developed by Brown (1995a) and provide implications for future camps and future program evaluations on English camps. Results and findings were based on nine different evaluation methods: placement TOEFL PBT simulation tests, summative TOEFL iBT simulation tests, online post surveys, pre-camp surveys, post-camp surveys, student interviews, instructor interviews, video recordings of two camp classes, and analysis of the researcher's notes and camp-related documents. Results, discussions, conclusions, and implications of the study were presented according to the five components: needs analysis, objectives, testing, materials, and teaching. In the needs analysis aspect, the English camp administrators failed to conduct a proper needs analysis before and during camp. This is a weak point for the English camp. Therefore, it is suggested that the English camp administrators conduct a needs analysis before and during camp in order to adequately match the students? needs. The needs survey prior to camp could be conducted through questionnaires when the students register for the English camp. This will allow the camp administrators the time to reflect the needs analysis results to the camp curriculum. In the objectives aspect, the English camp was successful in having a positive effect on the four skills excluding the reading skills, promoting the use of English through the English-only policy, and therefore received a great response on the overall camp. Moreover, it was commendable that the camp administrators conducted an online post-camp survey on the last day of camp. Despite these strong features, the camp showed some weak points in the aspect that it was not helpful in improving the reading skills. Therefore the camp administrators need to reassess the objectives of the camp. The information from the needs analysis may serve as a basis for this reassessment. In the testing aspect, the camp administrators were unsuccessful in reading the students' current needs. The camp administrators must be able to understand what the students need and expect from the camp in the aspect of testing as well as other components. It was commendable that the listening and reading skills were assessed through various formal and informal assessment methods. Moreover, the fact that the reading and writing skills were assessed through various informal assessment methods is a strong point of the camp. However, the camp showed weakness in the aspect that no formal tests regarding the speaking and writing skills were administered. More important, the placement and summative tests were administered in different forms - TOEFL PBT and TOEFL iBT - and the difficulty level gap between the two tests were not considered. This is a weak point of the camp and should be corrected. In the materials aspect, the camp was half successful in providing the appropriate camp materials. In order to be truly successful, the camp instructors should use published textbooks along with handouts as supplements. Moreover, the supplements must be prepared in advance and given out in an organized manner so that the content may remain consistent with the overall teaching. The camp should develop a systematic method for selecting appropriate textbooks. In the teaching aspect, the strong point of the camp was that the administrators made the right decision of incorporating free-speaking tutoring times and mixed-level group into the camp curriculum. However, the process was not adequately executed as well as it could have been. Some elements of the free-speaking tutoring times and mixed-level group activities such as the topic selection method and the number of group activities should be adjusted. It was commendable that the native English-speaking instructors were well aware of the Korean students' learning problems. However, this knowledge may have interfered with the teaching process. Another weakness emerged with the TOEFL class division. The camp administrators should try to narrow down the level gaps that may exist among students when dividing the classes. Moreover, the camp administrators failed to provide a camp manual for members of the camp staff and faculty who play prominent roles in the camp. Therefore it is crucial that the camp administrators develop a camp manual. The implications of this study were discussed in terms of two aspects: the camp and the program evaluation. Five implications were discussed according to the five components and their applicability to the camp. First, needs analysis must be conducted before and during the camp period. The information of the needs analysis will serve as valuable information when making important camp decisions. Second, it is crucial that the English camp should try to specify the objectives with as much detail as possible and eventually narrow down on the objectives that truly matters. The excessive effort to fulfill too many objectives is unnecessary and may result in unsatisfactory outcomes of the camp. The needs analysis may serve as a basis for setting the objectives. The camp administrators should have a clear picture of the objectives of the camp, develop a way to measure the effectiveness of the objectives, and constantly survey whether these objectives were met. Third, tests should be administered to serve a certain purpose that fits into the camp objectives. There should be a systematic testing plan as to how to assess the students' needs and achievements. In order to maximize the effectiveness of the camp, a variety of proficiency, placement, diagnosis, and achievement tests should be administered according to a systematic plan. Fourth, camp materials must be chosen in advance according to the students' needs and proficiency levels. The camp instructors should develop a 'template' or model for producing materials as suggested by McGrath (2002). There should be a systematic method for selecting appropriate textbooks. Fifth and lastly, the camp administrators should constantly survey the camp program and seek out the issues that may hinder the teaching and learning process. Every decision made on any aspect of the camp has the potential of affecting the teaching and learning process. Therefore the camp administrators should always return to the first step of evaluation and repeat the process. Program evaluation is a recursive process as shown in the program evaluation model by Brown (1995a). In terms of program evaluation, the camp should conduct formal formative and summative evaluations on a regular basis. More important, more reports of program evaluations should be published so that they can serve as the basis for developing new English camps and maintaining the existing English camps. This study attempted to provide a workable framework for evaluating an English camp by adapting the program evaluation model proposed by Brown (1995a). Further studies must be done to develop the existing model into a complete framework that applies to the different contexts in which English camps are conducted.