편집기능 제공이 한국 대학생의 컴퓨터 기반 쓰기 평가결과 및 인식에 미치는 영향

Abstract

본 연구에서는 컴퓨터를 기반으로 실시하는 쓰기평가에서 대학생 수험자에게 제공되는 편집기능이 평가결과 및 인식에 미치는 영향을 분석하였다. 이를 위해 본 연구에서는 컴퓨터 기반 쓰기 평가에서 편집기능의 유무에 따라 수험자의 평가결과에 차이가 있는지, 컴퓨터 기반 쓰기 평가에서 편집기능의 유무에 따른 평가결과가 수험자의 수준(상위/하위집단)에 따라 차이가 있는지, 컴퓨터 기반 쓰기 평가에서 편집기능의 유무에 따른 평가결과가 수험자의 수준(상위/하위집단)과 채점영역(구성, 내용, 철자와 구두법, 언어사용, 어휘선택)에 따라 차이가 있는지, 컴퓨터 기반 쓰기 평가에서 편집기능에 대한 수험자의 인식은 어떠한지에 관한 구체적인 연구질문을 설정하였다. 본 연구의 대상은 서울 소재 E 대학교에 소속되어 있는 총 68명의 여학생들로서, 영어 관련 전공이 아니며, 영어권 국가의 거주경험, 어학 목적의 유학 및 연수의 경험이 없는 인문계열 및 자연계열의 1～3학년 학생들로 고르게 분포되어 있다. 본 연구에서는 이들 연구대상을 각 34명씩 실험집단과 통제집단으로 무작위 분류하였으며, 집단간 동질성 검증을 거쳐 2016년 12월 26일부터 2017년 2월 3일까지의 기간 동안 전산실에서 개별 혹은 소집단별로 실험처치를 하였다. 본 연구는 연구도구로서, 동질성 검증을 위한 사전검사 문제와 연습용 문제, 사후검사 문제를 포함한 평가문항은 학술적 영어로 이루어진 TOEFL 기반 형식 문제로 정하였다. 문항의 타당성을 확보하기 위해 ETS에서 출판된 iBT TOEFL 모의시험 문제 중 독립형 쓰기 주제의 3개 지문으로 각각 정하였다. 또한, 본 연구는 한국 대학생들의 컴퓨터기반 쓰기평가에 대한 태도와 반응, 요구도 등을 조사하였다. 이와 함께, 본 연구에서는 컴퓨터기반 쓰기 능력 평가 프로그램을 제작하였다. 본 프로그램은 웹 상에서 iBT TOEFL 환경과 유사하게 독립형 쓰기 과제를 평가하도록 만든 프로그램이다. 본 프로그램에서 제공되는 편집기능은 복사하기(copy), 잘라내기(cut), 붙여넣기(paste), 돌려놓기(undo), 단축키 사용, 사전검색 기능의 여섯 가지이며, 부수적으로 제한시간 및 글자수 표시, 도움말 기능이 제공된다. 수험자는 전공과 성명을 기입한 후 프로그램에서 작성한 쓰기 평가 결과물을 저장하게 되며, 이는 관리자에게 보고되어 평가자가 채점기준에 의해 점수를 평가하게 된다. 그리고 이상의 절차에 따라 수집된 자료는 SPSS 18.0 프로그램을 이용하여 통계적으로 검증하였다. 본 연구의 결과를 정리하면 다음과 같다. 첫째, 실험집단은 구성, 내용, 철자와 구두법, 언어사용, 어휘선택의 모든 채점영역에서 사전점수보다 사후점수가 향상되었으며, 이러한 차이는 유의미하였다. 그리고 통제집단은 구성, 내용, 철자와 구두법, 언어사용, 어휘선택의 모든 채점영역에서 사전점수보다 사후점수가 향상되었으나, 이러한 차이는 철자와 구두법, 어휘선택 영역에서만 부분적으로 유의미하였다. 둘째, 구성 영역에서는 주 효과 수준에서 상위집단이 하위집단보다 유의하게 높게 나타났고, 내용 영역에서도 주 효과 수준에서 상위집단이 하위집단보다 유의하게 높게 나타났다. 그리고 철자와 구두법 영역, 언어사용 영역과 어휘선택 영역에서는 각각 주 효과 수준에서 상위집단이 하위집단보다 유의하게 높게 나타났고, 집단×수준의 상호작용 효과도 나타났다. 셋째, 컴퓨터 기반 쓰기 평가에서 편집기능의 유무에 따른 수준별 채점영역 간의 차이를 검증한 결과, 실험집단-통제집단의 상위-하위 수준별 구성, 내용, 철자와 구두법, 언어사용, 어휘선택의 채점영역에 있어서 상위집단이 하위집단에 비해 전반적으로 쓰기 점수가 높게 나타났으나 통계적으로 유의미한 차이를 보이지 않았다. 넷째, 컴퓨터 기반 쓰기 평가에서 편집기능에 대한 수험자의 인식에서, 본 연구의 대상은 실험집단과 통제집단이 공통적으로 과반수 이상에서 컴퓨터 기반 쓰기 평가의 경험을 갖고 있으며, 이를 선호하고 익숙하다는 것을 알 수 있었고, 컴퓨터상에서 텍스트를 자유롭게 검토하고 편집 및 수정할 수 있는 기본적인 기능면에서 활용성을 호의적으로 평가하며, 사용빈도도 높은 것으로 파악되었다. 또한 컴퓨터가 지니는 매체의 특성을 살려, 수험자에게 보다 지원적인 기능과 서비스가 제공되길 희망하는 것으로 판단되었다. 이상의 결과를 통해 컴퓨터 기반 쓰기평가에서 편집기능의 긍정적 효과를 확인할 수 있었으며, 특히 쓰기 평가결과의 내용 영역, 철자와 구두법 영역, 어휘선택 영역에서 실험집단에게 제공된 편집기능의 유용성이 나타난 점, 실험집단의 상위수준집단에서 언어사용 영역에 대한 상대적 효과가 큰 점 등은 시사점을 제공하고 있다.;This study set out to analyze the effects of editing functions provided to college student examinees on their assessment outcomes and perceptions in a computer-based writing assessment. For that purpose, the study set specific research questions regarding the followings: whether there would be differences in the assessment outcomes of examinees according to editing functions in a computer-based writing assessment; whether there would be differences in the assessment outcomes according to editing functions in a computer-based writing assessment between the upper- and lower-level groups; whether there would be differences in the assessment outcomes according to editing functions in a computer-based writing assessment between the upper- and lower-level groups and among the areas of examination(composition, content, spelling and punctuation, use of language, and choice of vocabulary); and what perceptions the examinees would have of editing functions in a computer-based writing assessment. The subjects include total 68 female students from E University in Seoul. They were evenly distributed among the freshman, sophomore, and junior year in the humanities and natural science departments, specializing in no English-related majors and having no experiences of living in an English-speaking country and studying or receiving training for language skills. The subjects were randomly allocated to the experiment and control groups, each of which consisted of 34. After an inter-group homogeneity test, they were subjected to the experimental treatments at the computer room either individually or in a small group from December 26, 2016 to February 3, 2017. As for research instruments, the investigator chose TOEFL-based questions in academic English for the pre-test for homogeneity verification, practice, and follow-up test. Three texts on topics of independent writing were selected from the questions of iBT TOEFL sham tests published by ETS to secure item validity. In addition, the present study also covered college students' attitudes, responses, and needs with regard to a computer-based writing assessment in South Korea and made a computer-based writing ability evaluation program, which was designed to evaluate independent writing assignments in a similar way to the iBT TOEFL environment on the web. The program offered six major editing functions of copy, cut, paste, undo, keyboard shortcut, and dictionary search and also additional functions of time limit, number of letters, and help. In the program, the examinees would enter their majors and names and save their writing assessment works, which would then be reported to the administrator and evaluated by the evaluator based on the scoring criteria. Data collected in those procedures were tested statistically with the SPSS 18.0 program. The findings were summarized as follows: First, the experiment made a significant increase from the pre-test scores to the post-test scores in all the areas of examination including composition, content, spelling and punctuation, use of language, and choice of vocabulary. The control group also made an increase from the pre-test scores to the post-test scores in all of those areas with partially significant differences only in spelling and punctuation and choice of vocabulary. Second, the upper-level group was significantly higher in the areas of composition and content than the lower-level group at the main effect level. In the areas of spelling and punctuation, use of language and choice of vocabulary, the upper-level group was significantly higher than the lower-level group at each main effect level with interactive effects between groups and levels. Third, the study tested differences between the student levels and among the areas of examination according to the editing functions in a computer-based writing assessment and found that the upper-level group scored overall higher points in the areas of composition, content, spelling and punctuation, use of language and choice of vocabulary than the lower-level group both in the experiment and control groups with no statistically significant differences between them. Finally, more than a majority of examinees had an experience of taking a computer-based writing test, preferred it, and were accustomed to it both in the experiment and control groups. They also made a favorable assessment of basic functions, which are used to review, edit and revise a text on the computer freely, for their usability and used them in high frequency. In addition, they wished that more supporting functions and services would be provided to examinees by taking advantage of the characteristics of the computer as a medium. Those findings confirm the positive effects of editing functions in a computer-based writing assessment. Implications are found especially in the findings that the editing functions provided to the experiment group exhibited their usefulness in the areas of content, spelling and punctuation, and choice of vocabulary in the writing assessment outcomes and that the upper-level group experienced relatively bigger effects in the area of use of language in the experiment group.