서체 및 줄 간격 조절 기능 제시 여부가 컴퓨터기반 영어 읽기 평가 결과 및 수험자의 정의적 반응에 미치는 영향

Abstract

컴퓨터를 일상생활에서 활용하고 평가를 진행하는 매체로 사용함에 따라 영어 읽기 평가 또한 컴퓨터를 기반으로 이루어지고 있으며 컴퓨터기반 평가는 다양한 컴퓨터 기능을 바탕으로 평가 제시 방식에서부터 답변 방식까지 지필 평가에 비하여 다양한 평가 방법이 가능하도록 하였다. 컴퓨터의 기술을 바탕으로 평가 결과에 영향을 미치는 구인외변량을 최소화하고 평가를 보다 진정성있고 타당하게 보완하기 위하여 다양한 컴퓨터기반 평가 방법을 알아보는 연구가 반드시 필요하다(신상근, 2010; Chapelle & Douglas, 2006). 컴퓨터기반 평가의 인터페이스 요인도 평가의 타당도를 저해할 수 있는 요인 중 하나인데(Fulcher, 2003), 그 중에서 본 연구는 서체 모양(typeface), 서체 크기(type size), 그리고 줄 간격(line spacing) 이 컴퓨터 기반 읽기 평가에 미치는 영향과 수험자의 정의적 반응에 대하여 알아보고자 하였다. 수험자가 선호하는 가장 적합한 환경에서 평가를 수행할 수 있도록 개선하는 것이 지향점이 되어야 한다(Gabringer & Osman-Jouchoux, 1996)는 당위성을 바탕으로 서체 및 줄 간격을 조절할 수 있는 기능을 제시하는 컴퓨터기반 읽기 평가를 사용한다면 보다 편안한 환경에서 수험자가 평가를 수행할 수 있는지 살펴보고자 하였다. 수험자가 스스로 가장 편한 서체 모양, 서체 크기, 줄 간격으로 조절할 수 있는 기능을 제시하는 컴퓨터기반 읽기 평가에서 이러한 조절 기능을 실제로 사용하는지의 여부와 기능을 사용함으로써 수험자의 평가 결과에 차이가 생기는지 알아보고 수험자의 시각적 환경 조절 기능 제시에 대한 정의적 반응을 분석하였다. 실험 집단은 지필 읽기평가 점수를 기반으로 동질한 세 집단으로 분류하였다. 세 집단은 동일한 내용을 담은 컴퓨터기반 평가를 세 가지로 각기 다른 환경에서 수행하였다. 먼저 어떠한 조절 기능도 제시하지 않은 통제 집단은 기본 시각적 환경에서 응시하였다. 기본 시각적 환경은 Verdana체, 12포인트, 줄 간격 1.0배수로 시각적 환경 선행 연구와 기존 평가 도구를 환경을 반영하였다. 그리고 두 번째 집단은 제한적 조절 집단으로, 서체 모양, 서체 크기, 줄 간격을 조절할 수 있는 기능을 제시하되 시험 시작 전 한번의 기회를 주었다. 세 번째 집단은 자유 조절 가능 집단으로, 서체 모양, 서체 크기, 줄 간격을 조절할 수있는 기능을 평가의 전 과정에서 원하는 때에 언제든지 사용할 수 있는 환경에서 평가를 수행하도록 하였다. 본 실험 연구를 통하여 얻어진 결과는 다음과 같다. 첫 번째 연구질문의 사용 여부 및 양상을 확인하기 위하여 사용 인원과 빈도를 분석한 결과, 제한 조절 집단의 64.27%, 자유 조절 집단의 73.33%가 주어진 기능을 사용하였다. 세 가지 영역 중에서는 가장 적은 27.59%의 실험대상이 서체모양을 바꾸었고 서체 크기는 48.28%의 참가자가 조절기능을 사용하였다. 줄 간격을 한 번이라도 조절한 참가자의 비율은 55.17%로 가장 빈번하게 사용하였으며 특히 줄 간격을 1.5으로 조절하는 비율이 높았다. 두 번째로 조절 기능 제시 여부가 평가 결과에 미치는 영향을 보기위하여 평가 결과를 이원분산분석하였다. 집단과, 독해 수준을 독립변수로 하여 평가 결과를 이원분산분석한 결과, 집단 간 점수 차이가 없는 것으로 나타났다. 즉 서체 및 줄 간격을 조절할 수 있는 기능을 제시하고 이 기능을 많은 수험자가 사용하더라도 수험자의 독해수준을 불문하고 이러한 사용 양상이 평가의 결과에는 유의미한 점수 차이를 발생시키지 않는다는 것을 의미한다. 셋째로 질문은 수험자의 시각적 환경 조절 기능에 대한 인식 조사 결과로 답할 수 있다. 조절 기능을 실제로 사용하여 기본 서식과 다른 환경에서 평가를 수행한 참가자의 75.32%가 조절 기능을 사용하는 것이 읽기 과정에 도움이 되었다고는 응답하였으며, 특히 줄 간격이 가장 도움이 되었던 것으로 나타났다. 이러한 조절 기능을 제시하는 것에 대하여, 통제 집단의 95.65%가 조절 기능이 컴퓨터기반 평가에서 제시되기를 희망하였으며, 조절 기능을 제시받았던 참가자의80.43%가 이러한 조절 기능이 제시되는 것이 실제 평가에서도 선호될 것이라고 응답하였다. 대체로 수험자는 시각적 환경 조절 기능이 평가 도구에 포함되는 것을 긍정적으로 인식하며 특히 줄 간격 조절기능을 선호한다고 결론을 내릴 수 있다. 조절 기능을 제시받은 참가자들을 대상으로 제시하는 수준에 대한 의견을 조사한 결과, 지문의 특성에 따라 선호하는 시각적 환경 또한 달라지기 때문에 전 과정에서 조절 기능이 보장되어야 한다는 의견과 형평성을 해칠 수 있는 가능성과 시험 시간과 시각적 환경 조절 시간의 교환(trade-off effect) 가능성을 줄이기 위하여 평가 이전에만 조절 기능이 주어지는 것이 적합하다는 의견도 있었다. 서체 및 줄 간격 조절 기능을 제시하는 것이 컴퓨터기반 읽기 평가는 평가 결과에 통계적으로 유의미한 차이를 발생시키지 않았으나, 많은 수험자의 지지를 받는다. 이는 수험자가 친숙함과 편안함을 느끼는 시각적 환경에서 평가를 수행할 수 있기 때문이다. 평가 도구가 지향하는 방향은 수험자의 실제 언어 사용 환경과 비슷하며, 수험자가 익숙하고 편안하게 느끼는 환경에서 평가를 수행하도록 평가 환경을 조성하는 것이다. 따라서 이러한 평가 환경으로 인하여 점수 차이가 발생하지 않더라도 수험자에게 시각적으로 조절할 수 있는 기능을 제시하는 것이 보다 진정성 있고 수험자 중심의 평가라는 점에서 평가의 지향점에 근접할 수 것이다. ;As computers have become the main tool for our everyday lives, as well as for assessment, various large-scale reading tests are now administered through them. Computer-based language tests offer the a wide spectrum of possibilities of testing methods and techniques-from input to response types of the test takers, up-to-date technologies now allow computer-based language tests to offer a wide spectrum of possibilities in testing methods and techniques.. Based on the beneficial computer technological functions, studies which examine the effects of each function on assessments are required to improve the tests to be more valid and authentic than the conventional ones (Chapelle & Douglas, 2006; Ockey, 2009; Shin, 2010). Test interface is one of the so-called construct-irrelevant variables (Fulcher, 2003), and the present study aims to explore the effects of typeface, size, and line spacing on computer-based reading test performance. Based on the pedagogical premise that test takers should be able to engage in the assessments which offer the preferred testing environments (Fulcher, 2003; Gabringer & Osman-Jouchoux, 1996), the test method of the study offered the option to adjust typography and line spacing of the passages and multiple choice questions as the participants wanted to. The present study aimed to see the effects of giving options in typeface, size, and line spacing on reading test performance and the survey responses for the tests with visual adjustment options. As such, the present study developed a computer-based reading test with options in interface design with regards to typeface, size, and line spacing where test takers were able to modify the visual environment of the test interface. After taking a paper-based reading test, all the participants were assigned to one of three groups. The three groups were statistically homogeneous, and the options were different by groups. The control group was not given any choice in altering visual settings, and they read in the default setting (Verdana, 12 point, single spaced) based on the previous studies. The experimental group 1 was provided with the option to modify the visual setting only before the real test. The experimental group 2 had the visual modification function throughout the test. The findings of this study are summarized as follows. First, the experimental results from the descriptive analysis of the use of the given options show that 64.27% of the limited modification group and 73.33% of the free modification group used the function. Among the three dimensions of modification, 27.59% of the experimental groups changed typeface and 48.28% of them adapted their default size to their preferred size. Line spacing, which was used by 55.17% of participants in the experimental groups, was the most used function and 1.5 was the most preferred line spacing setting. The results state that participants equipped with modification function adapted the configuration actively. Second, although many participants adopted the option for visual modification, there was no statistically significant difference between the three groups or their language proficiency. In other words, despite the fact that the function had been used by a majority of the experimental groups, the options did not trigger any statistical difference in the test scores. The participants, however, responded positively to the options in typeface, size, and line spacing. Of the participants who had actually used the function and performed in the adjusted configuration, 75.32% of them answered that they had been assisted by the modification. Among the three dimensions of options, line-spacing was the most preferred in their survey responses. Of the participants equipped with the adjustment options answered that they had been assisted by the options throughout the test taking process, 80.43% of them answered that they wanted the modification option in their future computer-based reading test; also, 95.56% of the control group answered that they wanted to use the function. It was controversial in the aspect of the level of modification since it concerns some of the participants that the validity when the tests are feasible at any sense; since there can be a trade-off in terms of time between the modification and reading. There are a number of caveats to be noted regarding the present study. Of all above, the small sample size impedes the generalization of the results and discussions derived from this study. Also, the modification option was limited to the typeface, size and line spacing. There could be more diverse uses of giving options to test takers to support their performing computer-based reading tests. Despite the limitations of the study, the results of this study lead to the pedagogical implications. Although there was no significant effect of the typeface and line spacing adjustment options on the test performance, the participants, whether they had experienced the visual optimizing process or not, preferred to have the options to change the interface to their familiar settings. As mentioned above, the test environments should be similar to the target language use environment and be familiar to test takers (Bachman, 1990; Bachman & Palmer; 1996). As a result, there is a pedagogical implication that giving more options which do not harm the validity of the test would help the tests become authentic and learner-centered. The present study also touched on further research to look into other variables that may help tests become authentic and correspond with the target language use domain. Also, the present study touched on the issue of computer-based test taking strategies which could be different from the conventional ones; if there are any additional test taking strategies derived from the computer technology, scrutiny on a hypothesized strategy should follow. Lastly, the operational construct of computer-based reading tests could be revisited in terms of the current target language use domain and reading strategies; screen reading is more legible that prints for some language learners.