Effects of Virtual Reality on Listening Test Performance and Test-takers’ Perceptions of the Usefulness of Virtual Reality

Abstract

The present study investigated the usefulness of a virtual reality (VR) listening test by collecting and analyzing empirical evidence from multiple angles. Due to the prevalence of visual input in real-life listening practices, it seems reasonable to provide test-takers with visual input in listening tests. The provision of visual input has been expected to induce more construct-relevant variance in assessment and enhance the authenticity of the tests. In lieu of the traditional testing modes, the present research suggests VR technology as an alternative approach that can provide test-takers with immersive conversation settings. A total of 304 undergraduate and graduate students in Korea participated in the study. The test-takers were divided into two proficiency levels, low and high, and assigned into three experimental groups: audio, video, and VR listening test groups. The listening test consisted of thirty multiple-choice items with four response options. The same listening test was administered to each participant in one of the listening test modes. The VR test-taking processes were video-recorded to examine their interaction with VR content. Retrospective verbal reports were collected to explore the test-takers’ utilization of VR. To understand the impact of visual input on the VR listening test scores, the rates of correct answers between the test-takers who viewed the specific VR scenes and those who did not were compared. Questionnaires of the test-takers’ presence levels were conducted to investigate how immersive the VR test-takers’ experiences were in each virtual location. A questionnaire concerning the VR listening test’s usefulness, including the advantages and disadvantages of using VR in listening assessment and cybersickness experience, was also administered. In addition, semi-structured interviews were conducted to elicit the test-takers’ perceptions on the VR listening test experiences and ask them to elucidate the responses provided in the questionnaires. The major findings of the present study are as follows. The VR listening test scores and the standardized listening test scores were manifested to be moderately correlated. When it came to the test-takers’ interaction with VR content, the analysis of VR scenes and audio input at the point of changing viewpoints revealed that the test-takers actually gazed at and utilized VR images. The analysis of verbal reports showed that the visual input assisted test-takers’ listening comprehension when they did not completely understand the audio stream. Sometimes, the test-takers partially comprehended the audio input and did not process the visual input simultaneously. In this case, they tended to recall previous VR scenes or following scenes to understand overall listening and successfully responded to the questions. The rate of correct answers was higher if the test-takers viewed the VR content. Moreover, the high-level test-takers were more likely to move their heads and gaze at the VR scenes than the low-level test-takers. The test mode effects on the listening test-takers’ test performance were also investigated. The VR listening test group outperformed the audio- and video-listening testing groups, revealing that receiving VR input led to improved listening test performance. The VR group showed a greater ability to search for detailed information than the video group at a statistically significant level. In addition, the difference in the test scores between the audio and the VR groups was statistically significant for the inference questions. When it came to the VR test-takers’ perceived level of presence and cybersickness experience, they generally displayed a high perceived level of presence in each virtual location. Although the mean score for cybersickness was not high, several participants still experienced mild cybersickness during the test. Regarding the advantages of the VR listening test, they reported that VR placed them in highly realistic worlds and helped them quickly recognize settings and atmospheres. They also expressed that VR made them choose their field of view and where to devote their attention. With respect to the disadvantages of the VR listening test, since note-taking was not technically possible in the world of VR, they were often pressured to remember all the details, particularly for the monologues. Additionally, they commented that they were sometimes distracted by noise and people in the background who were not involved in the conversations. When the test-takers were asked whether they would incline to take a VR listening test over another listening test mode, more than half of them answered in the affirmative. The results of the present study demonstrated that the perceived level of presence could increase the authenticity of listening materials in assessment. In accordance with the findings, the use of VR in listening assessment may be encouraged to bring improvements to the current state of listening tests. Since several test-takers experienced mild cybersickness and had different degrees of perceived presence level, more research thus needs to be conducted on VR listening assessments that allow test-takers to maximize their listening ability in a comfortable testing environment. ;본 연구는 높은 실재감을 제공할 수 있는 가상현실 기술을 도입한 영어 듣기 평가의 유용성을 알아보는 것을 목적으로 한다. 본 연구에 참여한 인원은 304명으로, 하위/상위 수준으로 수험자들을 나눈 뒤, 각각 오디오, 비디오, 그리고 가상현실 기반 듣기 시험 집단으로 나누고 본 실험을 진행하였다. 이미 타당도가 입증된 듣기 평가 도구인 TOEIC 듣기 시험 점수와 가상현실 기반 듣기 평가 점수 사이의 상관계수를 구해 본 결과, 양호한 상관관계가 나타났다. 이것은 가상현실 기반 듣기 시험의 타당도를 보여주는 하나의 증거로 볼 수 있다. 수험자들이 실제로 가상현실 영상을 활용하는지 알아보았고 그것이 어떻게 시험 점수에 영향을 끼치는지 살펴보았다. 수험자들은 대부분의 시간 동안 움직임 없이 정면을 향해 가상현실 영상을 시청하였다. 특정 시점에서 뒤를 보거나, 오른쪽/왼쪽으로 머리를 돌리거나, 아래/위를 보기도 하고, 두리번거리기는 모습이 관찰되었다. 움직임이 나타난 해당 장면과 관련된 문항을 알아내고, 문제 풀이 과정을 기술한 회상 자료를 분석한 결과, 가상현실이 제공하는 시각 정보가 듣기 내용을 이해하는데 도움이 되는 것으로 나타나 가상현실 기반 듣기 평가의 타당성이 높다는 것을 보여주었다. 그리고 수험자들이 음성 자료는 이해하지 못했지만 시각 정보를 활용해서 대화의 상황이나 화자의 의도를 파악하는 것을 밝혀냈다. 이 점은 중요한 듣기 능력 중 하나이기 때문에 가상현실 기반 듣기 시험의 타당성을 보여주는 결과라고 여겨진다. 가상현실이 제공하는 시각 정보가 듣기 시험 결과에 미치는 영향을 이해하기 위해 관련된 일곱 개의 문항을 골라 분석하였다. 머리를 움직여 해당장면을 본 학생과 그렇지 않은 학생들의 정답율을 비교해 보니, 여섯 개의 문항에서 해당 장면을 본 학생들의 정답율이 그렇지 않은 학생들보다 높은 것으로 나타났다. 그리고 상위 학습자들이 몸을 움직여 해당 장면을 더 많이 본 것으로 나타났고, 장면을 보았을 때 답을 맞출 확률도 더 높은 것으로 나타났다. 일곱 개 문항 중 한 개의 문항에서는 수험자들이 장면을 보았음에도 정답율에 영향을 끼치지 않았다. 이 문항의 경우, 다른 여섯 개의 문항과 달리 전체 정답율이 상당히 낮게 나타났고, 수험자들이 모르는 단어가 있어 정답을 고르는 것이 어려웠다고 언급한 자료를 보면, 시각자료를 활용하기 위해서는 어느 정도의 언어 실력이 뒷받침되어야 하는 것을 시사한다. 시각자료가 제시되지 않는 전통적인 오디오 듣기시험 집단, 비디오 듣기 시험 집단, 그리고 가상현실 기반 듣기 시험집단의 시험 결과를 비교하여 가상현실 기반 듣기 시험의 또 다른 타당도의 증거를 수집하고자 하였다. 가상현실 기반 집단의 전체 점수가 오디오 및 비디오 집단과 비교해볼 때, 통계적으로 유의미하게 높게 나타났다. 가상현실이 제공한 시각 자료가 수험자들로 하여금 문제를 푸는 데 더욱 도움을 준 것을 알 수 있었다. 반면에 오디오와 비디오 집단 사이에서는 통계적으로 유의미한 차이가 없었다. 그리고 가상현실 기반 듣기 시험 집단이 세부내용 파악하기 문항과 추론 문항에서 두 집단 보다 더 높은 점수를 받았다. 시험 점수가 더 높다고 해서 반드시 그 시험이 더 타당하다고 결론 내리기는 어렵지만, 수험자가 보고한 것처럼 가상현실에서 본 시각 정보가 듣기 내용을 파악하고 문제를 푸는 데 도움이 된 것으로 밝혀졌고, 수험자의 영어 듣기 실력도 시험 점수에 영향을 끼친 것으로 나타났다. 가상현실 기반 시험을 볼 때 수험자가 마치 가상 공간 속에 있는 듯한 실재감을 느꼈는지 조사해 본 결과, 수험자들은 여섯 가지 가상 공간 속에서 상당히 높은 실재감을 느낀 것으로 나타났다. 독백보다는 대화가 이루어지는 가상현실 공간에서의 실재감이 높았고, 자신들이 익숙한 상황이거나, 실제 대화와 같은 망설임이나, 삽입어와 축약형 등이 있을수록 수험자가 느끼는 실재감이 커진 것으로 나타났다. 실제 공간에서 촬영된 곳이 아닌 컴퓨터가 만들어낸 가상 공간에서는 실재감이 가장 낮게 나타났다. 이 곳의 경우, 등장인물이 없이 오디오로만 내용을 청취하는 설정이었다. 이러한 결과는 가상현실이라고 해서 무조건 실재감이 높을 것이라고 단정해서는 안 된다는 점을 보여준다. 설문조사를 통하여 수험자들이 느꼈던 가상 공간에서의 멀미 정도를 조사하였는데 많은 학생들이 구토할 정도로 심각한 수준은 아니었지만, 어느 정도의 어지러움을 느꼈다고 응답하였다. 장면의 전환이 많은 경우, 더욱 어지러움을 경험하는 것으로 밝혀졌다. 마지막으로 가상현실 기반 듣기 평가의 유용성을 알아보기 위하여 가상현실 기반 듣기 평가의 장점과 단점을 조사하였다. 장점으로 언급된 것을 살펴보면, 가상현실에서 대화의 상황을 이해하기가 쉽고 분위기를 빠르게 파악할 수 있다는 것, 등장인물들의 태도, 표정, 몸짓 등을 통해 발화자의 의도나 기분을 쉽게 파악할 수 있다는 것이 보고되었다. 또한, 비디오처럼 편집된 장면만을 수동적으로 보는 것이 아니라 본인이 직접 시각자료를 활용함으로 보고 싶은 것을 볼 수 있는 점이 또 다른 장점이라고 언급되었다. 단점으로 수험자들이 VR HMD 기기를 착용해야 하기 때문에 노트 필기가 불가능하다는 것과, 원하는 모든 곳을 볼 수 있지만 어디를 보아야 할지 결정하기 어려웠다고 언급하였다. 배경 소음이나 대화에 참여하지 않는 다른 사람들의 목소리가 듣기에 방해가 되었다는 것도 단점으로 보고되었다. 본 연구를 종합해 보면, 가상현실 기반 듣기 시험이 타당한 영어 듣기 시험으로 사용될 가능성이 높아 보인다. 그렇지만, 성급하게 가상현실을 듣기 시험에 도입하는 것은 위험해 보인다. 특히, 본 연구에서 가상현실을 사용하여 수험자들에게 제공되는 듣기 자료의 진성성을 높일 수는 있었지만, 선다형 문항을 사용하였기 때문에 듣기 실력을 측정하는데 있어서는 진정성 높은 과업을 도입했다고 할 수 없다. 노트 필기가 불가하여 출제할 수 있는 시험 문제 형식에 한계가 있을 수 있고, 모든 수험자마다 장비를 갖추는 것이 비용이 들어 평가의 실용성 측면에 문제가 있을 수 있다. VR HMD의 기능을 활용하지 않는 수험자도 관찰되었고, 어지러움을 느끼는 수험자의 경우도 확인할 수 있었다. 본 논문에서 수험자들이 단점으로 언급했던 사항들을 고려하여, 평가 상황 및 목적에 맞게 가상현실이 듣기 평가에 사용되어야 할 것이다. 이러한 점을 염두에 두고, 좀 더 다양한 가상현실 기반 듣기 평가 개발과 사용에 대한 연구가 필요한 것을 시사한다.