Exploring the Effects of Input Devices and Facial Expressions on Immersion in Virtual Reality

Abstract

The type of input device and the presence of facial expressions are known to affect the level of immersion in virtual reality. To better understand the effect in various contexts, we first investigated three different input devices: a keyboard, a hand-held controller, and a device that detects bare-hand gestures. We conducted a user study where participants were asked to conduct a series of magnet experiments using each input device and rate the level of immersion. Then we conducted another study to explore the effect of presenting facial expressions during social interaction. We instructed participants to have a short conversation and play a charades game where a virtual performer’s facial expressions were either present or absent. The result of the first study showed that the device that detects bare-hand gestures was considered to be the most immersive although the keyboard was perceived to have the best usability because of familiarity. As for the second study, participants preferred to glance towards the face area more often while having a conversation or attempting to predict emotion-related keywords (e.g., joy) when playing charade compared to predicting keywords not related to emotion (e.g., playing basketball) regardless of whether facial expressions were present or not. Through these two studies, it is confirmed that there is a trade-off between immersion and familiarity with input devices for a virtual environment. In addition, we discovered that there is a tendency to pay attention to the face area where reading facial expressions is considered to be important in social contexts.;어떤 입력 장치 사용하는 지와 얼굴 표정의 존재가 가상 현실에서 몰입감 의 정도에 영향을 미친다는 것이 이미 알려져 있다. 이를 다양한 상황에서 이해하기 위해 세 가지 입력 장치(키보드, 손에 쥐는 컨트롤러, 손동작을 인식하는 장치)를 사용하여 연구를 진행하였다. 이를 위해 진행한 유저 스 터디에서 참가자들은 자석 실험을 각 입력 장치를 사용하여 진행하였고 몰입감의 정도를 점수로 매겼다. 그 후 진행한 연구에서 가상 현실에서 사회적 상호작용이 있을 때 얼굴 표정의 영향을 유저 스터디를 통해 탐구하였다. 참가자들은 간단한 대화를 나누고 셔레이드 게임을 진행하였고 실험 조건으로 가상 아바타의 얼굴 표정의 유무를 설정하였다. 첫 번째 연구의 결과는 손동작을 인식하는 장치가 가장 높은 몰입감을, 키보드가 친숙함 때문에 가장 높은 사용성을 나타냈다. 두 번째 연구에서는 참가자들은 대화를 하거나 셔레이드 게임에서 감정을 나타내는 단어(예 : 기쁨)가 문제일 때 감정이 아닌 단어(예 : 농구)가 문제일 때 대비 얼굴을 보는 것을 선호했다. 이 두 연구를 통해 가상 현실에서 사용한 입력 장치에서 몰입감과 친숙함이 모순적인 관계가 있다는 것을 알 수 있었다. 또한 사회적 상황에서 얼굴 표정이 중요할 때 얼굴 부분에 더 주의를 기울인다는 것을 발견하였다.