Omnidirectional Feedback System in VR for People With Visual Impairments

Abstract

Finding a specific object is an essential task in daily life for every people. However, people with visual impairments have the challenge of understanding the 3D position of the objects. Thus, many studies have been conducted to provide directional guidance using nonvisual feedback, but most are limited to two-dimensional guidance. In this study, we investigated various feedback designs that inform the direction of the target in 3D space. As for visual feedback, we proposed the PanoCue system, which provides a panorama view of the surrounding environment informing the direction, height, and distance of the target. In addition, we proposed two-step guidance as for nonvisual feedback, which guides the user in a horizontal direction of the target first then vertical direction followed. We conducted user studies with target finding tasks to confirm the effectiveness of each feedback. Based on the findings of user studies, we designed the omnidirectional feedback system, which detects the object using a deep learning model and conveys the object’s directional information using visual and nonvisual feedback. ;모든 사람에게 특정한 대상을 찾는 것은 일상 생활에서 필수적인 일이다. 그러나, 시각 장애가 있는 사람들은 물체의 3차원 위치를 확인하는 데 어려움을 겪는다. 이러한 이유로 비시각적 피드백을 사용하여 물체의 방향 안내를 제공하기 위한 많은 연구가 수행되었으나, 대부분은 2차원에서의 안내로 제한된다. 따라서 본 연구에서는 3차원 공간에서 표적의 방향을 전달하기 위한 다양한 피드백 디자인을 조사하였다. 시각적 피드백으로는 주변 환경을 파노라마 뷰로 나타내어 대상의 방향, 높이, 거리를 알려주는 파노큐 시스템을 제안하였다. 또한 비시각적 피드백으로는 사용자를 먼저 대상의 수평 방향으로 안내한 후 수직 방향 안내로 이어지는 2단계 안내를 제안하였다. 각 피드백의 효과를 확인하기 위해 표적을 찾는 작업을 통한 사용자 연구를 수행하였다. 사용자 연구의 결과를 바탕으로 딥러닝 모델을 사용하여 물체를 감지하고 물체의 방향 정보를 전달하는 전방향 피드백 시스템을 설계하였다.