사용자 캘리브레이션이 필요 없는 시선 추적 모델 연구

Abstract

간접 시선 추적 시스템은 사용자의 머리에 장착하는 디바이스 없이도 화면에서의 사용자의 시선을 추정할 수 있다. 시선은 동공의 중심이 향해 있는 곳을 추정함으로써 구할 수 있다. 화면 주변에 적외선 조명을 설치하고 이 적외선 조명이 사용자의 각막에 반사된 모습을 카메라로 촬영함으로써, 이미지에서 동공의 경계와 화면에 대한 기준점 등의 시선 추정에 필요한 파라미터들을 얻을 수 있다. 사용자의 각막에 적외선 조명이 반사되어 보이는 점을 글린트(glint)라고 하는데, 화면 주변에 의도적으로 설치된 적외선 조명으로 인한 글린트는 시선에 따라 변하는 동공의 중심을 화면상의 좌표로 변환할 수 있는 기준이 될 수 있다. 이러한 현상을 이용하여 실험 전, 사용자에게 화면 곳곳을 쳐다보도록 하여 시선에 따른 동공의 중심과 글린트 좌표를 모으면, 이미지 상의 동공의 중심을 화면 좌표계로 변환하는 매핑 함수를 정의할 수 있다. 매핑 함수는 단순히 이미지 상의 동공의 중심을 화면상의 좌표계로 변환해주기 때문에 모니터에 장착된 디바이스의 위치와 방향에 대한 캘리브레이션이나 사람마다 다른 안구의 파라미터들을 고려할 필요가 없다. 하지만 캘리브레이션 과정을 측정 환경과 사람이 달라질 때마다 매번 수행해야 하기 때문에 사용자와 실험자 입장에서 편의성이 떨어진다는 단점이 있다. 또한 캘리브레이션으로 수집한 점은 9개 내외로 한정되어 있기 때문에 화면에서의 모든 시선에 대해 정확하지 않다는 점이 오차를 증가시키는 요인이 될 수 있다. 그러나 이러한 방법은 정교한 시스템 캘리브레이션이 필요 없고 실험 장치의 가격이 저렴하면서도 좋은 정확도를 가지고 있기 때문에 오차를 증가시키는 요인을 보완한다면 시스템의 정확도와 사용성을 더욱 높일 수 있는 가능성이 크다. 본 논문에서는 이러한 사용자 캘리브레이션 과정을 생략할 수 있는 간접 시선추적 시스템을 제시한다. 앞선 연구들에서는 이미지에서의 동공의 중심을 화면 상의 시선 좌표로 변환하는데 있어서 특정 지점을 바라보았을 때의 동공의 중심 좌표들을 실험 전에 수집해야 했다. 본 연구에서는 이러한 기준 좌표들을 알지 않아도 비디오 프레임 상의 글린트의 좌표 정보만으로 시선 좌표를 추정할 수 있도록 하였다. 구현된 시스템을 이용하여 3명의 실험 참여자에 대하여 시선을 추정 해 본 결과, 캘리브레이션 과정을 거치지 않았음에도 불구하고 기존의 상용화된 시스템과 비슷한 수준의 정확도와 정밀도를 보여주었다. 또한 시스템의 안정성 향상을 위해 시선에 따라 이미지 상에서 인식이 되지 않은 글린트를 복원하는 알고리즘을 개발하여 번지거나 보이지 않는 글린트의 인덱스와 위치를 추정하였다. 이러한 알고리즘을 시스템에 적용한 결과, 글린트 인덱싱의 정확도를 높이고 시선을 계산할 수 있는 유효한 이미지 프레임을 늘릴 수 있었다.;A gaze tracking system estimates the gaze direction by analyzing eye movement. Every gaze tracking system requires a number of calibrations that determine the intrinsic parameters of the camera and the relative position between the hardware (e.g., monitor, cameras, infra-red LEDs) and the eye’s parameters. In particular, user-calibration is essential for a remote gaze tracking system with feature-based methods that analyze the captured image of the user’s eyes. User-calibration is performed by allowing a user to gaze at several points on a monitor before using the system. This process reduces potential errors that can occur while the system corrects the glint position. However, there are limitations to error reduction because head movement cannot be considered in the calibration procedure. Furthermore, this procedure can be inconvenient for users and might affect gaze observation experimentation. Therefore minimizing or even eliminating the user-calibration process is ideal for preventing the occurrence of potential errors in a remote gaze tracking system. This thesis presents a novel gaze estimation system that does not necessitate a user-calibration procedure. This method estimates the point of gaze with an accuracy comparable to existing research without performing user-calibration. This thesis proposes a gaze estimation system that eliminates user-calibration procedures, thus increasing convenience for users. Experimentation reveals that accuracy and precision are maintained even though calibration was obviated. Furthermore, it presents a recovery algorithm that reconstructs missing glints not detected in captured images. This approach enhances the accuracy of glints and increases the number of effective frames, thus resulting in a robust tracking system.