아다부스트(Adaboost)알고리즘 기반의 스마트폰 제스처 인터페이스 디자인에 관한 연구

Abstract

Recently, as the number of smart phone users increase, various types of smart phones are being developed and the technological level is also advancing rapidly. Samsung’s GalaxyS2 and Apple’s iPhone are the most representative examples and both of these smart phones are embedded with an accelerometer and a gyro sensor etc., which allows them to recognize user behaviors. In this sense, products that present new gesture interface utilizing sensor information as their differentiated feature are increasing, and the number will gradually increase more in the future. Along with the growing market and technological development, the importance of studies on the usability of gesture interface is increasing. However so far, due to the low recognition and frequent malfunction, there are obstacles to the advancement of gesture interface usability. This is because it is difficult to predict all different perceptions and using behaviors of individual users. In order to design gesture interface with high recognition and few errors, a new approach of quantitative design research methodology based on recognition technology, which is different to the existing qualitative design research methodology, is demanded. Thus studies using research methodologies suggested by existing fields of probability and prediction on gesture recognition are actively proceeding. There are algorithms such as HMM or DTW that are widely used on gesture recognition, but Adaboost algorithm mainly used for facial recognition is not yet widely used for gesture recognition. Therefore, in this research, gesture interface with a high recognition is suggested by utilizing the Adaboost algorithm, which is receiving a lot of attention in the field of machine learning and prediction model. Based on this, the purpose of this research is to design with learnability and memorability. As a result of literature research and surveys related to gesture interface usability of smart phones, it has been acknowledged that users would like to complain and they are not that satisfied with the existing gesture interfaces. However the research also suggested that the users would still like to control more functions through gesture interface. The biggest problem identified was the low recognition, and it was confirmed that users preferred to use gesture interface when executing simple commands such as ‘Yes’, ‘No’, ‘Confirm’, and ‘Cancel’. GalaxyS2 was selected as the experimental target device and the experiment was proceeded by utilizing the accelerometer and a gyro sensor. Forty participants performed random gestures regarding the four functions of ‘Yes’, ‘No’, ‘Confirm’, and ‘Cancel’. Then the Adaboost algorithm was designed using the sensor values collected. The designed Adaboost algorithm limited the range of movement by collecting the diverse movements, and consequently three suggestions were extracted, consisting gesture interface candidates with guaranteed optimum level of recognition for each four functions. The gesture interface candidate with the highest recognition was selected and, considering the principle of usability defined by Nielson, four gesture interfaces of ‘Yes’, ‘No’, ‘Confirm’, and ‘Cancel’ with high usability were designed. The ‘Yes’ function was designed of the gesture tilting the smart phone once forward and back to its place, and the ‘No’ function, the gesture shaking the smart phone horizontally left and right. ‘Confirm’ can be executed by a more significant nodding gesture tilting the smart phone forward twice. The gesture for the ‘Cancel’ function was designed as striking the smart phone down, set upon the side. Moreover, eight reviewers were selected from the survey participants to carry out usability testing. In the result of the survey, we observed that the recognition of ‘Cancel’ function is not very high, but three other functions have high recognition. The majority of the reviewers assessed that the movements are ‘comfortable’, ‘easy to accustom’, and ‘intuitive’, but pointed out that the movements may give them a sore wrist as the gestures mainly require a lot of wrist movement. In conclusion, based on the Adaboost algorithm, four gesture interfaces have been designed for ‘Yes’, ‘No’, ‘Confirm’, and ‘Cancel’ with improved usability compared to the existing gesture interfaces. The gesture interfaces proposed in this study provide users with values of simplicity, intuition, and satisfaction. Also it was confirmed that the biggest obstacles to gesture interface usability, concerning the low recognition and the high error rate, were improved. In this study, the testified Adaboost algorithm of outstanding performance and reliability was applied to the design research methodology and the effects were verified. The attempt is in particular significant in that algorithm formerly mainly used for recognition and detection was newly applied for the use of expression and creation. It is anticipated that in future studies the Adaboost algorithm will be actively utilized in the creation of new gesture interface design, not only sensor based but also visual image based, and for the improvement of its usability.;최근 스마트폰(Smart phone)을 사용하는 사용자가 증가함에 따라 많은 종류의 스마트폰이 개발되고 있으며 기술 수준 또한 빠른 속도로 발전하고 있다. 삼성의 갤럭시S2(Galaxy S2)와 애플(Apple)의 아이폰(iPhone)이 그 대표적인 예이며 이들 스마트폰에는 공통적으로 가속도센서(accelerometer)와 자이로센서(gyroscope) 등이 탑재되어 사용자의 행동을 인식할 수 있다. 이에 따라 센서 정보를 이용한 새로운 제스처 인터페이스(Gesture Interface)를 차별화 요소로 내세운 제품들이 늘어나고 있으며, 그 숫자는 앞으로 점점 더 많아질 것이다. 점점 커지는 시장과 기술적 발전에 따라 제스처 인터페이스의 사용성(Usability)에 관한 연구는 그 중요도가 높아지고 있다. 하지만 아직까지도 낮은 인식률과 잦은 오동작은 제스처 인터페이스의 사용성 향상에 큰 장애요소로 작용하고 있다. 이는 개인별로 각기 다른 사용자의 인지수준과 사용행태를 모두 예측하기 어렵기 때문이다. 인식률이 높고 에러가 적은 제스처 인터페이스를 디자인하기 위해서는 기존의 정성적인 디자인방법론과는 달리 인식기술을 기반으로 한 정량적인 방법의 새로운 접근이 요구된다. 이에 따라 기존 확률 및 예측분야에서 제안된 방법론들을 제스처 인식에도 사용하는 연구들이 활발히 진행되고 있다. 은닉 마르코프 모델(Hidden Markov Models; HMMs)이나 동적 시간 신축 알고리즘(Dynamic Time Warping; DTW)와 같이 이미 제스처 인식에도 널리 사용 되고 있는 알고리즘도 있지만, 얼굴 인식 알고리즘으로 주로 사용되는 아다부스트 알고리즘(Adaboost algorithm)은 아직까지 제스처 인식을 위하여 사용된 예가 적다. 따라서 본 연구에서는 기계학습 및 예측모델 분야에서 많은 주목을 받고 있는 아다부스트 알고리즘을 이용하여 인식률이 높은 제스처 인터페이스를 제안하고, 이를 바탕으로 하여 학습이 쉽고 기억하기 쉬운 디자인을 하는 것을 목표로 하였다. 문헌조사와 웹서치, 설문조사를 통해 현재 스마트폰에서 제공하고 있는 제스처 인터페이스에 대한 사용성 관련 조사를 한 결과, 사용자들이 제스처 인터페이스를 불편하게 여기고 크게 만족하고 있지는 않지만 제스처 인터페이스를 이용해 더 많은 기능을 제어하고 싶어 하는 것으로 조사되었다. 제스처 인터페이스의 사용성에 관해서는 낮은 인식률이 가장 큰 문제점으로 확인되었고, 제스처 인터페이스로 사용하고 싶은 기능으로는 ‘예(Yes)’, ‘아니오(No)’, ‘확인(Confirm)’, ‘취소(Cancel)’ 와 같은 간단한 입력인 것을 확인하였다. 실험 타겟 디바이스는 갤럭시S2로 선정하였고, 갤럭시S2에 내장된 가속도센서와 자이로센서를 이용해 제스처를 인식하여 실험을 진행하였다. ‘예’, ‘아니오’, ‘확인’, ‘취소’ 네 가지의 기능에 대해 실험참여자 40명이 임의로 제스처를 입력하였고, 이때 수집된 센서값들을 이용하여 아다부스트 알고리즘을 설계하였다. 설계된 아다부스트 알고리즘은 다수의 랜덤한 동작들을 수렴시켜 동작범위를 한정시켜 주었고 이를 기반으로 네 개의 기능별로 적정수준의 인식률이 보장된 제스처 인터페이스 후보군을 각각 세 개씩 제안 할 수 있었다. 후보 제스처 인터페이스 중 가장 높은 인식률을 가진 하나를 선택하고, 닐슨(Nielson)이 정의한 사용성 원칙을 고려하여 사용성이 높은 ‘예’, ‘아니오’, ‘확인’, ‘취소’ 네 개의 제스처 인터페이스를 디자인하였다. ‘예’ 기능은 스마트폰을 앞으로 한번 기울였다가 제자리로 돌아가는 끄덕이는 제스처로, ‘아니오’ 기능은 스마트폰을 좌우 수평으로 두 번 흔드는 도리질 제스처로, ‘확인’은 스마트폰을 앞으로 두 번 기울이는 좀 더 확실한 끄덕임의 제스처로, 그리고 ‘취소’ 기능은 스마트폰의 옆면을 세워 내리치는 제스처로 디자인하였다. 아울러, 앞서 설문조사 참여 대상자중 8명을 선정하여 사용성평가를 수행하였다. 인식률 평가 결과 ‘취소’ 제스처는 크게 높지 않았으나, 나머지 세 개의 제스처는 높은 인식률을 가지는 것을 확인하였다. 평가자들은 대체로 ‘편하다’, ‘쉽게 익숙해진다’, ‘동작이 직관적(Intuitive)이다’라고 평가하였고, 주로 손목을 움직이는 제스처이므로 여러 번 사용하면 손목에 무리가 올 것 같다는 단점을 지적하였다. 본 연구에서는 아다부스트 알고리즘을 기반으로 하여 기존의 제스처 인터페이스보다 사용성이 향상된 ‘예’, ‘아니오’, ‘확인’, ‘취소’ 네 개의 제스처 인터페이스를 디자인 하였다. 본 연구에서 제안된 제스처 인터페이스는 사용자에게 단순함, 직관성의 가치를 제공한다. 또한 제스처 인터페이스의 사용성에 가장 큰 난관이었던 낮은 인식률과 에러율이 현저히 개선되었음을 확인하였다. 본 연구에서는 뛰어난 성능과 신뢰성이 입증된 아다부스트 알고리즘을 디자인 방법론에 적용하여 그 효과를 입증하였으며, 특히 인식과 검출에 사용되는 알고리즘을 표현과 생성에 적용해 보았다는데 의의가 있다. 향후 연구에서 센서 기반뿐만 아니라 영상기반 등의 새로운 제스처 인터페이스 디자인과 그 사용성 개선에 아다부스트 알고리즘이 적극 활용되기를 기대한다.