제스처 기반 학습 전시물 관람에서 관람객의 사용성, 인지적 학습 효과와 제스처 사용양상 분석

Abstract

과학관에서의 전시물 관람 경험은 관람객들에게 비형식적이고, 즉각적이며, 자연스럽고, 자발적인 비형식 학습(informal learning) 경험으로써 작용한다. 관람객은 과학관에서 전시물과의 상호작용을 통해 내적 맥락을 형성하고, 다른 관람객과의 상호작용을 통해 상호적 맥락을 형성하는 일련의 과정을 통해 학습한다. 그러나 기존의 전시물의 수동적인 연출과 관람 형태는 관람객의 능동적이고 적극적인 참여와 과학적 사고의 촉진을 이끌어내기 어려웠다. 이에 따라 최근 과학관 전시물들은 관람객의 상호작용을 포함하는 인터랙티브 전시물로 변모하고 있는 추세이다. 특히 관람객의 신체를 인식하는 제스처 컴퓨팅 기술이 발전함에 따라 전시물이 관람객의 제스처를 인식하여 학습을 촉진하는 제스처 기반 학습 전시물에 대한 관심이 대두되고 있으며 빠른 시일 내에 과학관 현장에 도입될 것으로 예상되고 있고 있다. 한편 과학관에서는 전시물에 대한 관람객의 관심과 흥미를 이끌어내고, 인지적 학습을 도모하기 위해 패널, 시청각적 자료, 도슨트 가이드 등의 설명을 제공하고 있다. 그러나 과학관 내의 전시물들이 대부분 시청각적 정보 전달 매체에 의존하고 있으며, 이는 관람객의 인지 부하를 야기해 학습 효과를 저해한다. 이에 반해 몸감각을 사용하는 제스처 기반 학습 전시물은 인지 부하 수준이 낮고 관람객이 새로운 정보를 인식하고 처리하는 과정을 보조할 수 있다. 즉, 제스처 기반 학습 전시물의 관람에서 제스처는 인지와 의사소통의 수단으로서의 역할을 수행할 수 있다. 본 연구는 제스처 기반 학습 전시물 관람에서 관람객의 관람 경험을 종합적으로 탐색해보고자 하였다. 이를 위해 제스처 기반 학습 전시물 관람을 사용성, 인지적 학습 효과, 제스처 사용양상의 측면에서 다각도로 살펴보았다. 이와 함께 전시물 관람에서의 설명 제시의 효과를 함께 살펴보았다. 이를 위해 추상적인 과학 개념인 ‘전류와 저항’ 영역을 학습 내용으로 하는 전시물을 개발하였다. 인지적 학습을 도모하기 위해 과학적 개념으로부터 도출한 메타포(metaphor)를 제스처와 하향식으로 연관시켰으며, 관람객 간 상호작용을 살펴보기 위해 두 명의 관람객이 함께 사용할 수 있도록 설계하였다. 이후, 설명 제시의 효과를 살펴보기 위해 두 집단으로 나누어 실험을 실시하였다. 설명제시 집단에게는 개념의 명칭, 개념의 관계, 개념의 예시의 다양한 수준으로 설명을 제공하였으며, 전시물의 기능과 의미에 대한 간략한 설명이 함께 제공되었다. 전시물의 사용성과 인지적 학습 효과는 양적 자료에 대한 분석 결과를 바탕으로 확인하였으며, 제스처 사용양상은 질적 자료에 대한 분석 결과를 바탕으로 확인하였다. 연구 결과는 다음과 같다. 첫째, 전시물 사용성을 분석한 결과, 제스처 기반 학습 전시물의 사용성은 전반적으로 유의하게 높은 것으로 나타났으며 특히 여학생과 고등학생이 남학생과 중학생보다 사용성이 높았다. 이는 전시물 관람 동안 신체적 피로감과 관련된 행동이 남학생과 중학생 관람객에게서 빈번하게 나타난 것과 관련된 것으로 해석된다. 과학관의 전시물은 다양한 성별과 연령의 관람객이 사용하게 되는 만큼 누구나 사용 가능한 보편적 설계(universal design)가 필요하며, 제스처를 사용한 전시물의 경우 관람객의 신체적 피로를 고려할 필요가 있다. 본 연구를 통해 확인된 기준 제스처(baseline gesture)는 관람객들이 신체적 피로를 최소화하기 위한 반응으로 해석되며, 다른 제스처 기반 학습 전시물에서도 이와 유사한 기준 제스처가 나타날 것으로 예측된다. 또한, 제스처의 범위 측면에서도 관람객들이 편하게 느끼고 실제로 움직임이 일어나는 범위 내에서 학습 내용이 모두 전달될 수 있도록 설계되어야 한다. 둘째, 인지적 학습 효과를 분석한 결과 제스처 기반 학습 전시물은 과학적 개념에 대한 인지적 학습에 유의한 수준의 긍정적 영향을 미치는 것으로 나타났다. 이는 전시물의 설계 요소가 학습 내용과 긴밀하게 관련될 경우 효과적인 학습이 가능하다는 선행연구의 결과와도 일치한다. 그러나 관람객들은 편하고 자연스럽게 느끼는 제스처를 위주로 편향된 제스처 사용을 보였으며, 이로 인해 자주 사용한 제스처와 관련된 횡적 개념은 강하게 인식한 반면, 제스처 사용이 비교적 적었던 종적 개념은 인식하지 못하기도 하였다. 따라서 제스처를 설계할 때, 관람객이 편하게 느끼는 제스처와 핵심 개념을 연결 짓고, 다양한 제스처를 시도해 볼 수 있도록 하는 전략을 마련해야 한다. 셋째, 전시물의 인지적 효과는 설명이 제공되는 관람 환경보다 자유로운 관람 환경에서 보다 효과적인 것으로 나타났다. 이는 자유로운 관람 환경에서 관람객이 능동적이고 적극적으로 전시물 및 동료 관람객과 상호작용하는 경향이 있기 때문인 것으로 해석할 수 있다. 관람객들이 설명으로부터 얻을 수 있는 과학적 지식은 상호작용을 통해서 얼마든지 획득될 수 있으며, 오히려 상호작용을 통해 의미를 탐구하고 발견하는 과정이 인지적 학습에 유의미한 영향을 미쳤을 것으로 보인다. 따라서 과학적 지식과 정보를 일방향적으로 제시하는 설명 위주의 기존 전시 방식에서 벗어나 관람객의 자유로운 탐구적 관람을 지원하는 촉진적 관람 환경이 요구된다. 넷째, 전시물에 대한 기능적 설명이 제시되지 않았을 때 관람객들은 탐색 단계에서 혼란스러움을 경험할 수 있다. 그러나 제스처 기반 학습 전시물은 전시물 자체의 매력으로 관람객의 적극적이고 능동적인 초기 탐색을 유도하는 것으로 나타났다. 특히, 자유관람 집단의 관람객들은 보다 다양한 형태의 제스처를 골고루 사용하고 동료 관람객과 의사소통 함으로써 전시물의 기능에 대해 이해하였다. 전시물을 설계할 때 직관적으로 작동 방법을 파악할 수 있는 설계가 요구된다. 다섯째, 시각적 그래픽은 관람객의 자유로운 제스처 사용을 일부 제한할 수 있는 것으로 나타났다. 본 연구에서 관람객의 제스처는 회로도 상의 저항체 그래픽의 크기 변화로 시각화하였는데, 일부 관람객들이 시각적 정보를 오인하고 제스처의 횡적 범위를 제한하였다. 이에 따라 다른 관람객들에게서 거의 나타나지 않거나 매우 적게 나타난 종적 제스처 사용 시기가 이르게 나타났다. 또한, 과제 달성과 관련하여 제공되는 시각적 피드백이 전략적 제스처 사용에 영향을 미쳤다. 이처럼 제스처의 사용이 제한되는 것은 제스처와 연관된 개념의 인지적 학습에 영향을 미칠 수 있는 만큼, 시각적 요소는 관람객의 비형식적이고 탐구적인 학습을 촉진할 수 있도록 설계되고 활용되어야 할 것이다. 여섯째, 제스처 기반 학습 전시물은 관람객의 사전 지식을 활성화 시킴으로써 학습에 영향을 미칠 수 있다. 인지적 학습 효과 분석 결과, 사전 검사에서는 학교급에 따른 차이가 없었으나 사후 검사에서는 고등학생이 중학생에 비해 인지적 학습 효과가 높았다. 이는 사전 검사 단계에서는 인출되지 못했던 사전 지식이 전시물 관람 경험을 통해 활성화될 수 있었기 때문인 것으로 추측된다. 본 연구에서 도출한 패러다임에서 사전 지식은 맥락으로써 관람 경험에 영향을 미칠 수 있을 것으로 보았으나, 그 구체적인 효과를 발견하지는 못하였다. 본 연구의 의의는 다음과 같다. 첫째, 제스처 컴퓨팅 기술을 학습 전시물에 적용하여 개발하고 그 효과성과 사용양상을 살펴봄으로써 제스처 기반 인러택티브 영역에서의 연구를 확장하였다. 둘째, 제스처와 학습 내용 간의 연계성을 확보하면서 동시에 관람객의 자유로운 상호작용을 촉진하기 위해 하향식 접근 방식과 상향식 접근 방식을 혼용하여 전시물을 설계하여 설계 상의 시사점을 제공하였다. 셋째, 전시물 관람에서 나타나는 제스처의 속성과 패턴을 질적으로 분석함으로써 향후 제스처 기반 학습 전시물에 대한 이론적 기반을 제시하고자 하였다. 넷째, 제스처 기반 학습 전시물의 관람에서 설명의 효과와 의의를 밝힘으로써 전시물의 특성에 맞는 학습 촉진 전략에 대해 논의하였다.;The experience in the science center serves as an informal learning experience that the learning is informal, immediate, natural, and voluntary experience for visitors. The visitors learn through a series of processes that form an intracontext through interaction with the exhibits in the science center, and form a intercontext through interaction with other visitors. However, passive presentation and viewing of exhibits were difficult to promote visitors’ active participation and scientific thinking. Therefore, recently science center exhibits are being transformed into interactive exhibits that include the various interactions of visitors. Especially, as the gesture computing technology that recognizes the body posture and movement of the users develops, there is a growing interest in gesture-based learning displays in which exhibits recognize gestures of audiences and deliver learning contents through body movement. Such types of gesture-based learning exhibits are expected to be introduced in the field in a near future. Traditionally, however, most of the science center rely on providing panels, audiovisual materials with the exhibits, and docent guides to elicit the interest and interest of visitors toward exhibits and to promote cognitive learning. Also, most the exhibits in the science center highly tends to using audio-visual information delivery media, which causes cognitive load of viewers and hinders learning effect. On the other hand, gesture-based learning exhibits using body senses can assist the process of recognizing and processing new information with low level of cognitive load. In other words, in gesture-based learning exhibits, gestures can play a role as a means of recognition and communication. The purpose of this study is to explore the summative experience of visitors in gesture-based learning exhibits. Especially, this research focused on visitors’ usability, cognitive learning effects, and gesture usage patterns. In addition, this research discussed the effect of providing the explanation with using the gesture-based learning exhibits. This research has developed exhibits that cover the abstract science concept 'current and resistance'. In order to promote cognitive learning, a metaphor derived from a scientific concept was linked to the gesture in a top-down manner, and to observe the interaction between the visitors, the exhibit was designed to be used by two users together. In order to examine the effect of the explanation, this research divided into two groups. Explanations provided to the explanatory group were of the concepts, relationships, and examples, and a brief description of the function and meaning of the exhibit was also provided. The results of the study are as follows. First, the usability of the gesture-based learning exhibit was significantly higher than that of the male students and middle school students. This is interpreted that the behavior related to physical fatigue during the exhibition was frequently related to the appearance of boys and middle school students. As the exhibits should orient visitors of various genders and ages, universal design is required that anyone can use the exhibits. In the case of exhibits using gestures, it is necessary to consider the physical fatigue of the visitors. The baseline gesture confirmed through this study is interpreted as a response to minimize the physical fatigue of visitors, and similar gestures are expected to appear in other gesture-based learning exhibits. Also, the scope of the gesture should be designed within the range of actual movement that the audiences feel comfortable in order to deliver contents of the learning. Second, as a result of analyzing cognitive learning effects, gesture-based learning exhibits significant positive effects on cognitive learning of scientific concepts. This is consistent with the results of previous research that effective learning is possible if the design elements of the exhibit are closely related to the learning contents. However, the audience showed the use of biased gestures mainly for comfortable and natural gestures, which recognized strongly the horizontal concepts related to frequently used gestures, but not the longitudinal concepts which used relatively few gestures. Therefore, when designing a gesture, it is necessary to establish a strategy to connect the gesture that the visitor feels comfortable with the core concept and to try various gestures. Third, the cognitive effect of the exhibit was more effective in the environment without explanation than the viewing environment provided. This can be interpreted as a tendency for visitors to actively and positively interact with the exhibit and fellow visitors in a free viewing environment. Scientific knowledge that users can obtain from explanation can be acquired through interactions. Rather, it seems that the process of exploring and discovering meaning through interaction has a significant effect on cognitive learning. Therefore, there is a need for a facilitating viewing environment that supports the free inquiry viewing of visitors. Fourth, when the functional description of the exhibit is not presented, the audience can get confused in the early stage. However, gesture-based learning exhibits attracted the audience's active participation in an early stage by the attraction of the exhibit itself. Particularly, the visitors of the free viewing group understood the function of the exhibit by using various types of gestures evenly and communicating with fellow visitors. When designing exhibits, a design that can intuitively understand the operation method is required. Fifth, visual graphics can limit the use of free gestures by visitors. In this study, the gesture of the audiences was visualized by the change of the size of the resistive graphic on the circuit diagram, and some viewers mistaken the visual information and limited the horizontal extent of the gesture. As a result, there were fewer or fewer appearances in other spectators. In addition, the visual feedback provided in connection with task achievement affected the use of strategic gestures. As the limitation of the use of gestures can affect the cognitive learning of the concepts associated with the gestures, the visual elements should be designed and utilized to promote informal and inquisitive learning. Sixth, gesture-based learning exhibits can influence learning by activating the visitors’ prior knowledge. As a result of cognitive learning effect analysis, there was no difference according to the school level in the pre-test, but in post-test, high school students had higher cognitive learning effect than middle school students. This is presumably because the prior knowledge which could not be withdrawn could be activated through the experience using the exhibits. In the paradigm derived from this study, the prior knowledge seemed to influence the viewing experience as a context, but did not find its concrete effect. The significance of this study is as follows. First, this research applied the gesture computing technology to the learning exhibit, developed the gesture-based active area by studying the effect and usage pattern. Second, to provide the connection between the gesture and the learning contents and to promote the free interaction of the visitors, the exhibition design was designed by combining the top-down approach and the bottom-up approach. Third, this research tried to present the theoretical basis of future gesture-based learning exhibits by analyzing qualitatively the attributes and patterns of gestures in the exhibition. Fourth, by explaining the effect and significance of the explanation in the gesture-based learning exhibit, this research discussed the learning promotion strategy according to the characteristics of the exhibit.