시각성이 강화된 온라인 상호작용이 영상콘텐츠 공동시청에 미치는 영향

Abstract

In computer-mediated communication(CMC) situations, user interactions are primarily based on text. However, text-based interactions have the disadvantage of not being able to utilize non-verbal elements such as facial expressions or gestures, making it difficult to accurately convey intentions compared to face-to-face communication. In recent years, with the advancement of media technology and the mandatory implementation of social distancing measures due to the COVID-19 pandemic, the visual aspect of user interactions has been enhanced. People have started using various video conferencing platforms to conduct work and education, interacting with each other while seeing each other's faces through the computer. Visual-enhanced interactions allow users to utilize non-verbal elements such as facial expressions and body language, giving them a different nature compared to traditional text-based interactions. This study conducted experimental research to examine the effects of user interaction behavior in visually enhanced CMC. Specifically, it investigated whether interactions involving mutual viewing of each other's appearances through the screen, such as jointly watching entertainment programs online for recreational purposes, would result in a more enjoyable viewing experience. The most easily obtained information through visual interaction is the facial expressions of co-viewers. Facial expressions are the most representative among various non-verbal elements of communication, as they are mechanisms for individuals to externally express the emotions they feel internally. There are seven basic emotions that exist in humans, each corresponding to a specific facial expression (Ekman & Friesen, 1978). These emotions and facial expressions are universally understood regardless of culture, allowing us to infer the emotions a person may be experiencing through their facial expression. According to the emotional contagion theory, when observing the facial expression of another person in the same space, simply observing their expression can lead to imitation and ultimately result in the same emotional state. This study conducted experiments using facial expressions and the relationship between expressions and emotions to examine whether the phenomenon of emotional contagion also occurs in online co-viewing situations mediated by computers. According to previous studies on co-viewing, the mere presence of someone watching together can make the program more enjoyable. Co-viewing initially started as watching television together in same spaces with family members or acquaintances, and it has evolved into social viewing, where individuals watch TV from separate locations while interacting through text in online spaces such as social media or online communities. Personal media platforms like YouTube not only facilitate content sharing but also incorporate interactive features among users, such as real-time chat windows. Therefore, co-viewing online has become a familiar activity in today's digital landscape. In this study, online co-viewing with enhanced visual interactions is considered a social behavior. The research aims to investigate the social experiences users have based on the characteristics of co-viewers through experimental studies. Firstly, given facial expression information from co-viewers, emotional contagion may occur as individuals imitate and synchronize their expressions with those of the co-viewers. When co-viewers experience a specific emotional state, they tend to display corresponding facial expressions. The experiment predicts that the participants will unknowingly mimic similar expressions, resulting in emotional contagion. Mimicking and synchronizing facial expressions in a communication situation serve as a form of empathic expression. Therefore, it is expected that a higher level of facial expression synchronization during online co-viewing will significantly influence the enjoyment of the viewing experience. If online co-viewing is considered a social behavior involving emotional contagion, there is a possibility of experiencing social pressure based on the appearance of co-viewers. Asch's experiment(1956) demonstrated that even in simple questions about line lengths, the presence of majority individuals providing incorrect answers led to increased conformity due to social pressure. Social conformity refers to the effect of group pressure, whether real or imagined, leading to specific behavioral changes. This study aims to explore whether the facial expressions of co-viewers in online co-viewing situations exert social pressure and elicit conformity effects. Two online experiments were conducted, manipulating the size of the group and the valence of the facial expressions displayed by the co-viewers. The first experiment in this study was designed based on Asch's experiment (1956). The co-viewers who participated in the experiment were actually confederates of the researcher. They were instructed in advance to display specific vlaneced facial expressions while watching the experimental stimuli. The results of the experiment showed that emotional contagion occurred in online co-viewing situations, as confirmed by the level of facial expression synchronization. The analysis of the time difference in facial expression synchronization revealed that emotional contagion occurred simultaneously. The process of perceiving and mimicking the facial expressions of co-viewers to synchronize one's own expressions was a momentary process that took less than a second. The occurrence of the social influence of co-viewing was also confirmed. The degree of facial expression synchronization was higher when the number of co-viewers was larger, and the order of higher levels of happy facial expression synchronization was observed in groups with all happily valenced(H), groups with a mixture of happy and neutral(HN), and groups with neutral expressions(N). There was also a significant interaction effect between group size and facial expression valence. On the other hand, in the context of online co-viewing, it was predicted that users' enjoyment would be composed of dimensions such as content, interaction, and the viewing behavior. The study analyzed how the group size of co-viewing and the attractiveness of co-viewers' facial expressions influenced different dimensions of enjoyment. Group size had a significant impact on the enjoyment of content and viewing behavior, while facial expression attractiveness had a significant impact on the enjoyment of content. As larger group of people watched together, they perceived the content to be more enjoyable, and they found the experience of watching entertainment programs with unfamiliar individuals and visually interacting with them in the online context more enjoyable. Furthermore, co-viewers perceived the content to be more enjoyable when they had happy valence group(H), followed by the mixed-group(HN) and neutral-group(N). The interaction effect between group size and facial expression valence also significantly influenced the perception of enjoyment of co-viewing interactions. The mixed-group with a larger group size(8HN) experienced the highest level of enjoyment during interaction. The analysis using a mediation model revealed that as the sense of unity increased in online co-viewing, the levels of enjoyment in content and viewing behavior also increased. The construct of unity which has recently been studied in virtual reality festivals and offline music concerts, refers to the feeling of being one with others to achieve a common goal and enhance the utility of a one-time event. Preceding variables of unity include synchronized hand movements or gestures with other audience members, and in this study, it was found that higher levels of facial expression synchronization were associated with a stronger sense of unity. Additionally, as the sense of unity increased, the perceived enjoyment of content and viewing behavior also increased, indicating that enhancing the sense of unity in online co-viewing has a significant impact. This study investigated the social effects of the evolving interaction patterns of Computer-Mediated Communication(CMC) in online co-viewing through an online experiment. Focusing on facial expressions as a representative nonverbal element, the study applied computer vision methodology to analyze data by extracting image frames from participants' videos and obtaining facial expression information. Although using AI algorithms may introduce the possibility of errors, this method was used to classify facial expressions more objectively and consistently. Based on the first experiment, a total of 625 image frames were analyzed for 150 participants, and the analysis included both participants' survey responses and the emotions revealed through their facial expressions, highlighting the significance of this study.;컴퓨터를 매개한 커뮤니케이션(CMC) 상황에서 이용자 간 상호작용은 문자를 기반으로 연구되었다. 문자 중심 상호작용은 면대면 커뮤니케이션과 비교할 때 상대의 표정이나 제스처 등의 비언어적 요소를 활용하지 못해 의도가 정확하게 전달되기 어렵다는 단점이 있는데, 최근 카메라가 탑재된 모바일 기기가 보급되는 등 미디어 기술이 발전하고 코로나19 팬데믹으로 인해 사회적 거리두기가 의무화되면서 이용자들의 상호작용에도 시각성이 강화되고 있다. 다양한 화상회의 플랫폼을 이용해서, 컴퓨터로 매개해 서로의 얼굴을 마주보면서 업무를 하고 교육이 이뤄지기 시작했다. 시각성이 강화된 상호작용은 이용자들이 표정이나 몸짓 등 비언어적 요소를 활용할 수 있게 하여 기존의 문자 중심 상호작용과는 다른 성격을 가진다. 본 연구는 시각성이 강화된 CMC의 이용자 상호작용 행위의 효과를 알아보기 위하여 실험 연구를 진행하였다. 오락 목적으로 온라인에서 예능 프로그램을 공동으로 시청할 때, 화면을 통해 서로의 모습을 보는 형태의 상호작용이 이뤄지면 시청 경험을 더욱 즐겁게 평가하는지 알아보았다. 시각적 상호작용으로 가장 쉽게 얻을 수 있는 정보는 공동시청자의 얼굴 표정이다. 얼굴 표정은 커뮤니케이션의 여러 비언어적 요소 중 가장 대표적인 것으로, 개인이 내면으로 느끼는 감정을 신체 외부로 표현해내는 기제이다. 인간에게는 일곱 가지 기본 감정이 존재하고 그에 일대일로 대응되는 표정이 있다(Ekman & Frisen, 1978). 이러한 감정과 표정은 문화를 막론하고 통용되기 때문에 상대의 표정을 통해 그 사람이 느끼고 있을 감정을 유추해낼 수 있다. 감정 전이 이론(Emotional contagion theory)에 따르면 같은 공간에 있는 타인의 표정을 관찰하는 경우, 그의 표정을 관찰하는 것만으로도 모방하게 되고 결국 같은 감정상태가 된다. 본 연구는 감정 전이 현상이 컴퓨터를 매개한 온라인 공동시청 상황에서도 나타나는지, 표정과 감정의 관계를 이용해 실험을 진행했다. 기존의 공동시청 연구에 따르면 함께 시청하는 누군가가 존재하는 것만으로도 프로그램을 더욱 재미있다고 느낀다. 초기 공동시청(co-viewing) 연구는 가족구성원, 지인 등 친밀한 타인과 같은 물리적 공간에서 텔레비전을 함께 시청하는 것으로 시작하여, 각자 위치한 곳에서 TV를 시청하며 SNS나 온라인 커뮤니티 등 온라인 대화 공간에서 문자로 상호작용을 하는 사회적 시청(social viewing) 발전하였다. 유튜브 등 1인 미디어는 영상콘텐츠를 공유할 뿐 아니라 실시간 채팅창 등 이용자들 간 상호작용 기능을 탑재하고 있을 정도로 오늘날 온라인에서의 공동시청은 친숙한 행위이다. 본 연구는 온라인 공동시청 시 시각성이 강화된 온라인 상호작용을 하는 것을 일종의 사회적 행위로 보고, 공동시청자의 속성에 따라 이용자들이 어떤 사회적 경험을 하게 되는지 실험 연구를 진행한다. 먼저 공동시청자의 표정 정보가 주어지면, 그 표정을 모방하고 일치시키는 감정의 전이가 발생하는지 확인한다. 공동시청자가 특정한 감정 상태가 되면 그 감정에 대응되는 표정을 짓게 되고, 실험참여자는 자신도 모르는 사이에 그 표정의 유인가에 따라 유사한 표정을 짓게 되어 결과적으로 감정 전이가 발생할 것으로 예측했다. 커뮤니케이션 상황에서 상대의 얼굴 표정을 모방하고 일치시키는 것은 일종의 공감 표현으로, 온라인 공동시청 시 표정의 일치도가 높아지면 시청의 즐거움에 유의한 영향을 미칠 것으로 예상하고 이를 검증한다. 온라인 공동시청을 감정의 전이가 발생하는 사회적 행위라고 여긴다면, 공동시청자의 모습이 사회적 압력으로 작용해 동조효과를 일으킬 가능성이 있다. 애쉬(Asch, 1956)의 실험에서는, 선분 길이를 물어보는 간단한 질문에 다수의 사람들이 오답을 말할 때 사회적 압력을 느껴 동조성 오답이 증가했다. 사회적 동조는 실제의 혹은 개인의 상상으로 인한 집단의 압력이 작용해서 구체적인 행동을 바꾸게 만드는 효과를 의미한다. 본 연구는 온라인 공동시청에서 공동시청자의 표정이 사회적 압력으로 작용하여 동조효과를 보일 것인지, 집단의 크기와 공동시청자가 짓는 표정의 유인가를 조작하여 두 차례의 온라인 실험을 진행하였다. 본 연구의 첫 번째 실험은 애쉬(Asch, 1956)의 실험 구성을 모티프로 삼았다. 공동시청자로 참여한 이들이 실제로는 연구자의 조력자로, 이들에게 실험 자극물을 시청하며 특정한 유인가의 표정을 짓도록 미리 부탁하는 것으로 표정의 유인가를 조작하였다. 실험을 진행한 결과, 온라인 공동시청 상황에서 실험참여자와 공동시청자 사이에 감정의 전이가 발생함을 표정의 일치도를 통해 확인했다. 표정이 일치되기까지 시간 차이를 초 단위로 분석해보니 감정의 전이는 동시적으로 발생되었다. 공동시청자의 표정을 인지하고 모방하여 자신의 표정을 일치시키는 과정은 1초미만의 순간적인 과정이었다. 온라인 공동시청에서 동조효과의 발생도 확인했다. 공동시청자의 수가 적을 때보다 많을 때 즐거운 표정의 일치도가 더 높게 나타났고, 표정의 유인가는 모두가 즐거움인 집단(H), 즐거움과 무표정이 혼합된 집단(HN), 그리고 무표정 집단(N)의 순서로 즐거운 표정 일치도가 높게 나타났다. 집단의 크기와 표정의 유인가 사이의 상호작용 효과도 유의하게 나타났다. 한편, 온라인 공동시청이라는 새로운 시청방식에서 이용자들이 즐거움을 느끼는 것이 콘텐츠, 상호작용, 행위의 즐거움 등의 하위차원으로 구성되어있을 것으로 예측하고 이를 분석했다. 공동시청 집단의 크기와 공동시청자의 표정 유인가가 각각 어떤 즐거움에 영향을 미치는지 알아보았는데, 집단의 크기는 콘텐츠의 즐거움과 행위의 즐거움에 유의한 영향을 미쳤고 표정의 유인가는 콘텐츠의 즐거움에 유의한 영향을 보였다. 많은 사람이 함께 시청할수록 콘텐츠를 더 재미있게 느끼고, 온라인에서 낯선 이들과 시각적으로 상호작용을 하며 예능 프로그램을 보는 시청 행위를 더 즐겁게 느낀 것이다. 그리고 공동시청자들이 즐거운 얼굴일 때(H), 혼합집단일 때(HN), 무표정 집단일 때(N)의 순서로 콘텐츠를 더 즐겁다고 인식했다. 집단 크기와 표정 유인가의 상호작용효과는 공동시청자와 상호작용할 때의 즐거움을 더 크게 인식하도록 작용했다. 이때 상호작용의 즐거움을 가장 많이 느낀 것은 시청 집단의 크기가 큰 혼합 유인가 그룹(8HN)이었다. 매개모형을 분석한 결과, 온라인 공동시청 시 일체감을 더 많이 느낄수록 콘텐츠의 즐거움과 행위의 즐거움 수준이 증가했다. 최근 가상현실의 축제나 오프라인 음악 추게 등에서 연구되기 시작한 일체감은 공동의 목표를 달성하기 위해 다른 사람들과 하나라는 마음을 느끼는 것으로 일회적인 이벤트의 효용을 높일 때 경험하는 것으로 알려져 있다. 일체감의 선행변인으로는 다른 관객들과 통일된 손동작이나 제스처 취하기 등이 있는데, 본 연구에서도 표정의 동기화 정도가 높을수록 일체감을 더 많이 느끼는 것으로 나타났다. 그리고 일체감을 더 많이 느낄수록 콘텐츠의 즐거움과 행위의 즐거움을 더 높게 인식하는 것으로 나타나, 온라인 공동시청 시 일체감을 높이는 것이 즐거움에 주요한 영향 요인임을 확인했다. 본 연구는 변화하는 CMC의 상호작용 방식을 온라인 공동시청에서 활용할 때 어떠한 사회적 효과가 작용하는지 온라인 실험을 통해 알아보았다. 대표적인 비언어적 요소인 표정에 주목하여, 실험참여자들의 영상에서 이미지 프레임을 추출한 뒤 표정 정보를 얻기 위해 컴퓨터 비전 방법론을 적용하여 데이터를 분석하였다. 인공지능 알고리즘을 활용할 경우 오류의 가능성이 존재하지만, 보다 객관적이고 일정한 기준으로 표정을 분류하기 위해 이 방법을 사용했다. 첫 번째 실험을 기준으로 150명의 실험참여자에 대하여 각각 625장의 이미지 프레임을 분석했고, 실험참여자들의 설문응답과 그들의 표정으로 드러난 감정을 함께 분석했다는 점에 본 연구의 의의가 있다.