멀티모달과 테크놀로지 교수내용지식(TPACK) 관점에서 설명 동영상 설계 전략 탐색

Abstract

테크놀로지의 발전이 가속화되면서 다양한 형태의 온라인 플랫폼을 활용한 학습 콘텐츠가 확장되고 있다. 이러한 트렌드는 더욱 정교한 학습 경험을 제공하며, 학습의 새로운 지평을 열고 있다. 최근에는 멀티모달(Multimodal) 자료를 통해 3~5분 내외로 간단한 개념을 요약적으로 제시하는 설명 동영상(Explainer video)이 영상 기반 학습에서 화두가 되고 있다. 이에 교수자들에게 설명 동영상을 직접 설계하고 제작하는 크리에이터로서의 역할이 강조되고 있다. 이러한 시대적 요구에 따라 교수자들이 설명 동영상을 설계할 때 사용하는 구체적인 멀티모달 설계 전략 특성을 분석할 필요성이 제기된다. 멀티모달이란 텍스트, 이미지, 일러스트레이션 등의 다양한 양식을 사용하여 정보를 전달하는 것을 의미한다. 설명 동영상에서 설명자가 멀티모달을 고려해야 하는 이유는 영상에서 설명자의 지식이 멀티모달 요소를 통해 표상되기 때문이다. 하지만, 설명자는 목적이 있는 내용 전달을 목표로 하기 때문에 멀티모달만 고려한 영상 설계 전략은 설명자의 오개념 표상과 같은 오류를 범하기 쉽다. 따라서 설명 동영상 설계 시 멀티모달 요소와 함께 내용적인 특성을 고려할 수 있는 테크놀로지 교수내용지식(Technological Pedagogical and Content Knowledge, 이하 TPACK)을 함께 살펴볼 필요성이 있다. TPACK이란 교수자의 내용지식(Content Knowledge, 이하 CK)과 교수지식(Pedagogical Knowledge, 이하 PK), 테크놀로지 지식(Technological Knowledge, 이하 TK) 역량을 의미하는데, 이들은 서로 유기적인 상호작용을 하며 변형, 유지, 생성된다(Mishra & Koehler, 2006). 그러나 TPACK은 교수자의 내면에 존재하는 암묵적인 지식이기 때문에 외현화, 즉 표상 작업이 요구된다. 이러한 TPACK은 영상에서 무의식적으로 사용하는 멀티모달 요소를 통해 표상될 수 있다. 따라서 본 연구에서는 멀티모달과 TPACK 간의 연관성을 분석함으로써 설명자가 주로 사용하는 설명 동영상 설계 전략 도출을 목적으로 하였다. 구체적으로 국내외 대표적인 영상 학습 플랫폼(EBS, Khan Academy, Udemy) 설명 동영상의 멀티모달 TK와 PK 표상 전략을 분석하여 설명 동영상 설계 전략을 탐색하였다. 본 연구의 연구문제는 다음과 같다. 1. 설명 동영상에서 빈번하게 나타나는 멀티모달 테크놀로지 지식(TK)과 교수지식(PK) 표상 전략은 무엇인가? 1-1. 플랫폼별로 빈번하게 나타나는 멀티모달 테크놀로지 지식(TK)과 교수지식(PK) 표상 전략은 무엇인가? 1-2. 교과목별로 빈번하게 나타나는 멀티모달 테크놀로지 지식(TK)과 교수지식(PK) 표상 전략은 무엇인가? 2. 설명 동영상에서 멀티모달 테크놀로지 지식(TK)과 교수지식(PK) 표상 전략 간에는 어떠한 관련성이 있는가? 3. 멀티모달과 테크놀로지 교수내용지 (TPACK) 관점에서 설명 동영상 제작 시 고려해야 할 설계 전략에는 어떠한 것들이 있는가? 본 연구에서는 멀티모달과 TPACK을 연관 짓기 위해 설명자의 멀티모달 사용을 TK 표상 전략으로 간주하였고, 이에 따라 CK는 ‘전략 사용 내용(what)’으로, PK는 ‘전략 사용 이유(why)’로, TK는 ‘전략 사용 방식(how)’으로 보았다. 본 연구에서는 TK와 PK 간의 관계를 살펴보기 위해 정밀한 발화 분석이 필요한 CK 영역은 단독으로 분석하지 않았다. 그러나 TK 및 PK 분석 과정에서 CK를 완전히 배제하는 것은 불가능하기 때문에 결과적으로 본 연구에서 분석한 TPACK의 범위는 TK, PK, CK의 교차점인 테크놀로지 교수지식(Technological Pedagogical Knowledge, TPK), 테크놀로지 내용지식(Technological Content Knowledge, TCK), 교수내용지식(Pedagogical Content Knowledge, PCK)에 해당한다. 연구방법은 설명자의 멀티모달 테크놀로지 지식(TK)과 교수지식(PK) 표상 전략을 분석하기 위해 Serafini와 Reid(2019)의 멀티모달 내용분석 방법 절차를 따랐다. 구체적으로 멀티모달 TK 코딩 체계와 PK 코딩 체계를 선정 및 개발한 후 다양한 플랫폼(EBS, Khan Academy, Udemy) 및 다양한 주제 영역(수학, 과학, 영어, 사회/역사, 컴퓨팅)의 설명 동영상 20개를 질적으로 분석하였다. 영상 선정 기준은 영상의 형태 및 내용에 따라 설명자의 멀티모달 TK 표상 전략이 다르게 나타날 수 있는 점을 고려하여 영상 형태와 내용을 기반으로 하였다. 멀티모달 TK 코딩 체계는 Tang 외(2023)의 코딩 체계를 기반으로 하였고, Written, Visual, Annotation 총 세 영역으로 구성된다. 이중 Written은 세 개(Freehand, Type font, Mathematical-Scientific), Visual은 여덟 개(Drawing, Table, Graph, Concept organizer, Map, Photograph, Animation, Video), Annotation은 다섯 개(Pointing, Underlining, Enclosing, Marking, Linking)의 설계 요소로 구성된다. 각 설계 요소의 형태는 설명자의 멀티모달 사용이 진행형으로 나타나는 실시간 형태(Live creation)와 완성형으로 나타나는 미리 준비된 형태(Prepared insertion)로 구성되어 있다. 또한, 설명자가 영상에서 실시간으로 사진(Photograph)을 편집하여 보여주는 것과 같이 일반적이지 않거나 불가능한 영역들은 ‘Not Possible’로 처리되었다. 그리고 PK 코딩 체계는 Park 외(2022)의 교육용 영상에서의 표상 전략을 참조하여 연구자가 귀납적으로 개발하였다. 이는 주의집중(Attention), 비교/대조(Comparing/Contrast), 강조(Emphasising), 연결(Connection), 예시(Example), 빈칸생성/지연(Blanking/Delaying), 질문(Questioning), 요약(Summarising)으로 구성된다. 본 연구의 주요 연구결과는 다음과 같다. 첫째, 멀티모달 TK는 전반적으로 실시간 포인팅 주석인 APL(Annotation-Pointing-Live creation)이 가장 높은 빈도로 활용되고 있었으며, 그다음으로 실시간 손글씨인 WFL(Written-Freehand-Live creation), 준비된 타이핑 글씨인 WTP(Written-Type font-Prepared insertion), 실시간 수학/과학 기호인 WML(Written-Mathematical/Scientific-Live creation) 순으로 높게 나타났다. 플랫폼별로는 EBS와 Khan Academy에서는 실시간 손글씨인 WFL이, Udemy에서는 준비된 타이핑 글씨인 WTP가 주로 활용되었다. 교과목별로는 전반적으로 모든 교과목에서 실시간 포인팅 주석인 APL이 가장 높은 빈도로 사용되고 있었다. 수학 교과에서는 실시간 수학/과학 기호인 WML이, 과학, 영어, 사회 교과에서는 실시간 손글씨인 WFL이, 컴퓨팅 교과에서는 준비된 타이핑 글씨인 WTP가 가장 높은 빈도로 활용되었다. PK 활용 빈도를 살펴보면 전반적으로 주의집중이 가장 높은 빈도로 활용되고 있었으며, 그다음으로 강조, 연결, 예시 순으로 높게 나타났다. 반면 빈칸생성/지연과 요약은 상대적으로 낮은 빈도를 보였다. 플랫폼별로는 EBS와 Udemy에서는 강조가, Khan Academy에서는 연결이 주로 활용되었다. 반면 빈칸생성/지연, 요약은 세 플랫폼 모두 낮은 빈도로 활용되었다. 교과목별로는 전반적으로 모든 교과목에서 주의집중이 가장 높은 빈도로 활용되고 있었다. 수학 교과에서는 연결이, 과학, 컴퓨팅 교과에서는 예시가, 영어, 사회 교과에서는 강조가, 전반적으로 모든 교과목에서 연결, 예시, 강조 전략이 주로 활용되었다. 둘째, 멀티모달 TK-PK 관련성을 살펴보면 전반적으로 APL(실시간 포인팅 주석)-주의집중이 가장 높은 빈도로 활용되고 있었으며, 그다음으로 AEL(실시간 묶음 주석)-강조, AUL(실시간 밑줄 주석)-강조/AML(실시간 마킹 주석)-강조, ALL(실시간 연결 주석)-연결 순으로 높게 나타났다. 플랫폼별로는 EBS는 AEL(실시간 묶음 주석)-강조, Khan Academy는 AML(실시간 마킹 주석)-강조, Udemy는 WTP(준비된 타이핑 글씨)-주의집중이 주로 활용되었다. 교과목별로는 전반적으로 모든 교과목에서 APL(실시간 포인팅 주석)-주의집중이 가장 높은 빈도로 활용되고 있었다. 수학 교과에서는 AMP(준비된 마킹 주석)-주의집중이, 과학 교과에서는 VDL(실시간 그림/그래픽)-예시가, 영어와 사회 교과에서는 AEL(실시간 묶음 주석)-강조가, 컴퓨팅 교과에서는 VVP(준비된 비디오)-예시가 주로 활용되었다. 셋째, 설명 동영상 설계 전략은 영상의 유형별로 세 가지 패턴이 도출되었다. 유형 1 영상(설명자O/실물칠판)은 분절형으로, Written TK 전략과 주의집중/강조 PK 전략, 그리고 APL(실시간 포인팅 주석)-주의집중 및 AEL(실시간 묶음 주석)-강조 TK-PK 전략을 인과관계, 문법 설명을 목적으로 하는 콘텐츠 제작 시 사용할 것을 권장한다. 유형 2 영상(설명자X/가상칠판)은 분산형으로, Visual TK 전략과 주의집중/강조 PK 전략, 그리고 APL(실시간 포인팅 주석)-주의집중, AML(실시간 마킹 주석)-강조 TK-PK 전략을 현상 설명을 목적으로 하는 콘텐츠 제작 시 사용할 것을 권장한다. 유형 3 영상(설명자X/PPT)은 선형으로, Prepared된 TK 전략과 주의집중/강조 PK 전략, 그리고 APL(실시간 포인팅 주석)-주의집중 및 WTP(준비된 타이핑 글씨)-주의집중 TK-PK 전략을 순차적 개념 설명을 목적으로 하는 콘텐츠 제작 시 사용할 것을 권장한다. 본 연구의 이론적 시사점은 다음과 같다. 첫째, 암묵적 지식에 해당하는 TPACK을 외현화하여 분석할 수 있는 질적 연구 방법을 확장하였다. 멀티모달 내용분석 방법은 TPACK의 양적인 측면(활용 빈도)뿐만 아니라 질적인 측면(활용 패턴)도 포괄적으로 살펴볼 수 있으므로 TPACK의 복합적인 관계를 분석하기에 적합한 연구방법이라 할 수 있다. 둘째, 멀티모달 TK와 PK 간의 관계성을 분석함으로써 TPACK 프레임워크에서 CK가 PK 및 TK와 명백하게 구분될 수 없다는 점을 확인하였다. 이를 통해 현재 보편적으로 사용되고 있는 TK, PK, CK 세 개의 원으로 표현된 TPACK 프레임워크에 국한되지 않는 TPACK 연구의 필요성을 제기하였다. 셋째, 설명 동영상의 설계적 특징을 확인함으로써 일반적 교수학습 전개 구조와의 차이를 규명하였다. 20개의 설명 동영상을 코딩 체계로 분석해 보았을 때, 모든 영상이 Gagné의 아홉 가지 교수사태와 Keller의 ARCS 이론을 따르지 않는다는 점을 확인하였다. 이는 곧 설명 동영상에서 일반적인 교수학습 전략이 효과적으로 적용되지 않을 수 있음을 시사한다. 이에 따라 설명자가 상황 맥락에 맞게 교수전략을 개발해야 할 필요성이 있음을 제안하였다. 본 연구의 실제적 시사점은 다음과 같다. 첫째, 설명자가 설명 동영상을 제작하고자 할 때 설명자의 발화, 글씨, 주석, 비주얼 요소 등 다양한 TK 전략 지원이 필요하다. 둘째, 설명자의 TK 발달을 위해 수업 현장에서 전문적인 교육용 영상을 활용하기보다 설명자 스스로 영상을 설계하여 제작할 수 있는 역량을 키워야 한다. 셋째, 수학 및 영어 과목을 포함한 특정 교과목의 설명 동영상 콘텐츠 제작 시 시험을 대비하기 위한 영상과 개념 이해를 돕기 위한 영상의 구분이 명확해야 할 필요성이 있다. 이는 교과목별 TK-PK 전략을 분석해 본 연구결과에 기반한다. 주로 시험 대비를 위한 TK-PK 전략은 시험 빈출 문제만을 강조하는 TK 및 PK 전략을 사용할 가능성이 크기 때문에 이에 유의하여 설명 동영상 콘텐츠를 제작해야 한다. 본 연구의 제한점과 후속 연구를 위한 제언은 다음과 같다. 첫째, 본 연구에서 사용한 코딩 체계에 대한 추가 검증 작업이 요구되기 때문에 향후 연구에서는 코딩의 범주를 조금 더 명료하고 간단하게 축약하여 코딩 체계를 재점검해 볼 것을 제안한다. 둘째, 본 연구에서는 멀티모달과 TPACK 관점에서 설명 동영상 설계 전략을 도출하였지만, TPACK 구성 요소 중 CK를 단독 분석하지 않았다는 제한점이 존재한다. 따라서 향후 연구에서는 CK도 함께 분석하여 TPACK을 보다 종합적으로 균형감 있게 살펴볼 필요성이 있다. 셋째, 본 연구에서 선정한 영상 중 설명자가 직접 제작하지 않은 영상(모든 EBS 플랫폼 영상)이 존재하기 때문에 향후 연구에서는 다양한 교과목의 설명자를 직접 모집하여 설명 동영상 설계 및 제작을 시행한 후 제작된 영상을 분석해 볼 것을 제안한다. 넷째, 본 연구의 목적은 선정된 영상의 우수성이나 효과성을 증명하는 것이 아니기 때문에 영상의 효과성 검증은 할 수 없다는 제한점이 존재한다. 따라서 향후 연구에서는 실제 학습자를 대상으로 설명 동영상 설계 전략에 따른 효과성 검증 연구가 필요하다. 이러한 제한점에도 불구하고 본 연구는 멀티모달과 TPACK 관점에서 설명 동영상 설계 전략을 탐색함으로써 영상 유형에 따른 멀티모달 TK 및 PK 지원이 차별화되어야 함을 시사하였고, 멀티모달 요소를 통해 TPACK의 외현화 가능성과 TK, PK, TPK를 확인하였으며, 멀티모달 TK 및 PK 코딩 형태를 통해 설명자의 교수설계 구조를 파악하였다는 점에서 의의가 있다. ;As technology advances at an accelerated pace, diverse forms of online platforms for learning content are expanding. This trend provides more sophisticated learning experiences, opening new horizons in education. Recently, the use of explainer videos, which summarize concepts within approximately 3~5 minutes using multimodal(visual, textual, etc.) data, has gained attention in video-based learning. In response to this trend, there is an emphasis on educators taking on the role of creators by designing and producing explainer videos. Analyzing the specific characteristics of multimodal design strategies used by educators when designing explainer videos is crucial in the context of these contemporary demands. Multimodal refers to the use of various formats such as text, images, and illustrations to convey information. In explainer videos, considering multimodal elements is essential because the educator's knowledge is represented through these elements. However, designing videos solely based on multimodal strategies may lead to errors, such as misrepresentations, as educators aim to convey specific content. Therefore, it is necessary to explore the relationship between multimodal elements and Technological Pedagogical and Content Knowledge(TPACK) when designing explainer videos. TPACK refers to the combination of a teacher's Content Knowledge(CK), Pedagogical Knowledge(PK), and Technological Knowledge(TK), which interact and transform within the teaching and learning process. However, since TPACK is implicit knowledge within educators, externalization or representation tasks are required. This study aims to explore the relationship between multimodal and TPACK by analyzing the representation strategies of multimodal TK and PK in educational explainer videos. To achieve this, a qualitative analysis of explainer videos from prominent educational platforms(EBS, Khan Academy, Udemy) was conducted The research questions are as follows: 1. What are the frequent multimodal Technological Knowledge(TK) and Pedagogical Knowledge(PK) representation strategies in explainer videos? 1-1. What are the platform-specific frequent multimodal Technological Knowledge(TK) and Pedagogical Knowledge(PK) representation strategies? 1-2. What are the subject-specific frequent multimodal Technological Knowledge(TK) and Pedagogical Knowledge(PK) representation strategies? 2. Is there a relationship between multimodal Technological Knowledge(TK) and Pedagogical Knowledge(PK) representation strategies in explainer videos? 3. From the perspectives of multimodal and Technological Pedagogical and Content Knowledge(TPACK), what design strategies need to be considered when producing explainer videos? In this study, to associate multimodal and Technological Pedagogical Content Knowledge(TPACK), the narrator's multimodal use was considered as Technological Knowledge(TK) representation strategy. Accordingly, Content Knowledge(CK) was viewed as ‘what’ of strategy use, Pedagogical Knowledge(PK) as ‘why’, and TK as ‘how’, Precise discourse analysis of CK, requiring in-depth speech analysis, was not conducted independently to explore the relationship between TK and PK. However, as excluding CK entirely from the TK and PK analysis process is not feasible, the scope of TPACK analyzed in this study ultimately corresponds to the intersection of TK, PK, and CK, known as Technological Pedagogical Knowledge(TPK), Technological Content Knowledge(TCK), and Pedagogical Content Knowledge(PCK). The research method followed the multimodal technology knowledge(TK) and pedagogical knowledge(PK) representation strategy analysis procedure by Serafini and Reid(2019) to analyze 20 qualitative explanation videos from various platforms(EBS, Khan Academy, Udemy) and subjects(mathematics, science, English, social studies, computing). Video selection criteria were based on the consideration that the narrator's multimodal TK representation strategy might vary depending on the video's form and content. The multimodal TK coding system was based on Tang et al. (2023) coding system, consisting of three areas: Written(Freehand, Type font, Mathematical-Scientific), Visual(Drawing, Table, Graph, Concept organizer, Map, Photograph, Animation, Video), and Annotation(Pointing, Underlining, Enclosing, Marking, Linking). The forms of each design element were categorized into real-time forms(Live creation) and pre-prepared forms(Prepared insertion) where the narrator's multimodal use appears either as an ongoing process or in a completed form. Uncommon or impossible areas, such as the narrator editing a photograph in real-time, were marked as ‘Not Possible’ The PK coding system was inductively developed by referencing Park et al. (2022) representation strategies in educational videos. It consisted of Attention, Comparing/Contrast, Emphasising, Connection, Example, Blanking/Delaying, Questioning, and Summarising. The research results are as follows. Firstly, examining the overall frequency of multimodal TK utilization in the analyzed 20 explanation videos, Annotation-Pointing-Live creation(APL) was most frequently used, followed by Written-Freehand-Live creation(WFL) and Written-Type font-Prepared insertion(WTP). Across platforms, APL was consistently the most frequently used, with EBS and Khan Academy mainly using WFL, and Udemy relying on WTP. Across subjects, APL was the most frequently used in all subjects, except for mathematics, which preferred real-time Mathematical/Scientific symbols(WML), and computing, which favored Prepared Type font(WTP). Secondly, examining the overall frequency of multimodal PK utilization in the analyzed 20 explanation videos, Attention was the most frequently used, followed by Emphasising, Connection, and Example. Blank creation/Delaying and Summarising showed relatively low frequencies. Across platforms, Attention was consistently the most frequently used, with EBS and Udemy using Emphasising more, and Khan Academy favoring Connection. Blank creation/Delaying and Summarising were low-frequency strategies across all platforms. Across subjects, Attention was the most frequently used in all subjects. Mathematics videos used Connection, science videos used Example, English and social studies videos used Emphasising. Thirdly, regarding the multimodal TK-PK relevance, APL-Attention was the most frequently used, followed by AEL-Emphasising, AUL-Emphasising/AML-Emphasising, and ALL-Connection. Across platforms, EBS mainly used AEL-Emphasising, Khan Academy used AML-Emphasising, and Udemy relied on WTP-Attention. Across subjects, mathematics videos used AMP-Attention/WMP-Example, science videos used VDL-Example, English videos used AEL-Emphasising, social studies videos used AEL-Emphasising, and computing videos used VVP-Example. Lastly, three patterns of explanation video design strategies were derived based on video types. Type 1 videos(narrator/Physical Whiteboard), a segmented coding style predominated, linked to frequent verbalizations without the presence of the narrator's technical knowledge(TK). Keller(1987) relevance strategy was somewhat frequently employed. In terms of multimodal TK design, there was a notable utilization of written elements, while in PK design, emphasis and concentration were prominent. The use of multimodal TK-PK interactions mainly featured APL(real-time pointing annotations) for concentration and AEL(real-time bundled annotations) for emphasis. The EBS platform is recommended as a reference for designing Type 1 videos, particularly for creating content focused on causal relationships and grammar explanations. Type 2 videos(No narrator/Virtual Whiteboard), a decentralized coding style predominates, stemming from the diverse and complex use of multimodal elements by the narrator. The utilization of Keller(1987) relevance strategy is minimal, resulting in infrequent appearances of intro/outro sequences. In terms of multimodal TK design, there is a high reliance on visual elements, while in PK design, emphasis is placed on concentration, highlighting, linking, and providing examples. The usage of multimodal TK-PK interactions mainly includes APL(real-time pointing annotations) for concentration, AML(real-time marking annotations) for emphasis, AUL(real-time underline annotations) for emphasis, and VDL(real-time drawing/graphics) for providing examples. The Khan Academy platform is recommended as a reference for designing Type 2 videos, particularly for creating content focused on explaining phenomena. Type 3 videos(No narrator/PowerPoint), the coding primarily took a linear form, attributed to the limited use of multimodal elements by the narrator. Similar to Type 2 videos, Type 3 videos showed minimal utilization of Keller(1987) relevance strategy, with scarce occurrences of intro/outro sequences. In terms of multimodal TK design, there was a high utilization of prepared TK, while in PK design, emphasis was placed on concentration, highlighting, linking, and providing examples. The use of multimodal TK-PK interactions mainly featured APL(real-time pointing annotations) for concentration and WTP(prepared typing text) for concentration. The Udemy platform is recommended as a reference for designing Type 3 videos, particularly for creating content focused on explaining sequential concepts. This study holds several significances. Firstly, it introduces an extended research method by utilizing multimodal content analysis to externalize Technological Pedagogical Content Knowledge(TPACK) and qualitatively analyze the dimensions of Mishra and Koehler(2006) TPACK relationships. Secondly, through the analysis of the relationship between multimodal Technological Knowledge(TK) and Pedagogical Knowledge(PK), it highlights the challenge of clearly distinguishing Content Knowledge(CK), PK, and TK within the TPACK framework. This underscores the need to surpass the limitations of existing TPACK research. Thirdly, by examining the design characteristics of explanatory videos, the study emphasizes that traditional teaching strategies may not be universally effective. It suggests the importance of adapting teaching strategies based on the contextual needs, promoting a flexible and context-aware approach in instructional design. The limitations and suggestions for future research in this study are as follows. First, additional validation of the coding system used in this study is necessary, so it is proposed that future research abbreviate and reevaluate the coding system. Second, although this study derived explanatory video design strategies from a multimodal and Technological Pedagogical Content Knowledge(TPACK) perspective, it acknowledges a limitation in not separately analyzing Content Knowledge(CK) within TPACK. Therefore, for future research, it is suggested to incorporate the Oral mode into the analysis for a more precise TPACK examination. Third, considering the presence of videos not directly produced by the narrator in this study(all EBS platform videos), future research is recommended to analyze videos produced by narrators from various subject areas for a more diverse and comprehensive analysis. Fourth, since the primary objective of this study did not involve validating the effectiveness of selected videos, there is a need for future research to conduct effectiveness verification studies targeting actual learners to evaluate the impact of explanatory video design strategies on learning outcomes.