교육용 CD-ROM타이틀 평가도구 개발에 관한 연구

Abstract

최근 과학기술의 발달로 사회의 관심이 집중되고 있는 멀티미디어는 엄청난 교육적 잠재력을 가지고 있으며, 교육에 큰 변화를 가져올 것이라고 예견되고 있다. 멀티미디어는 가정, 학교, 기업체에 널리 보급되어 교육용 CD-ROM 타이틀이나 인터넷 학습 사이트 등에 파고들고 있으며 일반인들에게도 빠르게 보급되고 있다. 따라서 양질의 멀티미디어 프로그램에 대한 관심이 높아지고 이를 선별하기 위한 방법도 요구된다. 본 연구는 이러한 사회적 요구에 부응하기 위한 것으로 교육용 CD-ROM 타이틀을 설계하는 교수설계자나 제작진 또는 교육관련 종사자들이 타이틀을 설계하고 개발하는데 참고하거나, 선택하기 위한 의사결정을 해야 할 경우 활용할 수 있는 교육용 CD-ROM 타이틀 평가도구를 마련하는데 그 근본적인 목적을 두고 있다. 이와 같은 목적을 달성하기 위하여 다음과 같은 연구를 실시했다. 먼저, 멀티미디어 관련 분야를 전공하고 연구소, 회사 등에서 연구활동을 하거나 멀티미디어 기획일을 하는 교육공학인들, 교육공학인은 아니지만 제작업체에서 기획에 참여하고 있는 사람들, 프로그래머들 그리고 평가전문가를 대상으로 교육용 CD- ROM 타이틀을 평가하기 위한 평가항목을 수집했다. 다음, 수집된 평가항목들을 분석, 정리한 후 3점 척도 방식의 설문을 통하여 그 중요성을 알아보았다. 그리고 나서 평가항목으로서의 중요성을 인정받은 평가항목들을 사용하여 평가도구를 개발했으며 다시 전문가의 내용 검증을 받아 수정, 보완하였다. 마지막으로 개발된 평가도구의 객관도를 알아보았다. 본 연구과정을 거쳐서 개발된 교육용 CD-ROM 타이틀 평가도구의 평가영역과 평가항목은 다음과 같다. 내용영역(목표를 성취하기 위해 제공되는 경험) CD-ROM 타이틀 내용이 1. 정확한가? 2. 대상 학습자의 연령과 수준에 적합한가? 3. 논리적으로 잘 조직되어 있는가? 4. 편견이나 편파성이 없는가? 교수-학습영역(내용을 사용자에게 학습시키기 위해 설계된 활동) 5. 지속적으로 학습자의 동기를 유발하는가? 6. 예와 연습이 적절하게 제공되는가? 7. 학습자가 적극적으로 학습에 참여할 수 있도록 상호작용을 유도하는가? 8. 학습자의 다양한 반응을 융통성있게 수용하는가? 9. 적절한 피드백을 제공하여 학습자의 이해를 돕고 있는가? 10. 사용자가 내용의 제시나 진행과정을 자유롭게 통제할 수 있는가? 11. 필요한 경우 타이틀 진행에 대한 안내를 받을 수 있는가? 12. 새롭거나 어려운 내용에 대해 보충자료를 받을 수 있는가? 13. 멀티미디어 요소(그래픽, 오디오, 비디오....)는 목표달성을 위해 조화롭게 사용되었는가? 14. 평가방법과 결과의 활용이 학습에 도움이 되는가? 교수-학습 지원영역 (교수-학습의 효과를 높이기 위해 설계된 사용자 인터페이스와 컴퓨터의 기술적 지원) 15. 일관성있는 탐색도구를 제공하는가? 16. 학습자는 필요한 경우 쉽고 편리하게 화면을 전환할 수 있는가? 17. 학습자가 전체 프로그램 상에서 자신의 위치나 학습경과를 파악할 수 있도록 지원하는가? 18. 학습자의 학습과정 및 경로를 기록, 저장, 추적할 수 있는가? 19. 빠르고 편리한 정보 검색 방법을 제공하는가? 20. 한 화면에 제시되는 정보의 양은 적당한가? 21. 전체 프로그램에 걸쳐 화면이 일관성있게 구성되어 있는가? 22. 화면요소의 배치가 깔끔하고 중요한 부분에 시선을 집중시키는가? 23. 선택할 수 있는 영역을 알기 쉽게 표시하고 있는가? 24. 학습자가 자신의 선택사항을 확인할 수 있는가? 25. 그래픽 아이콘이나 버튼이 이해하기 쉽고 내용을 적절히 대표하고 있는가? 26. 텍스트의 크기가 적절하고 잘 읽을 수 있는가? 27. 그래픽은 텍스트와 조화를 이루고 크기와 위치가 적절한가? 28. 그래픽은 전체적으로 일관되고 통일된 분위기를 유지하는가? 29. 나레이션의 속도와 길이가 적당하고 발음이 정확한가? 30. 학습자 입력에 따른 효과음은 적절하고 일관성있게 사용되었는가? 31. 학습자가 비디오, 오디오의 재생, 정지, 빨리감기 등을 조절할 수 있는가? 32. 필요한 정보를 저장, 편집, 출력할 수 있는가? 33. CD-ROM 타이틀 활용시 운영에 필요한 도움말을 항상 제공하는가? 34. 사용자 매뉴얼은 타이틀 설치 및 활용에 필요한 정보를 제공하고 있는가?;The development of science technology brought social interests into multimedia as an effective means for educational reform. The use of Multimedia is now widely spread among homes, schools, and corporations. Subsequently, lots of CD-ROM Titles or Internet learning sites are coming for use in multimedia, creating a need to develope evaluation standards with which to select high quality multimedia programs. The need of an evaluation tool is even more seriously felt by Instructional Designers who develop educational CD-ROM Titles and by decision makers who select the CD-ROM Titles. The purpose of this study is to develop a tool for evaluation of educational CD-ROM Titles. This task involved the following phases. First, prospective evaluation items were collected on the advice of educational technologists in related fields such as instructional designers, researchers and programers. The next phase was a survey using a modified Delphi technique. The pool of advisers of the first phase played a rating role here. After organizing the collected evaluation items by the present researchers, the importance of each was rated on a 3-point scale. Items that scored higher than the criterion were selected to develop the evaluation sheet. And a specialist in program evaluation asked to review the whole contents to make a final revision. The third and last phase was to conduct a generalizability study. The question of the study was how well does the evaluation result generalize to different raters. In other words, the interrater reliability of the evaluation standards developed in this study was investigated. Consequently, a generalizability coefficient of767 which was abstained proved to be acceptable. Hence, the evaluation scope and items of the CD-ROM Title evaluation sheet developed through this research are as follows : CONTENT (Experiences provided for the achievement of the goal) Is the CD-ROM Title ... 1. accurate? 2. appropriate for the target learner's age and level? 3. organized in a logical way? 4. free from biases or preconceptions? INSTRUCTION-LEARNING (Activities designed to deliver the content to learner) 5. Is the learner continuously motivated? 6. Are appropriate examples and exercises offered? 7. Does the Title invoke interactions so the learner may participate actively in learning? 8. Can the Title flexibly accommodate learners' various responses? 9. Is the Title helpful to learners by providing appropriate feedback? 10. Can the users freely control content presentation or the flow of the course? 11. Is it possible to get guidance regarding the flow of the Title when necessary? 12. Can the user be provided with supplementary resources for new or comprehensive content? 13. Have multimedia factors (graphic, audio, video ... ) been used harmoniously to achieve the objective? 14. Are the evaluation method and utilization of results helpful to learning? INSTRUCTION-LEARNING SUPPORT (User interface and technical computer support designed to enhance instruction-learning effect) 15. Are navigating tools provided with continuity? 16. Can the user easily and freely transfer the screen image when necessary? 17. Does the title support the learner in understanding hisher position inside the entire program? 18. Is it possible to record, save, and track learner's learning path? 19. Does the Title provide speedy and easy information searching method? 20. Is the amount of information presented on one screen appropriate? 21. Are the screens organized with continuity throughout the entire program? 22. Are the placements of screen factors clear and driving attention to important points? 23. Are the selective regions presented in an easily noticeable way? 24. Can the learner indentify his/her selection? 25. Are graphic icons or buttons easy to understand and appropriately representing the relative ideas? 26. Is the size of the text appropriate and legible? 27. Is the graphic in harmony with the text, appropriate in size and in position? 28. Do the graphics show continuity and maintain a feeling of coordination? 29. Is the narration appropriate in speed and length, and is it pronounced properly? 30. Is the sound effect following user input appropriate and in continuity? 31. Can the user control features such as video and audio play, stop, fastforward, etc. 32. Is it possible to record, edit, and print information when necessary? 33. Are operational help messages constantly offered during usage of the CD-ROM Title? 34. Does the user manual provide information on installation and usage of the Title?