인터넷 학습 자료 평가 도구 개발을 위한 기초 연구

Abstract

Government of Korea launched a national program in support of information-based education system towards an information society in the twenty-first century. The Ministry of Education have been improving education system through the Internet since 1996. As a result, a great number of learning programs, including EDUNET, a comprehensive education information service, from wide variety of education institutes, newspaper publishers and private companies have come to appear on the Net in Korea. As the number of Internet-based learning programs increases, teachers and students who try to make use of the learning programs in teaching and learning activities through Internet have required method or guideline of evaluating the programs appropriate to their teaching purpose and educational value. This study is basic research in support of developing the evaluation tool for Internet-based learning programs to assure their educational value and to meet the requirement from teachers and students. Through literature survey, the author first analyzed and identified essential elements to consider in evaluating Internet-based learning programs. Initially, 65 evaluation criteria in 10 areas were created and these were modified into 62 evaluation criteria in 10 areas according to their appropriateness. Thirty developers of learning programs checked these modified evaluation criteria to verify their significance, and 54 evaluation items in 10 areas have been selected as significant evaluation item by them. In order to demonstrate the reliability of evaluation items, three graduate students of educational technology major performed a series of test on the six Internet-based learning programs, using these evaluation items and measured six learning programs on the Internet. As a result, it was found that 7 items of 54 items have insufficient reliability. Hence, eliminating 7 items of 54 items, 47 evaluation items in 10 areas as are finally included in evaluation items of learning programs through the Internet. And it is proven that the correlation between evaluators is .754. Appropriateness to Learning Strategy Area · Is clear goal of learning suggested? · Is time schedule of learning procedure provided? · Are preparatory lessons and learning contents provided? · Is enough key learning information to accomplish learning goal provided? · Are learning contents consisted logically (e.g. hierarchically, thematically)? · Are various learning methods (e.g. information searching, collaborate learning, problem solving) used? · Are active participation functions (e.g. problem solving activity, participation in discussion ) for learners in learning included? · Are complementation and supporting functions (e.g. online help system, offline help, searching engine, linkage to associative sites) included? · Is interact between learner and teacher dynamic? · Are opportunities to practice learned things and apply them to real situation provided? · Is test for evaluation of learning provided? · Is criteria to evaluate accomplishment of learning provided? · Are immediate feedback on learning activities or evaluation provided? · Are various feedback types about correct or incorrect answers included? · Is feedback on correcting or improving of learning provided? · Is consistency among learning goal, contents, method and evaluation included? Relationship with Curriculum Area · Is Internet-based learning program related with curriculum? Appropriateness of Learning Content Area · Is it educationally effective and valid when learning subject is suggested as a learning program through the Internet? · Is correct learning information provided? · Have developers or developing institutes expertise on learning details? · Is source of the learning information described? Consideration of Learner's Characteristics Area · Is the degree of difficulty proper to learners? · Are the vocabularies, sentences, examples, and characters used in Internet learning programs proper to target learners? · Are no prejudice on sexual, racial, cultural and social problems included in learning contents? Interface Design Area · Are characteristic of learners (e.g. computer skill, handicapped persons) reflected on interface designing? · Are interface tools to move to other pages (e.g. menu, icon, image amp, hyper-link) enabled without any fault? · Is path to needed information direct and short? · Are design of interface tools (e.g. menu, icon, image amp, hyper-link) consistent? · Are interface tools (e.g. menus, icons, image maps, hyper-links) precisely describe the titles and linked information? · Are interface selection field clear and easy to distinguish · Is feedback on learners' input and selection provided? · Can Learners check their present positions and searching paths? Page Design Area · Are grammar and spelling of the text correct? · Are size and appearance of the text easy to recognize · Are background color and graphics easy to recognize · Is there layout consistency in each page? · Logically linked (e.g. hierarchical, sequential, parallel) to the home page according to the types of learning information? Web Multimedia Area · Are components of pages (e.g. text, graphic, audio, video) associative with learning contents? · Are graphics are simple but suggestive? · Are graphic designs consistent? Management of Learning Materials Area · Is the latest revision date of the site noted? · Is copyright valid date of the learning information noted? · Is there manager or managing organization of the site? System Management Area · Is there web master who manages the system faults? · Is any type of browser version compatible with? Security Area · Is Security of private information ensured? · Through this study, the author has obtained following conclusions: First, one should evaluate the areas of appropriateness to learning strategy, relationship with curriculum, appropriateness of learning content and consideration of learner's characteristics to verify quality of teaching-learning directly, and the areas of interface design, page design, web multimedia, management of learning materials, system management and security indirectly. Second, one should evaluate the areas of appropriateness to learning strategy, relationship with curriculum, appropriateness of learning content and consideration of learner's characteristics to verify whether learning content is developed based on teaching-learning theory, the areas of interface design, page design and web multimedia based on the Web Style Guide and the areas of management of learning materials, system management and security whether the learning site is managed properly. Third, the evaluation items of appropriateness to learning strategy area are developed based on teaching theory rather than learning theory. Fourth, the items of appropriateness to learning strategy, relationship with curriculum, appropriateness of learning content and consideration of learner's characteristics areas evaluate instruction rather than discussion, exploratory learning. Fifth, the items of interface design area evaluate interface programming rather than learner's cognitive style. Sixth, depending on the situation of Internet-based learning program style and communication environment, some items of the web multimedia area may be not possible to evaluate. Author proposes following recommendations for further study. First, one should develop evaluation items for Internet-based learning program based on learning theory and variable learning methods. Second, learning site developer should consider user's learning and cognitive style in designing interface. Third, one should develop evaluation guideline for Internet-based learning programs for teachers and learners who are non-expert on evaluation and Internet-based learning design. Fourth, evaluation items for Internet-based learning program developed by the author be practiced in the field for validation.;정부는 21세기 정보 통신 시대를 대비하여 범국가적인 교육 정보화 운동을 추진하고 있다. 이에 교육부는 교육 정보화 운동의 일환으로 1996년 이래 인터넷을 활용한 교육의 보급에 노력하고 있다. 그 결과 현재 교육 기관, 언론사, 기업들이 개발한 각종 인터넷 학습 자료(Internet-based learning program)는 그 수를 헤아릴 수 없을 만큼 많다. 이처럼 인터넷 학습 자료의 양이 증가함에 따라 인터넷 학습 자료를 교육 활동에 활용하려는 교사와 학습자들은 교수-학습 목적에 적합하고 교육적으로 가치 있는 인터넷 학습 자료를 평가할 수 있는 지침이나 방법을 요구하게 되었다. 따라서 본 연구의 목적은 교사와 학습자들이 사용할 수 있는 인터넷 학습 자료 평가 도구를 개발하는데 필요한 기초 자료를 제공하는 것이다. 연구 목적에 따른 연구 문제는 다음과 같다. 첫째, 인터넷 학습 자료 평가의 준거(criteria)는 무엇인가? 둘째, 인터넷 학습 자료를 평가하는데 필요한 항목(items)은 무엇인가? 연구자는 문헌 연구와 내용 타당도(validation) 검증을 통해 10영역 총 62개의 평가 준거를 작성하였다. 62개의 평가 준거는 다시 평가 항목으로 작성되었다. 평가 항목은 30인의 인터넷 개발 전문가들로부터 중요도 검증을 받았다. 그 결과 인터넷 학습 자료의 평가 항목으로서 중요도를 인정받은 항목은 10영역 총 54개 항목이다. 또한 평가 항목의 신뢰도를 검증하기 위하여 교육공학과 대학원생 3인이 중요도 검증을 받은 10영역 총 54개 항목으로 구성된 실험용 인터넷 학습 자료 평가 도구를 이용하여 6개의 인터넷 학습 자료를 실제로 평가하였다. 그 결과 7개 항목이 평가 항목으로서의 신뢰도가 낮은 것으로 판명되어, 인터넷 학습 자료 평가 항목에서 제거되었다. 그리고 평정자 간 신뢰도는 .754로서 연구자가 개발한 평가 항목은 다른 평정자들이 동일한 인터넷 학습 자료를 평가할 경우 서로 일치된 결과를 가져올 확률이 높다. 따라서, 인터넷 학습 자료 평가 도구 개발의 기초 자료로서 연구자가 개발한 평가 항목은 10영역 총 47개 항목으로 구체적인 평가 영역과 평가 항목을 살펴 보면 다음과 같다. 평가 영역은 '학습 전략의 적절성', '교육 과정과의 연계성', '학습 내용의 적합성', '학습자 특성의 반영도', '인터페이스 설계', '페이지 설계', '웹 멀티미디어', '학습 자료 관리', '시스템 관리', '학습 사이트의 보안성'의 기준에 따라 분류되어 진다. 그리고 평가 항목은 영역의 특성을 대표하면서도 필수적으로 포함되어져야 할 요인들로 구성되어 있다. '학습 전략의 적절성' 영역의 평가 항목은 총 16개 항목으로 인터넷 학습 자료에 사용되는 교수-학습 전략이 교육적으로 유의미하고 효과적인가를 평가한다. 따라서 평가 항목은 '학습 목표', '학습 진행 계획표', '선수 학습 내용', '주요 학습 정보의 양', '학습 내용의 논리적 구성', '학습 방법의 다양성', '적극적인 학습 참여', '학습 지원 기능', '학습자-교사 상호작용', '연습, 적용의 기회', '학습 성취도 평가', 평가 준거', '피드백', ' 학습 목표-내용-방법-평가의 일관성' 등의 요인을 포함한다. '교육 과정과의 연계성' 영역의 평가 항목은 총 1개 항목으로 인터넷 학습 자료가 기존 교육 과정과 관련이 있는가를 평가한다. 따라서 평가 항목은 '교육 과정과의 연관성'이라는 요인을 포함한다. '학습 내용의 적합성' 영역의 평가 항목은 총 4개 항목으로 인터넷 학습 자료를 통해 제시되는 학습 내용이 교육적으로 신뢰할만하고, 인터넷 활용 교육의 학습 주제로서 효과적인가를 평가한다. 따라서 평가 항목은 '웹 활용의 교육적 효과성', '학습 정보의 정확성', '개발 기관의 전문성', '학습 내용 출처의 신빙성' 등의 요인을 포함한다. '학습자 특성의 반영도' 영역의 평가 항목은 총 3개 항목으로 인터넷 학습 자료가 대상 학습자의 학습 능력이나 기타 선호도를 반영했는가를 평가 한다. 따라서 평가 항목은 '학습 난이도', '어휘, 예문, 사건, 인물과의 친밀성', '편견, 고정 관념' 등의 요인을 포함한다. '인터페이스 설계' 영역의 평가 항목은 총 8개 항목으로 학습자들이 인터넷 학습자료를 이용하여 원하는 정보를 정확하고 손쉽게 찾을 수 있는가를 평가한다. 따라서 평가 항목은 '학습자 특성 반영', '인터페이스 도구의 작동성', '정보 접근 경로', 인터페이스 설계의 일관성', 연결될 정보에 대한 정확한 설명', '선택 영역 구분의 명확성', '사용자 입력에 대한 피드백', '위치, 검색 경로 확인' 등의 요인을 포함한다. '페이지 설계' 영역의 평가 항목은 총 6개 항목으로 인터넷 학습 자료의 레이 아웃과 화면 구성을 평가한다. 따라서 평가 항목은 '텍스트 철자와 문법', '텍스트 명시도', '색상 명시도', '텍스트 문단 정렬', 페이지 레이 아웃의 일관성', '페이지의 논리적 연결' 등의 요인을 포함한다. '웹 멀티미디어' 영역의 평가 항목은 총 3개 항목으로 인터넷 학습 자료에서 사용되는 멀티미디어가 교육적으로 효과적인가를 평가한다. 따라서 평가 항목은 '페이지 요소와 학습 내용과의 관련성', '그래픽 정보의 함축성', 그래픽 디자인의 일관성' 등의 요인을 포함한다. '학습 자료 관리' 영역의 평가 항목은 총 3개 항목으로 인터넷 학습 자료의 최신성과 전문성을 평가한다. 따라서 평가 항목은 '개정일', '저작권 유효 기관', '사이트 관리 기관' 등의 요인을 포함한다. '시스템 관리' 영역의 평가 항목은 총 2개 항목으로 인터넷 학습 자료를 제공하는 서버와 프로그래밍의 오류를 평가한다. 따라서 평가 항목은 '시스템 관리자', '브라우저의 호환성' 등의 요인을 포함한다. '학습 사이트의 보안성' 영역의 평가 항목은 총 1개 항목으로 인터넷 학습 자료를 이용하는 학습자들의 개인 정보 보안을 평가한다. 따라서 평가 항목은 '개인 정보 보안성' 요인을 포함한다. 이상의 연구 결과를 통해 연구자는 다음과 같은 결론을 내렸다. 첫째, 10개의 평가 영역은 평가 내용별로 크게 3부분으로 분류되어 있어, 학습 내용이 교수-학습 이론과 교수 설계 이론에 근거하여 효과적으로 개발되었는가, 인터넷 학습 자료를 제작할 때 웹 스타일 가이드를 충실히 이행했는가, 학습 사이트가 제대로 관리되고 있는가 등을 평가한다. 즉, '학습전략의 적절성', '교육 과정과의 연계성', '학습 내용의 적합성', '학습자 특성의 반영도'는 학습 내용 개발 영역을 평가하고, '인터페이스 설계', '페이지 설계', '웹 멀티미디어'는 웹 스타일 가이드 영역을 평가하며, '학습 자료 관리', '시스템 관리', '학습 사이트의 보안성'은 학습 사이트 관리 영역을 평가한다. 둘째, '학습 전략의 적절성' 영역의 경우, 평가 항목이 '학습'보다는 '교수' 관점에서 맞춰져 있다. 그 이유는 '학습 전략'에 관한 평가 항목이 주로 가네의 9가지 수업 사태와 교수 설계 이론에 근거해 작성되었기 때문이다. 셋째, 학습 내용 개발을 평가하는 네 가지 영역의 평가 항목이 주로 강의식 학습이나 문답 학습 평가에 적합한 항목들이다. 그 이유는 현재까지 개발되고 있는 인터넷 학습 자료의 대부분이 토론, 탐구 학습보다는 강의식 학습 방법을 선호하고 있기 때문이다. 넷째, '인터페이스 설계'에 관한 평가 자체가 하드웨어적 운영이나 외형적 설계에 초점을 맞추고 있어, 인터페이스 설계가 교육적으로 유의미했는가 혹은 인터페이스 설계가 학습자의 정보 검색 스타일을 반영했는가에 관한 교육적 평가 접근은 배제하고 있다. 다섯째, '웹 멀티미디어' 평가의 경우, 학습 자료의 유형, 통신 환경에 따라 평가 자체가 불가능하거나 평가 편차가 많이 나는 항목이 발생한다. 예를 들면 멀티미디어 요소가 전혀 없는 학습 자료에서 '웹 멀티미디어' 요인을 평가하는 것은 불가능하며, 동일한 학습 자료를 여러 명의 평가자가 동시에 평가하더라도 각자의 통신 환경에 따라 오디오나 동영상의 재생 상태가 다르게 평가될 수 있다. 본 연구의 결론을 통해 연구자는 다음과 같은 제언을 제시한다. 첫째, 연구자가 개발한 인터넷 학습 자료 평가 항목은 학습 이론보다는 교수 이론을 중심으로 작성되어, 학습자가 요구하는 평가 관점을 충분히 반영하지 못하였다. 따라서 차후 연구에서는 학습자들의 요구를 충분히 반영하여 '학습' 활동 평가에 초점을 둔 평가 항목을 개발해야 할 것이다. 둘째, 연구자가 개발한 인터넷 학습 자료 평가 항목은 강의형 인터넷 학습 자료 평가를 기준으로 작성되었으므로 탐구 학습이나 토론 학습과 같이 학습자 중심의 학습 방법을 사용하는 인터넷 학습 자료를 평가하는데는 부적절하다. 따라서 차후 연구에서는 다양한 학습 방법을 고려한 평가 항목을 개발하야 할 것이다. 셋째, 인터페이스 설계에 관한 평가 항목을 개발할 때는 프로그래밍 수준에서만 평가할 것이 아니라 교육적인 측면에서 인터페이스가 학습자의 인지 유형과 학습 스타일을 효과적으로 통제하고 있는가를 고려해야 한다. 또한, 통신 환경에서 멀티미디어 요소가 운영되는 방식은 스탠드-얼론 환경에서와 많은 차이점이 있으므로 인터넷 학습 자료의 멀티미디어 요소를 평가할 때는 통신 환경의 특성을 고려해야 한다. 따라서 웹 스타일 가이드에 대한 교육공학자들의 심도 깊은 연구가 필요하다. 넷째, 인터넷 학습 자료 평가 도구를 개발할 때 각 평가 항목이 평가할 수 있는 범위와 요인이 무엇인지를 자세하게 설명하고, 평가하는 방법을 알려주는 평가 지침서가 함께 개발되어야 할 것이다. 다섯째, 연구자가 개발한 인터넷 학습 자료 평가 항목이 실제로 필요한 사항들을 정확하게 평가하고 있는가를 검증하기 위하여 인터넷 학습 자료 평가 도구 개발 과정에서 현장 검사를 실시해야 한다.