온라인 하이퍼텍스트의 사용편의성 테스트에 관한 연구

Abstract

현대는 다양한 정보가 사회의 가장 주요한 자원으로 인식되는 정보사회로, 사회의 요구에 따라 교육 패러다임도 객관주의에서 구성주의로 그 관점이 강조되고 있다. 구성주의의 교수 원리를 실현할 수 있는 매체 환경으로 많은 연구자들은 하이퍼텍스트(hypertext)/하이퍼미디어(hypermedia)를 제시하였으며, 하이퍼텍스트 형태로 제공되는 인터넷의 월드와이드웹(World Wide Web)이 구성주의에 기초한 학습 원리들을 실현함에 있어서 매우 적합한 환경이 될 수 있다는 가능성이 제기되고 있다(Jonassen, 1988; Cognition and Technology Group at Vanderbilt, 1991; Spiro & Feltovich, 1991; Crotty, 1995; Klemm & Snell, 1996; Wagner & McCombs, 1995; 박인우, 1996 재인용). 현재는 시스템의 성능뿐 아니라 그 시스템을 사용할 수 있는 사용자 중심의 인터페이스 설계가 더욱 중요시되고 있으며, 특히 교육적 효과에 직접적으로 영향을 줄 수 있는 교육용 멀티미디어 인터페이스의 중요성은 더욱 강조되고 있다(Gomes, 1996). 이에 따라 90년대에 들어와 시스템의 기능을 모든 사람들이 쉽게 활용 할 수 있는 효율적인 인터페이스 설계에 초점을 둔 사용편의성(usability)이 이슈가 되고 있다. 특히 온라인 하이퍼텍스트인 월드와이드웹(World Wide Web)은 다양한 환경에서 여러 사람들의 접근을 허용하기 때문에 다른 어떤 매체보다 높은 수준의 사용편의성을 요구하며 최종 사용자(end-users)를 대상으로 한 사용편의성 테스트(usability test)가 매우 중요하다고 볼 수 있다(Nielsen, 1993). 따라서 본 연구의 목적은 사용편의성 평가 도구와 평가자 선정을 위한 이론적, 경험적 근거를 모색하는데 있다. 이러한 기초 자료를 마련하고자, 본 연구에서는 일반적으로 사용되고 있는 여러가지 사용편의성 테스트 도구들(instruments)을 이용하여 테스트 절차를 작성하고 이렇게 작성한 테스트 절차를 실제로 하이퍼텍스트 설계자와 일반 사용자를 대상으로 실시하였다. 구체적인 연구 문제와 그에 따른 세부 연구 문제는 다음과 같다. 첫째, 효과적인 사용편의성 테스트를 하기 위해 평가의 대상자로서 전문가와 일반 사용자 구성을 어떻게 하는 것이 바람직한가? : 일반 사용자와 온라인 하이퍼텍스트 설계자의 사용편의성 피드백에는 어떠한 차이가 있는가? 둘째, 사용편의성 테스트를 위해 어떤 도구를 쓰는 것이 바람직한가? : 온라인 하이퍼텍스트 설계자들이 사용편의성 피드백을 질적 또는 양적으로 평가할 때 어떤 도구를 가치 있게 생각하는가? 위와 같은 연구 문제를 알아보기 위해 본 연구에서는 소리내어 생각하기(think aloud), 중요사건 기술법(critical incidents), 질문지법, 비디오 기록법을 통해 사용편의성 테스트 절차를 마련하였다. 그리고 일반 사용자와 하이퍼텍스트 설계자들을 대상으로 사용편의성 테스트를 실시하여 양적, 질적 데이타를 모두 산출하였다. 본 연구의 참여자는 일반 사용자 10명과 전문가 10명으로 총 20명이었다. 일반 사용자는 연구 도구인 '구성주의 학습환경' 웹 사이트에서 정의한 대표적인 최종 사용자이며, 전문가는 현재 인터넷 사업 분야에 종사하고 있는 사람들로서 웹사이트 설계에만 2년이상의 경력을 갖고 있는 자들로 선정하였다. 본 연구에 사용 된 온라인 하이퍼텍스트는 '구성주의 학습'과 관련된 내용으로 본 연구자에 의해 제작되었다. 사용편의성 테스트는 약 3주 동안 실시되었으며, 그 결과는 일반적으로 사용 편의성 테스트에서 많이 사용되는 9가지 도구에 따라 분석하였다. 9가지 도구는 사용보고서, 검색경로도, 문제리스트, 선호리스트, 사용자 제안점, QUIS(Questionnaire for User Interface Satisfaction) 질문지[Chin et al. 1988], QUIS 주관식 질문지, Reeves & Harmon 질문지[Gomes. 1994], 사전 질문지이며, 질문지의 각 항목에 대해 두 집단간의 차이를 알아보기 위해서는 실험 대상인 표본의 크기가 작으므로 비모수적 기법(non-parametic techniques)중 하나인 Mann-Whitney 검증이 실시되었다. 또한 온라인 하이퍼텍스트 설계자들이 사용편의성 피드백을 질적 또는 양적으로 평가할 때 어떤 도구를 가장 가치있게 생각하는지 알아보기 위해, 사용편의성 테스트에서 나온 결과를 분석한 후 테스트에 참여한 5명의 전문가에게 테스트 도구와 각 도구에 의한 분석 결과를 제시하였다. 그리고 질문지를 통해 각 도구의 유용성에 대한 의견을 알아보았다. 사용편의성 테스트 결과 분석을 통해 얻어진 본 연구의 결과를 연구 문제별로 살펴보면 다음과 같다. 첫째, 먼저 사용 보고서를 분석한 결과, 일반 사용자들의 평균 검색 시간은 전문가의 평균 검색 시간과 비교해 볼 때 더 많았으나 평균 페이지 방문 수는 두 집단이 거의 비슷한 수치를 나타냄에 따라 전문가들은 짧은 시간에 많은 페이지를 검색하는 경향을 보이고 있으며, 일반 사용자들이 한 페이지에서 소요한 시간은 전문가들보다 많다는 것을 알 수 있었다. 또한 검색 경로도를 작성한 결과, 일반적으로 사용자들은 사이트에 제시된 내용을 순서대로 하나씩 살펴보고, 한 번 방문했던 페이지는 다시 방문하지 않는 선형적인 검색 경향을 보였다. 반면 전문가들은 사이트의 넓은 부분을 포괄적으로 탐색하며 사이트의 전체 구조를 파악하는 비선형적인 검색 경향을 보였다. 위와 같은 경향은 일반 사용자들이 사이트의 내용에 관심이 있는 최종 사용자이기 때문에 전문가들에 비해 내용적인 면에 중점을 두고 보다 자세히 검토하는 것이라고 볼 수 있다. 사용자들이 사이트의 내용을 좀 더 세밀하게 살펴보는 경향은 문제리스트와 선호리스트, 그리고 QUIS 주관식의 분석 결과에서도 뚜렷히 나타났다. 즉, 사용자가 전문가보다 더 많은 부문을 문제점으로 지적하였으며, 긍정적인 의견 또한 더 많이 제시하였다. QUIS 주관식 질문지의 응답을 분석한 결과에서는 양적으로 볼 때 일반 사용자들이 전문가 보다 더 많은 의견을 제시하여, 많은 피드백을 제공할 뿐 아니라 보다 성실하게 응답하는 경향을 보였다. 위의 결과로 볼 때 일반 사용자들로 하여금 사이트를 평가하게 하여 피드백을 얻는 것은 매우 효과적이라고 할 수 있다 그러나 전문가 집단이 평가자로서 일반 사용자보다 유용하지 않다고는 할 수 없다. 문제리스트에서 심각함 등급(severity rating)(Nielsen, 1997c)을 이용하여 확인한 중요 문제 중 70%는 전문가와 일반 사용자 모두에게서 발견되어, 중요한 문제점을 지적하는데 있어서는 전문가와 일반 사용자간에 큰 차이를 보이지 않았다. 또한 비디오로 기록된 소리내어 생각하기와 중요사건 기술법 분석 결과 전문가들이 개선을 위한 의견을 더 많이 제시하였으며, 특히 본 사이트 뿐 아니라 일반적인 사이트에도 적용 될 수 있는 높은 수준의 인터페이스, 프로그램상의 제안점을 많이 제시하였다. 이는 전문가들이 여러 사이트를 검색한 경험이 있으며, 항상 새로운 기술을 접하기 때문에 평가시 기존의 뛰어난 사이트와 비교하여 사용 편의성을 높일 수 있는 전략을 많이 제시할 수 있기 때문이라고 본다. 본 연구에서 사용된 두개의 질문지를 분석한 결과에서는 일반 사용자와 전문가의 의견에 차이가 있음을 확실하게 알 수 있었다. 전반적으로 학습자들이 전문가보다 더 관대하게 평가하고 높은 점수를 주는 경향을 보였다. 또한 사용자와 전문가가 각 항목에 대해 점수를 주는 경향은 비슷하지만 전체 58항목 중 15항목(26%)에서는 유의미한 차이를 보였다. 둘째, 온라인 하이퍼텍스트 설계자들이 사용편의성 피드백을 질적 또는 양적으로 평가할 때 어떤 도구를 가장 가치 있게 생각하는지 알아본 결과, 전문가들은 문제리스트를 가장 높게 평가 하였다. 그 다음은 사용 경로도, 선호 리스트, 사용 보고서, QUIS 질문지, Reeves & Harmon 질문지, QUIS 주관식, 사전 질문지, 그리고 제안점 순으로 나타났다. 높이 평가된 상위 3개 도구인 문제리스트, 사용 경로도, 그리고 선호 리스트는 소리내어 생각하기와 중요사건 기술법의 비디오 분석을 통해 나온 결과이다. 즉, 전문가들은 사용편의성 테스트에서 소리내어 생각하기와 중요사건 기술법에 의한 질적 데이타 산출 방법과 비디오 기록법에 의한 데이타 수집 방법을 매우 유용하게 생각한다는 것을 알 수 있다. 이와 같은 연구 결과를 토대로한 본 연구의 결론은 다음과 같다. 첫째, 본 연구의 결과 온라인 하이퍼텍스트에서 발생하는 대부분의 중요한 사용편의성 문제는 사용편의성 테스트를 통해 참여자에 관계없이 발견 될 수 있지만, 일반 사용자와 전문가의 피드백에는 어느 정도 차이가 있음을 알 수 있다. 따라서 사용편의성 테스트를 실시할 때는 상황에 따라 두 집단의 특성을 고려하여 대상을 선정하는 것이 요구된다. 즉, 시간이나 경제적으로 여유가 없을 때는 전문가만으로 사용편의성 테스트를 실시해야 하지만, 최종 사용자를 테스트에 포함하는 것이 좀 더 풍부하고 효과적인 결과를 얻을 수 있을 것이다. 또한 테스트 시기를 고려해 볼때 개발 초기 단계에 있어서는 높은 수준의 인터페이스 전략과 의견을 많이 제시하는 전문가를 테스트 대상으로 선정하고, 어느 정도 사이트가 완성이 된 후에는 최종 사용자의 테스트를 통해 내용적인 면과 보다 세밀한 부분에서 피드백을 얻는 것이 적절할 것이다. 둘째, 사용 편의성을 평가하는데 있어 양적인 데이타 산출 방법인 질문지법은 사용이 편리하며 분석하는데 시간이 적게 걸리므로 쉽게 적용할 수 있다. 그러나 포괄적인 정보만을 제시하며, 문제점을 구체적으로 지적해주기 보다는 단지 응답자의 의견을 제시해 주는 것이기 때문에 그 결과를 해석하고 적용하는데는 어려움이 많다. 이에 반해, 비디오 기록법, 소리내어 생각하기, 중요사건 기록법 등 질적인 데이타 산출 방법은 분석하는데 특별한 노력이 필요하고 시간도 많이 걸리지만, 보다 구체적이고 명확한 정보를 제공해 줄 수 있다. 결론적으로 많은 수의 참여자가 가능하며, 사이트 평가에 대해 수량적으로 종합화할 필요가 있거나 깊은 분석이 요구되지 않을 경우에는 양적인 방법을 사용 하지만, 보다 세밀한 분석이 필요할 때는 질적인 방법을 사용하는 것이 적절할 것이다. 이상 본 연구의 결론을 토대로 다음과 같은 후속 연구에 대한 제언을 하고자 한다. 첫째, 본 연구는 단지 교육적인 정보를 담고 있는 온라인 하이퍼텍스트의 사용편의성 테스트 결과를 대표적인 사용자 집단과 설계 전문가를 중심으로 분석한 것이다. 따라서 향후에는 온라인 코스웨어, 가상 교실 등 인터넷상에서 교육적으로 활용되고 있는 여러 하이퍼텍스트의 사용편의성 평가에 대한 연구가 심도있게 이루어져야 할 것이다. 둘째, 본 연구에서의 일반 사용자는 연구 도구인 온라인 하이퍼텍스트의 내용에 매우 관심이 있는 최종사용자들로서 범위가 매우 한정돼 있는 경우였다. 따라서 다양한 사용자 계층을 대상으로 하는 하이퍼텍스트들을 고려할 때, 평가 대상을 좀 더 세분화하여 사용자들의 성별, 연령, 인터넷 사용 경험, 내용에 대한 관심도 등에 따라 어떤 차이가 있는지에 대한 연구가 더 필요할 것이다. 또한 전문가 집단 내에서도 담당 업무, 실무 경력, 성별 등에 따라 어떠한 차이가 있는지에 대한 연구가 이루어져야 할 것이다. 끝으로, 온라인 하이퍼텍스트의 사용 편의성을 효과적으로 측정할 수 있는 평가 및 테스트 전략에 대한 연구가 더 필요하다고 본다. 본 연구에서 사용된 사용 편의성 도구 이외에 다양한 질적, 양적 분석 도구가 더 개발되고 그 유용성과 효율성에 대한 연구가 이루어져야 할 것이다. 특히 교육용 온라인 하이퍼텍스트의 사용편의성을 평가할 수 있는 평가지와 지침서 개발에 대한 연구는 매우 필요하다고 할 수 있다. 아울러 우리나라 산업 환경에서 사용편의성 테스트의 중요성을 비용, 효과적인 측면에서 제시해 줄 수 있는 보다 실증적인 사례 연구가 이루어져야 하겠다.;Recently there is an interface design for users who use the system, as well as a capability of the system which is considered as a matter of great importance. In Particular, the importance of educational multimedia interface which influences directly on educational effect is very much emphasized(Gomes, 1996). The usability of end-users that focused on the effective interface design became an issue since 1990's. On-line hypertext, world wide web admits the access of many people in the various circumstances, so it specially requires the higher standard of usability than that of other system and its usability test through the end-users is very important(Nielsen, 1993). Therefore, this dissertation attempts to provide a theoretical and practical resource for the usability test and the selection of the evaluation instruments and subjects. This study executes the usability test for users and experts -hypertext designers by using various instruments which used in general usability test. The following are the main research questions and their detailed questions: 1. What constitution of users and experts is desirable 10 do an effective usability test? : What are the differences in usability feedback between users and hypertext designers? 2. What instrument is desirable to use in the usability test? : What instrument do hypertext designers value when evaluating both quantitative and qualitative data from the users' feedback? This study produces both quantitative and qualitative data to find an answer to question 1. The usability test was executed for about 3 weeks using ''The Constructivist Learning Environment" web site made for this study. The subjects of this study are a total of 20 persons including 10 users and 10 hypertext designers. The users are potential end-users defined on the web site. Hypertext designers are working on the internet business field and they have more than 2 years of experience in web site design. The results are analyzed by 9 instruments- report of usage, navigational maps, list of problems, list of preferences, suggestions, QUIS(Questionnaire for User Interface Satisfaction) questionnaire[Chin et al. 1988], QUIS comments, Reeves & Harmon questionnaire[Gomes. 1994], and preliminary questionnaire. Regarding the question 2, the instruments, procedures, and data collected during the users' evaluations were provided. to 5 experts who participated in the test. These experts examined the usefulness of each instrument through the summative questionnaire. The following are the results of this study. 1. The study finds that there are many differences in usability feedback between users and experts. From the report of usage, average exploring time of users was about 70 minutes and users were consuming more time than 40 minutes of average exploring time of experts. But regarding the average number of pages visited, users visited 52pages and experts visited 56pages which is similar. It means that experts tend to explore many pages in shorter time and users use more time on each page than experts. From navigational maps through video analization, users in general review the contents on the site one by one in order and show linear exploration, not to visit the page once visited. On the other hand, experts tend to show nonlinear exploration to look for the broad part of the site inclusively and to grasp the whole structure of the site. This tendency explains that users are the end-users who are interested in the contents of the site and so they review and focus on them more carefully than experts. The tendency that the users explore the contents of the site more carefully is clearly showed in the analization result of the list of problems, the list of preference and QUIS comments. From the list of problems, users found more problems than experts. From the list of preferences users also present the more positive opinions. From QUIS comments, which included four items - screen, terminology & system information, learning and system capabilities, users tend to answer more sincerely as well as propose more opinion and present many feedback than experts in the quantitative side. Considering that users review the contents more carefully than experts and present more feedback and especially indicate more problems, users are very efficient in evaluating the site and presenting feedback. However, the experts are not considered less efficient than users as evaluators. From list of problems, 70% of items that were considered as serious problems by severity rating(Nielsen, 1997c) were found by both experts and users. Users generally tend to indicate more problems but there were no big differences to indicate important problems between users and experts. From analyzing the suggestions, experts presented more opinions for improvement and especially presented many suggestion for the program, high standard of interface applied to the general site, as well as the main site. This is because experts experienced to the exploration of variable sites and had access to new technology. Therefore, they presented many strategies to increase the usability in comparison with existing outstanding site when they evaluate the usability. From analyzing the result of the two questionnaires used in this study, there are clear differences in the opinion between users and experts. The users in general were more forgiving and rated higher than experts. Users and experts also were similar in giving the score for each item, but there were I5 items(26%) out of a total of 58 items which obtain statistical significance, when comparing users and experts. 2. From the study of what instruments experts think valuable when evaluating both quantitative and qualitative data from the users feedback, experts rated high on the list of problems(average 9 score). The order of next best instruments is navigational maps (6.6), list of preference(6.2), report of usage(4), preliminary questionnaire(3.8) and suggestions(3.8). The top 3 instruments are the list of problems, the navigational map and the list of preference are the result from video analization of think aloud and critical incidents. In short, experts reported that qualitative data methods by think aloud and critical incidents and data collection technique by video recording were very useful in the usability test. The following are the conclusions based upon the result of the study. 1. The most important usability problems occurred in the on-line hypertext are found in the usability test regardless of subjects but there are some differences in usability feedback between users and experts. Therefore, when executing the usability test it is required to select a subject considering specific characteristics of two groups according to the situation. This means that when there is no room in time and cost, the usability test can be executed only by experts, but the test which include end users will have more affluent and efficient results. Considering the test time, in the earlier stage of development, it is also required to select a subject as experts who presents a high standard of interface strategies and opinions. And after completing the development in some degrees, it is proper to find feedback from the test of end users in the contents and more detail side. 2. When evaluating the usability, questionnaire, one of the quantitative data methods is convenient to use and easily applied as it takes a little time to analyze. But there are many difficulties in analyzing and applying as it suggests. It only addresses inclusive information rather than indicating the problems concretely and suggests only users opinion. It is also difficult to trust the result from questionnaire used in evaluation of general software because the usability questionnaire for educational site is not developed yet. On the other hand, qualitative data methods such as video recording, think aloud and critical incidents is take much time and needed special effort to analyze, but they can present more concrete and definite information. The conclusion was that it is proper to use quantitative methods when many participants are possible and requiring synthesis quantitatively for the site evaluation and not requiring deep analization, but when requiring more detail analization it is proper to use qualitative methods. The following are the recommendations for further study. 1. This study analyzes the test result of usability for on-line hypertext which have only educational information with users and hypertext designers as the central figure of test subjects. Accordingly, further usability studies for various hypertext used on internet educationally such as on-line courseware, cyber campus should be achieved. 2. In this study, a scope of end-users was very specific. Because the defined users are the students were highly interested in the content of the on-line hypertext. In considering the wide range of end-users of other on-line hypertext, the study for the difference according to users' gender, age, internet experience, interest for the content should be achieved. Within experts, the study for the difference according to work, job carrier, gender, job experience should be also achieved. Finally, the study is needed for evaluation and test strategies measuring the usability of on-line hypertext efficiently. Excluding instruments of usability used in this study, the study should be achieved about development for various qualitative, quantitative instruments and its efficiency and effectiveness. Especially the study is urgently needed for the development of questionnaires and guidelines to evaluate the usability of an educational site. In addition, more positive case studies should be achieved to present the importance of usability test in the cost and effect side.