국가기록원 웹사이트 검색서비스의 사용성 평가를 통한 개선방안 연구

Abstract

웹을 기반으로 하는 기록정보서비스는 대다수의 국민들이 인터넷을 이용하는 현 시점에서 그 중요성이 어느 때보다 강조되고 있다. 이러한 상황에서 기록관에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 그럼에도 불구하고 여러 선행연구에서 국가기록원 웹사이트가 인터페이스의 불친절함, 검색기능의 불편함, 낮은 이용자 만족도 등 사용성 측면에서 부족하다는 사실이 지적되어 왔다. 또한 기존 연구들도 기록물관리 전문요원만을 조사대상으로 하거나 실험이 아닌 설문조사로만 연구를 진행하는 등 제한적인 방법으로 국가기록원 웹사이트 사용성을 조사해 왔다. 이에 본 연구는 국가기록원 웹사이트 검색서비스의 사용성을 전문가 평가와 다양한 그룹의 이용자 대상 사용성 평가를 통해 분석하였고 이를 기반으로 개선방안을 제시하였다. 본 연구에서는 첫째, 문헌연구를 통해 이용자 경험 평가지표에서 인터페이스와 사용성이 주요한 지표임을 확인하였다. 인터페이스는 사용성에 직접적인 영향을 미치는 요소이므로 인터페이스를 중점적으로 평가하였다. 또한 사용성 평가지표 중에서 검색성에 초점을 맞추어 콘텐츠, 검색, 도움말 및 지원이 사용성 평가지표로 중요한 부분임을 파악하였다. 더불어 기존 연구를 바탕으로 사용성을 효율성, 효과성, 만족도의 세 가지 측면에서 측정할 수 있음을 확인하였고 이를 측정하기 위한 방법들을 살펴보았다. 둘째, 인터페이스 사용성 전문가 평가 중 하나인 휴리스틱 평가를 통해 국가기록원 웹사이트가 사용성 원칙에 부합하는 정도를 평가하였다. 그 결과 사용성 원칙 가운데 정확성, 실수방지, 심미성, 이해성, 가시성, 만족성, 일관성, 직관성, 신속성, 에러대처 순으로 사용성이 낮다는 의미인 심각도가 높은 문제점을 발견하였다. 셋째, 다양한 그룹의 이용자들을 대상으로 사용성 평가를 실시하였다. ISO 9241-11(2018) 사용성 평가기준인 효과성, 효율성, 만족도를 기준으로 조사 과정 전반의 데이터를 수집해 정량적인 평가를 진행하였다. 조사 참여자는 웹을 사용할 수 있는 일반인 10명, 웹/앱 개발자 6명, 기록관리학 전공 대학생 6명으로 총 22명이었으며, 설문조사, 5초테스트, 검색과업 수행 순으로 진행하였다. 설문을 통해 웹 사용성에 미치는 영향을 알아보기 위해 참여자의 직업, 전공지식 등 배경요인을 조사하였다. 조사 결과 참여자의 컴퓨터 활용도보다 다양한 검색 인터페이스에 친숙한 것이 웹사이트 사용성의 효과성 측면에서 더 유리하였다. 5초테스트를 통해 국가기록원 메인 페이지 구성요소들의 인지율과 인지정확률을 확인하였으며, 가장 많은 참여자들이 정확하게 인지했던 통합검색의 경우 사용성 조사 결과에서도 다른 검색도구에 효과성, 효율성, 만족도 부분에서 모두 높은 사용성을 보여주었다. 검색 과업 수행은 조사 참여자들에게 각 검색도구를 이용해 기록물을 검색하도록 했으며, 이를 통해 친숙한 인터페이스일수록 효과성과 효율성이 높아지고, 도움말 제공에 따라 효과성과 만족도가 높아짐을 확인하였다. 또한, 콘텐츠 검색에서는 콘텐츠 별로 인터페이스가 다르고 용어도 통일되지 않아 효과성, 효율성, 만족도가 모두 낮음을 확인하였다. 개선사항으로 이용자에게 익숙한 인터페이스와 검색기능의 제공, 도움말 지원의 확대, 일관성 있는 웹 인터페이스 제공을 제안한다. 먼저, 이용자들에게 범용적인 웹 인터페이스와 검색기능을 제공하여야 한다. 이용자들은 익숙한 인터페이스일수록 검색 효율성이 향상되므로, 상업적인 통합검색 사이트와 같은 인터페이스를 구현하고, 검색기능을 개선할 필요가 있다. 또한, 웹사이트로의 자연 유입 트래픽을 늘릴 수 있는 SEO를 적용할 수 있다. 다음으로, 도움말 지원의 확대를 제안하였다. 도움말을 먼저 확인한 그룹은 효과성과 만족도가 향상되었다. 따라서, 도움말에 쉽게 접근할 수 있도록 인터페이스를 구성해야 하며, 전문적인 기록 용어에 대한 쉬운 설명과 검색도구별 이용안내를 보강하여야 한다. 이용교육을 제공하는 것도 좋은 방안이 될 수 있다. 마지막으로, 일관성 있는 웹 인터페이스를 제공할 필요가 있다. 서로 다른 컨셉의 콘텐츠 디자인을 일관성 있게 설계하고, 검색도구 메뉴의 이름, 기록 용어 등을 통일성 있게 제공하여, 이용자들이 예측할 수 있고 쉽게 이용할 수 있는 인터페이스 제공이 필요하다. 본 연구는 국가기록원 웹사이트 검색서비스에 대해 전문가 분석과 더불어 이용자들을 대상으로 실제 검색과정을 관찰 조사하고, 데이터 수집과 분석을 통해 사용성 평가 및 개선사항을 도출했다는데 의의가 있다. 본 연구의 결과는 국가기록원 및 타 기록관 웹사이트의 검색서비스 사용성을 향상시키는데 있어 기초자료로 활용될 수 있을 것이다.;Web-based archival information service deserves further highlights at the current point where a majority of the population use the Internet. In this situation, archives need to provide web-based archival information service of high usability designed based on the understanding of user needs. Despite this need, however, previous studies have pointed out that National Archives of Korea website has room for improvement in the usability aspect due to unkind interface, inconvenient search functions, and low user satisfaction. Previous studies targeted only professional staff members of archive management or employed only limited methods such as an interview or a survey to investigate the usability of National Archives of Korea website. This study thus set out to analyze the usability of search service at National Archives of Korea website in usability assessment with various user groups as well as expert evaluation and propose improvement measures based on findings. In the study, literature research was first conducted to check interface and usability as important indexes to assess user experiences. Since interface was an element having direct impacts on usability, a focus was placed on interface in assessment. Of the usability evaluation indexes, findability also received a focus to figure out that content, search, help and support were important parts in the indexes. Based on previous studies, it was confirmed that usability could be measured in three aspects of efficiency, effectiveness, and satisfaction with methods to measure it explored. Second, heuristic evaluation, one of expert evaluations for interface usability, was carried out to assess the degree of conformity of National Archives of Korea website to the principles of usability. As a result, a very serious problem was discovered that Match between system and the real world of these principles recorded the lowest usability, being followed by Error prevention, Aesthetic and minimalistic design, Help and documentation, Visibility of system status, User control and freedom, Consistency and standards, Recognition rather than recall, Flexibility and efficiency of use, and Help user with errors in the order. And thirdly, usability assessment was conducted with various groups of users. Data was collected across the entire evaluation process according to efficiency, effectiveness, and satisfaction, which are the criteria of usability assessment in ISO 9241-11(2018) to perform a quantitative evaluation. The research participants were total 22 including ten common people capable of using the web, six web/app developers, and six college students specializing in archive management. A survey, 5-second test, and search tasks were carried out in the order. In the survey, the participants’ background factors were examined including a major and its knowledge to understand their effects on web usability. The evaluation results reveal that the participants’ familiarity with various search interfaces was more favorable in the effectiveness of website usability than their computer mastery. In the 5-second test, the components of National Archives of Korea website’s main pages were examined in recognition rates and recognition accuracy rates. In the usability assessment, integrated searches, which were recognized accurately by the biggest number of participants, also recorded high usability in the effectiveness, efficiency, and satisfaction of other finding aids. Carrying out search tasks, the research participants were asked to use each finding aid to search records. The outcomes show that their effectiveness and efficiency increased according to familiar interfaces and that effectiveness and satisfaction rose according to help provided. In content searches, effectiveness, efficiency, and satisfaction all recorded a low level due to different interfaces by the content and lack of term unification. Based on these findings, the study proposed a couple of improvement measures including familiar web interfaces and search functions to users, expansion of help supports, and consistent web interfaces. First, it is important to provide users with universal interfaces and search functions. Users improve in their search efficiency according to familiar interfaces, which raises a need to implement the same interfaces as commercial integrated search sites and improve search functions. SEO can also be applied to increase the traffic of natural inflows into a website. Next, the study proposed to expand the supports of help. The group that checked help first improved in effectiveness and satisfaction, which raises a need to design an interface that will make an easy access to help, offer easy explanations about professional archival terms, and reinforce instructions by the finding aid. It is also a good idea to provide education on how to use help. Finally, it is necessary to provide a consistent web interface. It is needed to provide content designs of different concepts in a consistent manner and offer names of finding aid menus and archival terms in a unified way so that users can have access to predictable and easily workable interfaces. The present study is significant in that it assessed the usability of National Archives of Korea website’s search service and proposed a set of improvement measures by conducting an observation investigation with an actual search process and gathering and analyzing data with common users as well as expert analysis. The findings of the study may serve as basic data to improve the usability of search service at National Archives of Korea website or those of other archives.