기록물관리기관 서비스 품질 척도 개발에 관한 연구

Abstract

This research aims at providing basic data to help effectively enhance service quality of archives especially for public institutions by developing a unique scale which is able to assess the service quality of archives. For that purpose, the research brought up the following research questions: First, which component factors exist in the evaluation of archival service quality? Second, is the scale developed for evaluating the archive service quality, valid, reliable, and able to measure differences in service quality recognized by users? First of all, based on literature study, definition, characteristics, and types of existing services, and examples of service quality and service quality measuring models, this study produced repetitive component concepts. Then by relating these component concepts and service quality measuring statements of Calvert and Hernon(1997), seven factors and 96 preliminary statements were developed. Those preliminary statements had gone through double reviews done by 12 experts before being reduced to a total of 7 factors and 76 statements which include nine statements on appearance, 13 on reliability, nine on speed, 13 on convenience, 12 on accountability, 10 on empathy, and 10 on equality. Then regarding these selected statements, a pilot survey was conducted on 30 people divided into five people in each group of six archival institutions who are semi-experts. According to the I-CVI calculation of 29 questionnaires collected, what had .78 and above agreements represents 7 factors and 69 items including nine statements on appearance, 12 on reliability, nine on speed, nine on convenience, 12 on accountability, nine on empathy, and nine on equality. There were two series of expert reviews and pilot tests of semi-experts. They were conducted on inside and outside users of three most frequently used archives which provide a range of type-based reference service, value added service, and outreach service. Those 300 users subjected to these reviews were divided into groups of 50. These reviews generated seven factors and 69 statements. The researcher distributed questionnaires which consisted of a total of 81 statements including those 69 statements, six statements on user satisfaction and attitude, and six statements to identify demographic characteristics. Consequently a total of 295 valid items of data were collected. First, an exploratory factor analysis was conducted based on 295 items of data in order to decide factors and statements of the newly developed scale. As a result, five factors and 33 statements were selected. In addition, in order to verify this structure, the study surveyed on a total of 450 inside and out side users of three second most frequently used archives which provide a range of type-based reference service, value added service, and outreach service. Those 450 users were also divided into groups of 75. As a result, a total of 410 valid items of data were gathered and the confirmatory factor analysis on this was conducted. The result showed that the scale well reflected the conceptual scheme and contents as seen in factor loading and model fit. Additionally, the verification result of configural invariance and metric invariance of five factor model showed that the scale was able to be used on both inside and outside users. The scale verified construct validity through exploratory factor analysis and confirmatory factor analysis. Next, the study confirmed the validity of the scale through tests on convergent validity, discriminant validity, and criterion-relation validity, and verified its reliability through Cronbach's α coefficient. Lastly, in order to find if the scale measures the recognition of archive users on service quality reliably and properly, the t-test was performed to identify how differently the service quality is considered between satisfactory and unsatisfactory users of archives. The followings are the analysis results of the archive service quality scale. First, the subcategory of the scale consists of five factors such as equality, appearance, convenience, accountability, and empathy. The equality factor includes seven statements designed to measure the fairness of the subject, period, qualification, method, process, and policy of the service provided to users. The appearance consists of seven statements to evaluate how stable and relaxing the facility, environment and space are in terms of providing service. The convenience factor comprises eight statements to measure how easy and useful the method, condition, and process are in providing service. There are six statements in the accountability factor to measure the extent of responsible management and expertise level of the service providers of archives. Finally, the empathy factor consists of five statements to measure individual consideration and attention the customers feel while using the archives. Second, the factor analysis on archives of the first and second user surveys showed the scale has consistent factor structures. In addition, in order to verify the same application of measuring the inside and outside users based on the same structure concept, multi-group confirmatory factor analysis was performed using 410 effective data collected from the second and additional user surveys. Consequently, the result of configural invariance and metric invariance verification process showed the appropriate model fit, showing that the scale is able to be commonly used by both inside and outside users. Third, the scale is not only related to SERVQUAL and LibQUAL+ which were already verified but also holds additional R2 on user satisfaction, which brings convergent validity and discriminant validity. It was also verified to have criterion-relation validity since it showed meaningful impact on user satisfactory level which is criterion variable. Fourth, the scale reliability spanned between .89 and .91 in low factor scale and .97 in the overall scale has reliability of generally high level internal consistency. Fifth, the t-test to confirm the gap of service quality consideration showed meaningful difference between satisfactory and unsatisfactory users. It showed the clear difference of service quality recognized between the two groups. It also represented the scale could measure the recognition of archive users properly and reliably. This study confirmed the structural concept based on concept definition of archival service quality, conducted statistical analysis, and developed the service quality scale equipped with validity and reliability. Developing the scale is expected to play a practical role in presenting for each archive more effective operation method to enhance service quality by diagnosing its status and identifying the differences from other archives.;본 연구는 기록물관리기관의 서비스 품질을 평가할 수 있는 고유한 척도를 개발하여 각 기록물관리기관이 효과적으로 서비스 품질 향상을 도모할 수 있는 기초 자료를 제시하고자 하였다. 이를 위해 다음과 같이 연구문제를 설정하였다. 첫째, 기록물관리기관 서비스 품질 평가의 구성요인은 무엇인가? 둘째, 기록물관리기관 서비스 품질 평가를 위해 개발된 척도는 타당하고 신뢰할 수 있으며 이용자의 서비스 품질 지각에 대한 차이를 측정할 수 있는가? 기존에 연구되었던 서비스의 정의, 특징, 유형 및 서비스 품질의 개념, 특성 등 문헌연구와 서비스 품질 측정 모형에 대한 사례를 기반으로 반복적인 6가지 구성개념을 도출하였다. 또한 Calvert와 Hernon(1997)의 서비스 품질 측정 문항들에서 개발 척도에 사용될 96개의 측정 문항을 개발하였다. 이후 구성개념과 측정 문항에 대한 2회의 전문가 평가를 통해 7개의 구성요인과 76개의 예비문항을 개발하였고, 개발된 7요인 76개의 예비문항에 대해 6개의 전문가 평가 대상 기관에서 관련 분야 석사 이상이거나 기록관리 업무 2년 이상인 담당자 각 5명씩 총 30명을 대상으로 사전조사를 실시하여 문항의 내용타당도를 평가하기 위한 I-CVI(Item-level Content Validity Index)를 산출하였다. 조사 기간 중 접수된 29부의 설문지에 대한 I-CVI 산출 결과 .78 이상의 합의가 이루어진 문항은 외형성 9문항, 신뢰성 12문항, 신속성 9문항, 편의성, 9문항, 책임성 12문항, 공감성 9문항, 공평성 9문항 등 총 7요인 69개였다. 다음은 기록물관리기관 유형별로 서비스 운영 현황을 조사하여 참고서비스, 부가가치 서비스, 확장서비스를 모두 제공하면서 기록물관리 이용자수가 가장 많은 3개 기관을 선정하였다. 이들 기관에서 내부 및 외부 이용자 각 50명씩 총 300명을 대상으로 1차 이용자 설문조사를 실시하였다. 개발된 기록물관리기관 서비스 품질 척도의 요인구조와 문항을 확정하기 위해 수집된 295개의 유효 데이터를 가지고 탐색적 요인분석을 실시하였고, 요인분석 결과 5개 요인, 총 33문항을 선정하였다. 선정된 5요인 33문항을 확증하기 위해 1차 이용자 조사 기관 선정과 같은 방식으로 기록물관리기관 유형별로 참고서비스, 부가가치 서비스, 확장서비스를 모두 제공하면서 이용자수가 두 번째로 많은 3개의 기록물관리기관을 새로 선정하였다. 이들 기관에서 내부 및 외부 이용자 각 50명씩 총 300명을 대상으로 설문지를 배포하여 총 260개의 유효 데이터를 수집하였다. 이후 다집단 확인적 요인분석을 위한 적정 데이터 수를 확보하기 위해 동일 집단을 대상으로 다시 내부 및 외부 이용자 각 25명씩 총 150명에게 설문지를 추가로 배포하였다. 그 결과 150개의 데이터를 더 확보하여 410개의 유효 데이터를 가지고 확인적 요인분석을 실시하였다. 이후 개발 척도가 내부 및 외부 이용자에게 공통으로 사용될 수 있는지를 확인하기 위해 기관의 내부 및 외부 이용자를 대상으로 5요인 모형에 대한 형태동일성, 측정동일성 검증을 실시하였다. 다음은 척도의 수렴 및 변별타당도를 검증하기 위하여 기존의 검증된 척도 중 현재까지 광범위하게 서비스 품질을 측정하는 도구로 사용되고 있는 서브퀄 척도와 기록물관리기관과 유사한 서비스 기관으로 인식되고 있는 도서관의 서비스 품질을 평가하는 라이브퀄 플러스 척도를 선정하여 개발 척도와의 관련성과 이용자 만족에 대한 추가적인 설명량이 존재하는지를 측정하였다. 또한 개발 척도가 측정하는 기록물관리기관에 대한 서비스 품질 평가가 이용기관에 대한 이용자의 만족과 태도에 어떠한 영향을 미치는지를 확인하는 준거관련 타당도 검증 과정을 거쳐 개발 척도의 타당도를 확인하였고, 각 요인 및 전체 신뢰도 계수(Cronbach's α)를 산출하여 신뢰도를 검증하였다. 마지막으로 개발된 척도가 기록물관리기관 이용자의 서비스 품질 지각을 타당하고 신뢰성 있게 측정하고 있는지를 확인하기 위하여 각 기관의 서비스 품질에 대해 만족하는 이용자와 불만족하는 이용자를 구분하여 이들 간에 서비스 품질 지각에 차이가 있는지를 t검증으로 확인하였다. 이와 같은 방법으로 개발된 기록물관리기관 서비스 품질 척도에 관한 분석 결과는 다음과 같다. 첫째, 탐색적 요인분석과 확인적 요인분석을 통해 개발된 척도의 구성개념 타당도를 검증하여 기록물관리기관 서비스 품질 척도가 ‘공평성’, ‘외형성’, ‘편리성’, ‘책임성’, ‘공감성’ 등 5가지 요인과 33문항으로 이루어짐을 밝혔다. 둘째, 1차 이용자 조사대상 기관과 2차 이용자 조사대상 기관을 구분하여 요인분석을 실시하여 개발된 척도가 동일한 요인구조를 가지고 있음을 확인하였다. 또한 내부 이용자와 외부 이용자들을 동일한 구성개념으로 측정할 수 있는지를 보기 위해 형태동일성 및 측정동일성 검증을 하였다. 분석 결과, 형태동일성과 측정동일성 모두 적합한 수준의 모형 적합도 지수가 나타났으며 이에 따라 개발된 척도가 내부 및 외부 이용자에게 공통적으로 사용될 수 있음을 확인하였다. 셋째, 개발된 기록물관리기관 서비스 품질 척도는 기존에 검증된 서브퀄과 라이브퀄 플러스 척도와 상관관계가 존재할 뿐만 아니라 이용자 만족에 대한 추가적인 설명량을 가지고 있어 수렴 및 변별타당도가 있는 것으로 나타났다. 또한 개발 척도가 준거변인인 이용자 만족도에 대하여 유의미한 영향력을 미치는 것으로 밝혀져 준거관련 타당도를 검증하였다. 넷째, 개발된 기록물관리기관 서비스 품질 척도의 신뢰도 계수를 산출한 결과가 하위 요인은 .89에서 .91, 전체 척도는 .97로 나타나 하위 요인과 전체 척도가 전반적으로 높은 수준의 신뢰도를 지니고 있음을 확인하였다. 다섯째, 기록물관리기관 이용자를 만족 집단과 불만족 집단으로 구분하여 t검증을 실시하여 개발된 기록물관리기관 서비스 품질 척도가 이용자 집단에 따른 서비스 품질 지각의 차이를 확인할 수 있음을 밝혔다. 이는 개발된 기록물관리기관 서비스 품질 척도가 기록물관리기관 이용자의 서비스 품질 지각을 타당하고 신뢰성 있게 측정하고 있음을 보여준다. 본 연구는 기록물관리기관 서비스에 대한 개념 정의를 기반으로 구성요인을 확인하고, 공공기관의 기록물관리기관을 중심으로 이를 통계적으로 분석하여 타당도와 신뢰도를 지닌 기록물관리기관 고유의 서비스 품질 척도를 개발하였다. 이러한 척도의 개발은 각 기록물관리기관이 기관의 현황을 진단하고 다른 기관과의 비교를 가능하게 함으로써 서비스 품질 향상을 위한 보다 효과적인 운영 방안을 제시할 수 있는 실질적인 역할을 할 것이다.