임상의사의 온라인 정보검색과정과 적합성 평가의 역동성에 관한 연구

Abstract

다양한 학술 전자정보원이 활성화되면서 이용자들은 인터넷상에서 전문적인 학술정보를 손쉽게 검색해서 이용하고 있다. 하지만 온라인상에서 이용 가능한 학술정보가 폭발적으로 증가하면서 이용자들에게는 정작 본인에게 적합한 정보를 찾는 일은 점점 더 어려운 일이 되어 가고 있다. 따라서 온라인 정보원 검색과정에서 역동적으로 변화하는 이용자의 정보요구와 적합성 평가과정을 파악하여 이를 검색시스템에 효율적으로 반영시키는 것이 중요하다고 할 수 있다. 본 연구는 Y대학병원 내과에서 근무하는 5명의 임상강사와 5명의 교수를 대상으로 환자 진료 시 발생한 임상 질문에 대해 본인이 선호하는 온라인 임상정보원을 이용하여 문제를 해결해 가는 과정을 정보검색 사전/사후 심층면담과 관찰조사를 통해 조사하였다. 더불어 문제 인식, 시스템과 상호작용, 문헌과의 상호작용 3단계로 구분하여 동일한 적합성 평가기준의 선호도가 정보검색 단계별로 어떻게 달라지는지를 설문 조사하여 질적 연구방법과 양적 연구방법을 혼용하여 접근하였다. 본 연구의 세부 목적은 첫째, 임상의사의 정보요구 특성을 분석하여 보고 선호정보원과 정보검색 시 장애요인에 대해 분석하고자 하였다. 이를 위해 정보검색 전 사전면담을 통해 전반적인 온라인 임상정보원 이용현황과 임상 질문을 조사하였다. 임상의사는 기본적으로 매주 1회 이상 온라인 정보원을 이용하고 있었으며 평균 이용시간은 30-40분 정도 소요되었다. 정보요구는 연구논문 작성, 환자 진료, 강의준비와 같이 업무과제에 따라 달라졌으며 업무과제에 따라 정보검색과정이나 선호하는 정보유형에 차이가 있었다. 환자 진료를 위한 정보검색은 환자치료방법 결정, 최신 경향 파악, 내부 컨퍼런스 발표자료 준비 등으로 구분되었으며, 이러한 검색행위에 영향을 미치는 변인으로는 주제 배경지식, 진료 경험, 직급, 검색 능력, DB 이용교육, 도서관 홈페이지 친숙도 등으로 나타났다. 온라인 임상정보원은 익숙하고 신뢰성이 높고 방대한 정보의 양 때문에 PubMed가 가장 선호되었으며, 속도가 빠르고 쓰기 쉬운 구글도 많이 사용되었다. 환자의 생명을 다루는 임상의사에게는 정보내용의 정확성과 최신성이 정보원 선정에 있어 가장 중요한 기준으로 적용되었으며, 시간이 많이 부족한 관계로 검색방법의 용이성, 정보에 대한 접근 편이성도 중요하게 여겨지고 있었다. 임상의사는 사전 배경지식을 바탕으로 임상 질문을 정의하는 데 오랜 시간이 걸리지 않았으며, 직급이 높아질수록 환자치료에 대한 경험이나 배경지식이 풍부해져 임상 질문 정의도 좀 더 쉽게 내리는 경향을 보였다. 하지만 실제 검색에서는 다양한 검색 능력 부족으로 피면담자 대부분 기본 검색기능만 사용하고 있었으며, 적절한 정보원에 대한 인식 부족으로 본인에게 익숙한 특정 정보원만을 이용하였다. 따라서 도서관에서 시행하는 온라인 정보원 교육과정을 기초, 중급, 고급 단계별로 세분화하고, 참석률을 높이기 위해 병원 사내교육 프로그램과 연계하거나 의과대학 교육 과정에 도서관 정보검색교육을 접목하는 등 제도적인 개선이 필요함을 알 수 있다. 두 번째 연구목적인 임상의사의 온라인 임상정보원 검색행위 특성을 분석하기 위해 실제 정보검색과정을 관찰하면서 검색과정의 모든 화면을 녹화하고 피면담자가 사용한 검색어, 연산자, 검색기법, 총 검색시간 등을 자세히 기록하였다. 임상의사는 PubMed와 구글을 찾아보고 검색결과가 없으면 이 주제에 대한 연구가 아직 진행되지 않았다고 생각할 정도로 PubMed와 구글에 대한 의존도가 상당히 높게 나타났다. 만족할 만한 검색결과가 없으면 다른 검색 사이트(UpToDate, 국내 학술지 등)로 접속해서 검색어를 수정하지 않고 같은 검색어를 입력하였으며, 사이트 변경은 2-3개 정도 신뢰할 수 있는 사이트를 더 찾아보았다. 그래도 원하는 정보를 찾지 못한 경우에는 가장 적합하다고 생각되는 논문에서 인용한 참고문헌을 통해 관련 정보를 찾아 나가는 인용검색 기능을 선호하였다. 환자치료에 적용할 최종 문헌 선정은 10-20개 정도 관련 논문을 화면상으로 훑어본 후 그중 2-5개 정도의 논문만을 PDF로 저장하여 참조하였다. 최종 논문을 선정할 때는 내 환자와 유사한 사례인지 먼저 살펴보고 신뢰성 높은 저널에 실린 일목요연하게 정리가 잘 된 리뷰 논문이나 사례 보고서가 가장 선호되었다. 또한, 그림이나 표 위주로 논문 내용을 컴퓨터 화면에서 훑어보면서 질환에 대한 배경지식을 넓히고, 환자 치료 아이디어를 얻는다는 의견이 많아 임상의사가 매일 사용하는 환자 진료시스템에서 환자의 증상을 클릭하면 바로 관련 정보를 보여줄 수 있는 시스템의 활성화가 필요함을 알 수 있다. Kuhlthau(1991)의 정보탐색과정 모형에 기초하여 정보검색 전과 후의 단계 변화를 살펴본 결과 임상의사는 주제 전문가로서 주제 배경지식이 깊으므로 탐색 초기 단계를 거치지 않고 바로 질의에 대한 초점 형성을 하는 3단계나 4단계에서 검색을 시작하는 경향이 높게 나타났다. 본인에게 익숙한 온라인 정보원으로 접속하여 정보검색을 하고 정보표현 및 제시단계인 마지막 6단계로 정보검색을 종료하는 패턴이 많아, 6단계 Kuhlthau모형보다는 이를 3단계로 축약한 Vakkari(2001)의 직무 중심 정보검색 모형에 더 유사하였다. 정보검색 만족도는 연구대상자의 70%가 만족할 정도로 높게 나타났으며, 만족 이유는 주제 배경지식 확대, 환자치료에 대한 대처방안 확대, 논문 주제에 대한 새로운 아이디어 획득, 안도감 및 확신 등으로 구분되었다. 정보검색 효용성은 Wilson의 문제 해결모형을 기반으로 조사한 결과 임상강사, 교수 모두 정보검색 전보다 정보검색 후에 문제 해결지수가 상승하였다. 특히, 임상강사 그룹은 배경지식이나 환자 진료 경험이 부족하여 정보검색 전 문제 해결 지수는 낮았지만, 정보검색을 통해 환자치료에 대한 충분한 정보와 확신을 얻게 되어 교수 그룹보다 평균 문제 해결 지수가 크게 향상되었다. 세 번째 연구목적인 정보검색 단계별 변화하는 적합성 평가의 역동성을 조사하기 위해 문제 인식 단계, 시스템과의 상호작용 단계, 문헌과의 상호작용 세 단계로 구분하여 단계별로 같은 적합성 평가기준 설문지에 100점 만점으로 선호도를 조사하였다. 적합성 평가기준은 정보내용, 문헌요소, 정보표현방식, 이용자 특성, 물리적 환경 5개의 적합성 평가기준 군에 30개의 세부항목으로 구성하였다. 조사결과 임상의사가 선호하는 적합성 평가기준은 정보내용 측면에서는 정확성, 주제적 적합, 신뢰성, 최신성, 정보내용의 깊이와 범위, 참신성 순으로 나타났으며 정보표현방식 측면에서는 구체적이고 자세한 설명방식, 정보원의 유형(저널,단행본 등), 적절한 세분화 정도, 레이아웃(디자인) 순으로 나타났다. 문헌요소적인 측면에서는 논문제목, 초록, 문헌유형, 저널명, 색인어(키워드), 출판일자, 사용언어, 문헌길이, 저자명, 저자소속기관, 출판사명 순으로 선호되었다. 이용자 특성 측면에서는 개인적인 신념과 감정, 정보원의 명성과 신뢰성, 내용의 이해능력, 개인적인 활용 가능성, 저자의 명성과 신뢰성 순으로 선호되었다. 물리적 환경 측면에서는 입수 가능성, 입수시간, 시간 압박감, 입수비용 순으로 선호되었다. 정보검색 단계별 변화하는 적합성 평가기준을 살펴보면 주제적 적합성과 신뢰성, 정확성은 모든 단계에서 가장 중요한 기준으로 나타났다. 이 세 기준 외에 검색 단계별로 중요하게 주목받은 기준은 문제 인식 단계에서는 최신성, 논문제목, 입수시간, 문헌유형, 저널명이며, 시스템과 상호작용 단계에서는 입수 가능성과 초록, 문헌과의 상호작용 단계에서는 개인적인 감정, 이해능력이 추가되었다. 기존 적합성 관련 선행연구에서 밝혀진 주제적 적합, 신뢰성, 정확성, 최신성, 논문제목, 초록, 개인적인 감정 외에 임상의사에게 새롭게 발견된 기준으로 정보원의 권위와 문헌유형, 일목요연한 표현방식을 들 수 있다. 심층면담 결과 또한 환자치료를 위한 정보검색 시에는 신뢰성 높은 저널에 실린 논문 중 빠르게 전체 개요를 파악할 수 있게 정리가 잘 되어 있는 최근에 발표된 리뷰 논문이 가장 선호되고 있어 이러한 설문 조사 결과를 뒷받침하고 있다. 참신성과 저자나 저자의 소속기관은 다른 선행연구에서는 주요 기준으로 도출되었으나 임상의사에게는 중요하게 적용되지 않은 점도 특징적이다. 임상의사는 논문제목과 정보원의 신뢰도, 리뷰 논문에 높은 선호도를 보이므로 정보검색 결과를 보여 줄 때는 논문제목과 저널명, 문헌유형, 저널의 영향력 지수를 하이라이트 해서 보여주고, 검색결과를 추출하는 단계에서는 원문의 입수 가능성이 주요한 평가기준으로 적용되므로 도서관 구독 여부와 원문링크를 좀 더 눈에 띄게 보여 주면 효과적일 수 있다. 최종 문헌을 선정할 때는 개인적인 감정이 많이 적용되므로 개인화 기능을 활성화하여 개인적으로 선호하는 저널이나 선호 정보유형만으로 원문을 선별하여 볼 수 있는 기능을 추가하는 것도 개선방안이 될 수 있다.;As diverse electronic sources of academic information are actively utilized, users are easily obtaining professional academic information via online searches. Nonetheless, the exponential increase of available academic information on the internet makes it more challenging to locate information relevant to users. Therefore, it is crucial to examine the nature of the users' dynamically changing information needs and to analyze the procedure of assessing the relevant information when exploring online information resources. Targeting five clinical instructors and five professors working in the Internal Medicine department of Y Hospital, the study conducted observations and in-depth interviews before and after an information search. The study investigated the problem-solving process using preferred online medical information resources with regard to clinical questions that arise during the treatment of their patients. In addition, we combined a qualitative research method and a quantitative research method by incorporating surveys on how the preferences for relevant criteria change during three different stages (recognizing problems; interacting with the system; and interacting with documents) of the information search process. The first objective of this study is to analyze the characteristics of information needs among physicians in order to identify the preferred information resources and to determine the obstacles faced during information searches. To this end, pre-interviews prior to an information search were conducted for general investigation of the clinical questions and the current use of clinical information resources. Physicians were using online information sources at least once a week and the average time spent was 30-40 minutes. Information needs varied depending on the task types, which included writing a research paper, patient treatment, and lecture preparation. Depending on the type of task, there was a significant difference in the information search process and preferred types of information. Information searches for patient treatment were subdivided into the following categories: deciding patient treatment methods, understanding the latest treatment trends, and preparing presentation materials for conferences. The variables that affected the search behaviors were identified as being background knowledge on the topic, clinical experience, job title, search skills, user training, and familiarity with the library homepage. Among online clinical information sources, PubMed was the preferred choice because of users’ familiarity with it, its reliability, and the vastness of information; Google was also used frequently for easy access and fast search result. For physicians who treat patients, the accuracy and the recentness of information were the most significant criteria for selecting information resources. Due to physicians’ time constraints, the ease of using interface as well as convenient access to information was also considered important. Physicians had a tendency to elicit clinical questions based on their background knowledge within a reasonable amount of time; the physicians with higher positions tended to have more abundant experience and background knowledge and elicit clinical questions more easily. During an actual online search, however, due to a lack of search skills, most physicians were using a basic search function and due to a lack of knowledge of appropriate information resources, they used certain targeted information resources familiar to them. Therefore, this implies the need for systematic improvement as follows: sub-dividing the online database training hosted by the library into beginning, intermediate, and advanced levels; approving the online database training as an in-house hospital training course to increase the participation rate; and integrating library user training into the medical school curriculum. The second objective of this study is to analyze the characteristics of physicians’ online information search behaviors; to this end, we observed their actual information search process, video-taped all the screens during the search process, recorded in detail the search keywords, operators, search strategies, and the total search time. Physicians’ dependency on PubMed and Google was significantly high to the point that they believed if no search results were found on PubMed or Google, then no studies had been done on the topic. When they did not find any satisfying search results, they went on to other search sites (UpToDate, Korean journal sites, etc.) and entered the same keywords without changing them. They looked at two to three additional sites that are reliable. When they still could not find the information they wanted, they preferred the citation search function to look for relevant information through references used in the article they found the most relevant. In selecting the final documents as references for patient treatment, they scanned 10-20 relevant articles on the screen, selected two to five of them, and saved them in PDF format for reference. The crucial criteria for selecting a final article included whether it is a similar case to their patient’s case. The preferred references were either review articles or case reports in highly reliable journals, which can be understood at one glance. In addition, many physicians said that they widen their background knowledge on diseases and gain ideas for patient treatment as they scan the content of papers, mostly focusing on figures and tables. This implies the need for an integrated search system within the electronic medical record(EMR) system that physicians use every day. This integrated search system can help physicians to get needed information for treatment easily upon clicking on the patient’s symptoms on EMR. Based on Kuhlthau(1991)’s information search process(ISP) model, we examined the change in information search stages before and after an information search. The result indicates that physicians, as experts who have deep background knowledge in given topics, had a strong tendency to skip the beginning stage of search process and start their search right from stage 3 or stage 4 during which a focused question is formulated. They had a tendency to visit familiar online information resources for their information search and ended their information search in stage 6, which is the final stage of displaying and presenting the searched information. This indicates that their search behavior is closer to Vakkari’s(2001) theory, which condensed the Kuhlthau’s six-stage-based model into a three-stage-based and task-oriented information search model. Seventy percent of the subjects were satisfied with the information search, a high rate of satisfaction, and the reasons for satisfaction were identified as follows: broadening background knowledge, increasing patient treatment options, gaining new ideas for a research paper, feeling reassured and confident, etc. In examining the usefulness of online information resources based on Wilson’s problem-solving model, the results indicated that the problem-solving scores of clinical instructors and professors all improved after using online information resources. In particular, the group of clinical instructors who had low problem-solving scores before an information search due to insufficient background knowledge or clinical experience in treating patients, gained sufficient information and confidence in treatment through information search and improved their average score in problem-solving skills more two times compared to the group of professors. The third objective of this study is to examine the criteria of relevance evaluation, which changes at each information search stage. To this end, we subdivided the information search process into three stages: recognizing problems; interacting with the system; and interacting with documents. Three identical questionnaires were administered that asked physicians about preferred relevance criteria in each stage, with 100 points being the maximum score. The relevance criteria consisted of 30 sub-questions in five categories as follows: information content, surrogates, presentation format, user’s characteristics, and physical environment. The results of the surveys showed that the physicians’ preferred relevance criteria related to information content were in order of importance: accuracy, relevance of the topic, reliability, recentness, depth/scope, and freshness. In regard to presentation format, detailed explanation, source type(journal, book..), specificity, and layout/design were favored in the order listed. Regarding document surrogates, title, abstract, article type, journal name, keyword, publication date, language, article length, author name, author affiliation, and publisher name were favored in the order listed. In terms of the user’s characteristics, personal belief/emotions, source reputation/visibility, ability of understanding, and personal usability listed in order of importance. In regard to physical environment, possibility of acquiring information, information acquiring time, time constraints, and information acquiring cost listed in order of importance. With regard to the criteria for relevance, which changes at each information search stage, the relevance of the topic, reliability, and accuracy were emphasized as being of the greatest significance throughout the information search process. Aside from these three criteria, which were applied in all stages with equal significance, other important criteria for the problem recognition stage were listed in order of importance: recentness, article title, information acquiring time, document type, journal name. The possibility of acquiring information and abstract were added to the core criteria during interacting with the system stage. In the interacting with the document stage, personal emotions and comprehensibility were added as main criteria. Apart from the criteria from previous studies such as relevance of topic, reliability, accuracy, recentness, article title, abstract, and personal emotions, newly discovered criteria important to physicians included the authority of the information source, the type of document, and the structured presentation format. When an information search was made for patient treatment, the subjects preferred recently published review articles in highly reliable journals whose article outline is well written for quick and clear understanding. One of our unique findings is that freshness, author and author’s affiliated organization, which previous studies had noted as main criteria, were not considered significant or applicable to the physicians. Since physicians tend to show a strong preference for article title, reliability of information source, and review articles, it can be effective to show the search results by highlighting the title, journal name, document type, and journal’s impact factor. Since the possibility of acquiring information is one of the main criteria for online search for physicians, it can be effective to show the status of data availability at the library and make the hyperlink for the original source document more noticeable on the screen that displays the information search result. Since personal emotions play a significant role at the end of information search process, it can be helpful to activate a personalized function for users to obtain search results based on the individual’s preferred journals or preferred information types. This study is significant in that it conducted a survey on task-oriented information search behaviors of professionals specifically targeting physicians for the first time in Korea in order to meet the trend of increasing use of online information resources. Moreover, this study implemented not only a quantitative research method in the forms of questionnaire, but also a qualitative research method, which included interviews and observations for more multilateral and in-depth analysis of the online information search process. The results can be used as baseline data for developing medical school curriculum and improving library information services. In addition, this study is significant in that it analyzed the dynamics of criteria for relevance, which is constantly changing during the information search process, by connecting the information search process with a relevance evaluation. By utilizing MI(Motion Index) analysis technique, which is rarely used in Korea, this study derived a set of relevance criteria crucial for each stage after conducting a comparative analysis on the differences in main criteria of relevance that are applied at each stage of the information search process. This study is also significant in that the observations of the information search vividly captured the different applications of various relevance criteria at each stage: situational relevance, such as possibility of acquiring information in the middle stage and emotional relevance, such as personal emotions in the end stage, in addition to topical relevance, such as relevant topic, accuracy, and recentness derived from previous studies on relevance criteria. These study findings may be helpful for designing an interactive search system that can easily handle user’s information needs that are dynamically changing throughout the information search process.