Screen-Aware Conversational Assistance for Enhancing Digital Device Accessibility

Abstract

To support the long-term development of digital literacy among underserved populations—such as older adults or novices unfamiliar with digital devices—it is essential to provide effective guidance on digital device usage. Traditional resources like manuals, instructional videos, and chatbot-based help often present overwhelming amounts of information and fail to automatically reflect the user's real-time device state, resulting in high cognitive load and trial-and-error. To address these limitations, this study proposes an interactive tutorial pipeline that leverages generative AI to analyze users’ real-time smartphone screens and provide step-by-step, context-aware guidance tailored to the current UI state. The system interprets both user queries and on-screen information to retrieve and deliver relevant instructions, dynamically updating the guidance in response to UI changes. These capabilities are integrated into a multimodal, voice-enabled chatbot. In quantitative evaluations based on various novice user scenarios, our system, which incorporates both user queries and real-time screen information, outperformed the traditional text-based search approach across four key metrics: Top-1 and Top-3 accuracy, MRR, and F1-score. In qualitative evaluations, 61 participants compared dialogue transcripts in an A/B test, and results showed that our system significantly outperformed the baseline in terms of user experience. These findings suggest that real-time, device screen–adaptive guidance can significantly enhance digital accessibility for underserved users, with such an approach showing potential for broader application in environments like smart appliances, kiosks, and public services.;디지털 기기에 익숙하지 않은 고령자나 초보자 등 디지털 취약 계층의 장기적인 디지털 역량 강화를 위해서는 효과적인 사용법 안내가 필수적입니다. 기존의 메뉴얼, 안내 영상, 챗봇 기반 안내는 방대한 자료를 제공하고, 실시간 기기 상태를 자동적으로 반영하지 못해 정보 탐색에 높은 인지적 부담과 시행착오를 초래합니다. 본 연구는 사용자의 실시간 기기 화면을 생성형 AI로 분석하고, 현재 UI 상태에 맞춘 단계별 맞춤형 안내를 제공하는 인터랙티브 튜토리얼 파이프라인을 제안합니다. 본 시스템은 사용자 질의와 화면 상태를 함께 해석하여 상황에 적합한 가이드를 검색·제공하며, UI 변화에 따라 안내를 동적으로 업데이트합니다. 이러한 기능은 단계별 안내를 제공하는 멀티모달 기반 음성 챗봇으로 통합됩니다. 정량 평가에서, 사용자 질의와 실시간 화면 정보를 함께 활용하는 본 시스템은 기존의 텍스트 기반 검색 방식보다 Top-1, Top-3 정확도, MRR, F1 점수 등 네 가지 주요 지표에서 더 우수한 성능을 보였습니다. 정성 평가에서는 61명의 참가자가 대화 기록 기반 A/B 테스트에 참여하였으며, 그 결과 제안한 시스템이 기존 방식보다 더 긍정적인 사용자 경험을 유도한다는 점을 통계적으로 입증하였습니다. 본 연구 결과는 실시간 기기 화면에 적응하는 안내 방식이 디지털 취약 계층의 기기 사용을 효과적으로 지원하여 접근성을 크게 향상시킬 수 있음을 보여줍니다. 또한, 이러한 스크린 기반 안내 방식은 스마트 가전, 키오스크, 공공 서비스 등 다양한 디지털 환경으로의 확장 가능성도 지니고 있습니다.