실시간 모의 화상면접 시스템 설계 및 구현

Abstract

화상 회의 도구 발전과 더불어 점점 더 많은 국내외 기업들이 인재를 선발하기 위해 화상 면접을 활용하고 있다. AI 기반 자동면접 시스템을 채택하는 회사도 있고 원격 실시간 면접을 실행하기도 한다. 이를 위해 구직자들을 위한 화상 면접 리허설과 평가를 지원하는 시스템들이 있는데, 이러한 기존 시스템들은 면접 리허설이 종료된 후 전반적인 평가를 요약 보고서 형태로 사용자에게 제공한다. 본 논문에서는 요약 보고서만으로는 어떤 시점의 무엇이 문제가 되었는지 사용자가 알기 어렵다는 점에 착안하여, 화상 면접 리허설시 면접자에 대한 실시간 평가 및 피드백을 제공하는 시스템을 설계하고 구현했다. 특히, 면접 분야에 따라 달라질 수 있는 내용평가는 제외하고 비언어적 의사소통 능력을 실시간으로 자동 평가하고 피드백 하는 데 중점을 두었으며, 대상이 된 요소들은 크게 음성, 시선, 표정들이다. 이러한 비언어적 의사소통 행위 중 면접에 중요한 정도 및 자동평가 가능 여부를 파악하기 위해 면접관 경력자들에 대한 심층 조사를 실시하고 해당 요소들을 실시간으로 평가할 수 있는 최신 AI 기법들을 채택하여 실험한 후 화상 면접 리허설 및 실시간 피드백 시스템을 구현하였다. 구현된 시스템의 기능에 대해 사용자 평가를 수행한 결과, 비언어적 행위에 대한 실시간 피드백이 화상 면접 대비에 도움이 된다. 이와 같은 화상 면접 실시간 피드백을 제공하는 리허설 시스템은 구직자들이 화상 면접 실전에 앞서 스스로 점검하고 준비할 수 있는 유용한 도구가 될 수 있으며, 본 논문의 비언어적 멀티모달 면접 행위의 실시간 평가라는 실용적 응용에 현재 최고 수준 AI 기술들을 복합 적용하고 구현, 실험한 선도 사례를 제시할 것이다.;With the advancement of video conferencing tools, an increasing number of domestic and international companies are utilizing online video interviews for talent recruitment. Some companies adopt AI-based automated interview systems, while others conduct remote real-time interviews. To support job seekers, there are systems available for video interview rehearsals and evaluations. However, these existing systems typically provide a summary report of the overall evaluation to the user only after the rehearsal is completed. In this paper, we identified that summary reports alone make it difficult for users to understand what issues arose at specific points. Therefore, we designed and implemented a system that provides real-time evaluation and feedback during video interview rehearsals. We focused on automatically evaluating and providing feedback on nonverbal communication skills in real-time, excluding content evaluations that may vary depending on the interview field. The major elements targeted included voice, face expression and gaze features. To determine the importance of these nonverbal communication behaviors in interviews and their feasibility for automated evaluation, we conducted case study and in-depth interview with experienced interviewers. We then adopted the latest AI techniques capable of real-time evaluation of these elements and implemented a video interview rehearsal and real-time feedback system. User evaluations of the implemented system's functions indicated real-time feedback on non-verbal behavior is helpful in preparing for video interviews. This rehearsal system, which provides real-time feedback for video interviews, can be a valuable tool for job seekers to self-assess and prepare before actual video interviews. This paper presents a pioneering case of applying, implementing, and experimenting with the highest level of AI technologies for the practical application of real-time evaluation of nonverbal multimodal interview behaviors.