Improving Podcast Browsing Experience via Topic Segmentation and Visualization Using Generative AI

Abstract

Because of their duration and lack of visuals, podcasts pose information retrieval issues. In order to get insight into these issues, we spoke with twelve podcast listeners in interviews. We found that it can be challenging to understand the entirety of the podcast material just from metadata, emphasizing the need to go to certain segments. Based on this discovery, we suggest a browsing technique that segments podcast contents using Large Language Models (LLM) and image generating models while using visual cues to facilitate effective navigation. We carried up a second user study with 12 individuals to examine the ways in which this novel method varies from traditional approaches and to assess its efficacy. The findings showed that when searching for unknown or erroneous terms, keyword search is useless. To fully understand the general meaning of each episode, a close reading of the script is also necessary. However, it was discovered that breaking up the knowledge into manageable chunks and naming each segment's topic made it easier to grasp the entire thing and navigate to the things you were interested in. Additionally, we discovered that participants liked it when an image was provided since it made it simple for them to differentiate one section from another. This multimodal browsing technique is projected to offer a core framework for the successful browsing and understanding of audio information, extending its usefulness beyond podcasts to different types of audio files.;팟캐스트는 방송 시간이 길고 시각적 자료가 부족하기 때문에 정보 검색에 문제가 있다. 이러한 문제에 대한 인사이트를 얻기 위해 12명의 팟캐스트 청취자들과 인터뷰를 진행했다. 그 결과 메타데이터만으로는 팟캐스트 자료 전체를 이해하기 어려울 수 있으며, 특정 부분으로 이동해야 할 필요성을 강조하는 것으로 나타났다. 이러한 발견을 바탕으로 대규모 언어 모델(LLM)과 이미지 생성 모델을 사용하여 팟캐스트 콘텐츠를 세분화하는 동시에 시각적 단서를 사용하여 효과적으로 탐색할 수 있는 탐색 기법을 제안한다. 이 새로운 방법이 기존의 접근 방식과 어떻게 다른지 살펴보고 그 효과를 평가하기 위해 12명을 대상으로 두 번째 사용자 연구를 실시했다. 연구 결과, 정확히 알 수 없거나 잘못된 용어를 검색할 때 키워드 검색은 무용지물인 것으로 나타났다. 각 에피소드의 일반적인 의미를 완전히 이해하려면 대본을 자세히 읽어야 한다. 그러나 팟캐스트를 주제에 따라서 나누고 각 세그먼트에 이름을 붙이면 전체 내용을 파악하고 관심 있는 부분으로 쉽게 이동할 수 있다는 사실을 발견했다. 또한 참가자들은 이미지가 제공되면 한 섹션과 다른 섹션을 쉽게 구분할 수 있기 때문에 이를 선호한다는 사실을 발견했다. 이 멀티모달 브라우징 기술은 오디오 정보를 성공적으로 탐색하고 이해하기 위한 핵심 프레임워크를 제공하여 팟캐스트를 넘어 다양한 유형의 오디오 파일로 그 유용성을 확장할 수 있을 것으로 예상된다.