MuseForge: AI-Based Audio Generation Model System for Video Creation

Abstract

As video platforms become more popular, the need for copyright-free background music is also growing. Text-to-audio generation models can create music based on descriptions, making them potentially useful for this purpose. To understand how people use audio generation models and find their strengths and weaknesses, we conducted a user study with 16 participants. We asked participants to choose background music for videos with no sound. The results showed that participants liked that search engines suggest keywords and show many results, even though the results might not always be exactly what they wanted. On the other hand, using the generation model as tricky as it required specific words to describe desired music, but it was better at finding the music they were looking for. Based on this, we proposed suggestions to improve the design of audio generation models. Reflecting these suggestions, MuseForge, a text-to-music generation system, was developed with feature of prompt and keyword suggestions and textual description of the generated music. In the future, a user survey will be conducted to verify the usability of MuseForge, and methods for more efficiently integrating the model will be studied.;유튜브나 틱톡과 같은 비디오 플랫폼의 성장과 함께 저작권이 없는 배경 음악에 대한 수요가 증가하고 있다. 이러한 배경 속에서 텍스트를 기반으로 한 음악 생성 모델은 사용자가 입력한 문장을 기반으로 음악을 생성할 수 있어 이러한 수요를 해결하는데 유용한 도구로 활용될 수 있다. 따라서 본 연구는 음악 생성 모델과 기존 음악 검색 엔진을 비교하여 음악 생성 모델의 장단점을 알아보기 위해 16명의 참가자를 대상으로 사용자 연구를 진행하였다. 연구 결과, 참가자들은 다양한 검색 결과를 제공하고 키워드 추천 등을 통해 검색 효율성을 높인다는 점에서 검색엔진을 선호하였다. 하지만 검색엔진의 단점으로는 검색결과가 사용자의 의도와 완전히 일치하지 않는 점을 꼽았다. 반면 생성모델은 원하는 음악을 생성하는데 효과적이었으나 어떤 문장을 입력할지 생각하는데 어려움이 있다는 단점이 존재했다. 따라서 본 연구는 이러한 연구 결과를 토대로 음악 생성 모델의 사용성 향상을 위해 설계 개선 방안을 제안하였고 이를 기반으로 프롬프트 아이디어 제공과 음악을 글로 표현하는 기능을 포함한 음악 생성 모델을 활용한 서비스인 MuseForge를 개발하였다. 향후 MuseForge의 유용성을 확인하기 위한 사용자 조사를 시행하고 보다 효율적으로 모델을 통합하기 위한 방안을 연구할 예정이다.