멜로디 라인의 변곡점을 활용한 커버곡의 원곡 검색 알고리즘

Abstract

동영상 공유 플랫폼의 발전으로 인해 동영상 업로드 분량은 폭발적으로 증가하고 있다. 그러한 동영상에는 다양한 형태의 음악이 포함되는 경우가 많으며, 그 중에는 커버곡이 포함된다. 음악의 저작권을 보호하기 위해서는 커버곡의 원곡을 찾아내는 알고리즘이 필수적으로 필요하게 되었다. 그러나 커버곡은 원곡의 조성, 속도, 전체적인 구성을 변형한 것이기 때문에 커버곡의 원곡을 찾기는 쉽지 않다. 이러한 변형을 모두 고려한 커버곡의 원곡 검색을 위한 효율적인 알고리즘은 현재까지 알려진 바가 없다. 커버곡 검색 알고리즘에서 생길 수 있는 문제를 정리하면 ○1 조 옮김으로 인한 변화, ○2 전체적인 빠르기 변화, ○3 곡의 구성의 변화, 그리고 마지막으로 ○4 매 프레임마다 특성 값을 받아 오기 때문에 생기는 메모리 문제 총 4가지로 정리할 수 있다. 기존의 커버곡 검색 알고리즘들은 주로 ○1 번 문제 해결이 위주였고, ○2 번 문제를 해결하기 위한 알고리즘도 존재하긴 하지만 성능에 한계가 있다. 그리고 ○3 , ○4 번 문제에 대해서는 아직 뚜렷한 성능을 내는 알고리즘은 나오지 않은 것으로 알고 있다. 이에 본 논문에서는 멜로디 라인의 변곡점을 활용한 커버곡의 원곡 검색 알고리즘 SOC-IM를 제안한다. 이는 사람이 커버곡과 원곡의 관계를 단번에 알아차릴 수 있는 것은 원곡이 커버곡으로 바뀌더라도 멜로디 라인, 즉 선율의 특징은 보존되기 때문이라는 점에 착안해 곡의 멜로디 라인을 활용한다. 멜로디의 절대적인 값이 아닌 상대적인 시퀀스를 사용하고 그 중에서도 특징적인 부분인 변곡점을 선별해 커버곡의 원곡 검색에 활용함으로써 앞서 언급한 ○1 ,○2 , ○4 번의 문제를 해결한다. 또한 사람들이 도입부나 후렴구 한 두 마디 정도만 듣고 어떤 곡인지 알아차리는 것은 그 구절이 해당 곡에 대표성을 띄는 구절이기 때문이라는 점에 착안해 곡을 커버할 때는 대표적인 구절은 꼭 들어갈 것이라고 생각하여 계산의 편의와 정확도 향상을 위해 원곡은 대표성을 띄는 구절만 사용하고, 커버곡에 해당 구절이 포함되어 있는지 여부를 판별하는 것으로 알고리즘을 진행한다. 원곡은 대표성을 띄는 구절만 사용함으로써 ○3번의 문제 또한 해결할 수 있는 것이다. SOC-IM 알고리즘은 평가 결과 정확도 91.3%의 높은 성능을 보였으나, 애드리브 등으로 인한 변주에는 성능이 다소 감소하는 경향을 보이기 때문에 이를 개선하기 위한 향후 연구가 필요하다. 멜로디 라인의 변곡점을 활용한다는 본 연구의 주요 아이디어는 커버곡의 원곡 검색뿐만 아니라 허밍으로 노래 검색, 예능을 포함한 방송 콘텐츠에서의 음악 저작권 보호[15], 음악 표절 감지[5] 등 다양한 문제에 적용이 가능하기 때문에 더 다듬고 발전시킨다면 활용 가능성이 무궁무진하다고 판단된다;Due to the development of the video sharing platforms, the amount of video uploads is exploding. Such videos often include various types of music, among which cover songs are included. In order to protect the copyright of music, an algorithm to find the original song of the cover song is essential. However, it is not easy to find the original song because the cover song is a modification of the composition, speed and overall composition of the original song. Problems that may arise in the process of finding the original song from a cover song can be classified into four categories as follows. ○1 change due to transposition, ○2 change in overall speed, ○3 change in the composition of the song, and finally ○4 overuse of memory that occurs because feature values are extracted every frame. Existing cover song search algorithms mainly focused on solving problem ○1 , and there are algorithms to solve problem ○2 , but there is a limit to their performance. And there are no known algorithms for solving problems ○3 and ○4 . Therefore, in this paper, we propose a SOC-IM algorithm for retrieving the original song of the cover song using inflection points of the melody line. The SOC-IM algorithm utilizes the melody line of the song, which is based on the fact that the reason why people can notice the relationship between the cover song and the original song at once is that the characteristics of the melody are preserved even if the original song is changed to the cover song. It solves the problem of ○1 , ○2 , and ○4 mentioned above by using a relative sequence, not an absolute value of the melody, and selecting the characteristic inflection points among them and using it to search the original song of the cover song. The inflection point represents the characteristic point of change in the melody sequence. The proposed algorithm uses only the features of the inflection point sequence to find the original song, so the memory usage is very low. In addition, I thought that the reason people could notice what song it was by listening to just a few words of the introduction or chorus is because the phrase is representative of the song. So, in my opinion, when covering a song, the representative verse must be included. Therefore the algorithm extracts and uses only representative phrases of the original song. The algorithm proceeds by determining whether the verse is included in the cover song. The problem ○3 can also be solved by using only the phrases that represent the original song. SOC-IM showed high performance as a result of the evaluation, but since the performance tends to decrease slightly in variations due to adlib, etc., future research is needed to improve it. The main idea of this study which utilize inflection points of the melody line is applied not only to the original song search of the cover song, but also to a variety of problems such as searching for songs by humming, exercising music copyright in broadcasting contents including entertainment, and detecting music plagiarism. Since this is possible, it is judged that the possibility of application is endless if it is further refined and developed.