알고리즘 작곡 기반의 실시간 연주 시스템 연구

Abstract

전통적인 의미에서 작곡은 작곡가가 음악의 전체적인 구조부터 세밀한 부분까지 모두 직접 결정한 후, 그 결과를 악보로 나타내는 것이라 할 수 있다. 이러한 방식으로 창작된 음악은 작곡가가 표현하고자 하는 내용을 악보에 담고 있으며, 이후 연주자는 주어진 악보에 자신의 해석을 덧붙여 청중에게 음악을 소리의 형태로 전달한다. 반면, 알고리즘 작곡이란 전통적으로 음악이론에 따라 음을 배열하는 과정인 작곡에 수학적으로 형식화된 방법을 적용, 인간의 개입을 최소화한 상태에서 음악을 자동으로 생성하는 것을 말한다. 본 연구에서는 알고리즘 작곡 과정에 연주자의 감정 변화와 관련이 있을 것으로 여겨지는 생체신호의 변화를 이용하여 연주자의 상태에 따라 곡의 구성이 실시간으로 변화하는 음악을 생성한다. 특히 여러 생체신호 중 심장박동 수는 인간의 감정 상태와 높은 연관성을 가지고 있으나, 제한적인 범위 내에서 음향 생성이나 악구의 단편적 배열을 위한 변인으로 사용된 경우를 제외하면 실시간 알고리즘 작곡을 위한 주요 요인으로 활용된 사례는 찾기 어렵다. 이에 본 연구에서는 실시간 알고리즘 작곡 환경에서 연주자의 심장박동 수를 측정, 그 변화로 추정할 수 있는 연주자의 감정 상태가 음악적인 차이로 느껴질 수 있도록 반영한다. 연구를 위해 구현한 실시간 연주 보조 시스템은 알고리즘 작곡, 실시간 악보 출력, 그리고 심장박동 측정의 세 부분으로 구성된다. 우선 실험을 위해 미리 선정한 곡의 음고와 음가 전이확률을 분석하고, 그 결과를 바탕으로 확률 과정인 마르코프 체인을 사용하여 새로운 선율을 생성한다. 이 결과는 즉시 악보로 표현되어 연주자에게 제공된다. 손목에 심장박동 센서를 착용한 연주자가 이를 연주하는 동안, 센서를 통해 실시간으로 측정된 연주자의 심장박동 수는 선율 생성을 위한 마르코프 체인 전이행렬의 확률에 변화를 주어, 그 결과 생성되는 음악은 심장박동 수에 따라 조성감과 리듬에 있어 변화가 느껴질 수 있도록 한다. 실제 실험에서는 심장박동의 변화에 따라 음고와 리듬 생성 과정의 임의성(randomness)을 결정하고, 이를 통하여 연주자의 감정 상태를 실시간 작곡 과정에 반영할 수 있는 가능성을 탐구하였으며, 더불어 심장박동과 음악 요소의 연관성을 알아보기 위하여 세 가지 실험을 추가로 진행하였다. 실험 이후 연주자와의 인터뷰를 통하여 제안된 시스템과 알고리즘의 실시간 실용성 및 공연에서의 활용 가능성에 대한 평가를 진행하였다. 인터뷰 결과 음정 도약과 리듬의 변화 등은 기대에 비해 심장박동 변화와 깊은 관련성이 있는 음악적 요소는 아닌 것으로 나타난 반면, 템포의 경우에는 심장박동과 비례하는 경향을 확인할 수 있었다. 심장박동 수의 변화에 따라 연주자의 감정 상태를 반영한 선율을 생성하기 위해서는 연주 시 심장박동의 변화와 연관성이 높은 음악의 요소에 대한 연구가 계속되어야 할 것이며, 무엇보다 연주자 개개인의 특성과 연주 상황에 따라 다르게 적용할 수 있도록 시스템을 더욱 정교하게 다듬을 필요가 있음을 확인하였다. 본 연구는 다수의 선행 연구에서 제시된 작곡 방식들에 비해 연주자의 실시간 감정 상태를 더욱 세밀하게 반영할 수 있는 가능성이 높다는 점에서 의미가 있다. 또한, 선율 생성의 결과물을 악보 형태로 실시간 출력함으로써 알고리즘 작곡 시스템을 연주 시스템으로 확장하였는데, 이는 음악 공연 콘텐츠 창작을 위한 알고리즘 작곡의 새로운 활용 방안으로서 제시될 수 있다.;Algorithmic composition refers to the automatic creation of music by applying a mathematically formatted method to the composition, which is the process of arranging notes according to music theory. Research in this field has focused on using various algorithms to generate music that is similar to human-made. Although, the level of algorithmic compostion has improved enough to be confused with that made by humans, algorithmic composition is devalued for the reason that emotion has not been expressed. In this paper, using real-time changes in biological signals which is related to changes in emotions during the process of composing algorithms, the composition of music varied depending on the performer’s condition. Heart rate is biometric data that is related to emotional state, however there are not many researches where a heart rate is used alone in composing. There were cases of using heart rate to music, but it was mainly used as a controller for sound generation or to make music by arranging short pieces of music. This is different from the general method of composing music. Therefore, this study investigates the possibility of reflecting the emotional state of the performer in the real-rime algorithm composing environment based on Markov chain by applying the heart rate data to the random data generation probability of pitch and rhythm. This is significant because it more carefully reflects the performer’s real-time emotional state than the composition method used in previous studies. In addition, real-time output of the result of algorithm composition was improved to enhance the possibility of utilization in the performance of algorithm composition. Furthermore, the algorithmic composition system has been extended to the performance system, which is meaningful as a musical performance content and can be presented as a means of using algorithmic composition. The real-time performance system used in this study follows three procedures; heart rate measurement, algorithm composition and real-time score generation. While a performer wearing a heart rate sensor plays a sheet of music which is made by algorithmic composition, the sensor measures the performer’s heart rate data in real-time. By entering the detected heart rate data into the computer, the emotional state of the performer, which is revealed by the change of heart, is utilized in music. After analyzing the pitch and duration values of the existing music, the system composes a new music based on the results using Markov chain, which is a probability theory. The heart rate data input in real time changes the probability of the Markov chain transition matrix. The music produced in this system changes in tonality and rhythm of music according to the beat per minute of heart rate. When the heart beats slowly, it feels the most similar to the original song and tonality music. As the heart rate runs faster, the probability of random data appearing in the pitch and rhythm is increased, so complex rhythms and strong pitch jumps are made so that music that does not feel the tonality could be composed. In addition, three experiments were conducted to investigate the relationship between heart rate and musical elements. Evaluations of the system were made after the experiment through interviews with the performer. It is confirmed that the system could be used in real-time performance and generate musical score related to the emotional state of the performer. As the results of additional experiments, pitch and rhythm changes were not musical factors closely related to heart rate changes, and tempo was found to be proportional to heart rate. For the system to be refined, further study of the music elements associated with heart rate changes will be required. When the system is used in the actual performance, it is also necessary to apply the system differently depending on the individual charateristics of the performer and the conditions of the performance.