Electromyogram-based Interface for Musical Performance

Abstract

뇌파, 심전도 등 다양한 생체신호들은 꾸준히 음악에 활용되어 왔다. 본 연구에서는 생체신호 중 사람이 움직일 때 근육에서 생기는 미세한 전기적 변화를 증폭하여 측정하는 근전도(Electromyogram, EMG)를 음악에 활용할 수 있는 방법에 대해 탐색하였다. 이를 위해 우선 근전도 센서 Myo를 이용하여 손과 팔을 이용한 다양한 악기 연주 동작 및 맨손 동작에서의 팔뚝 근전도를 측정하였다. 그리고 측정 결과 분석을 통하여 근전도 신호의 음악적 활용 방법에 대해 논의하였다. 논의된 방법들은 실시간 근전도 신호를 바탕으로 작동하는 두 가지의 음악 인터페이스에 각각 사용되었다. 먼저 악기 연주 동작에서의 근전도 측정 결과를 분석하여, 근전도 신호를 통해 악기 연주 동작을 실시간으로 인식할 수 있는 방법을 논의하였다. 그리고 이를 바탕으로 베이스 기타 연주 시 다른 추가적인 조작 없이 근전도 신호를 통한 동작 인식에 따라 음악적 효과를 주는 보조 인터페이스를 제안하였다. 또한 맨손 동작에서의 근전도 측정 결과를 분석하여, 근전도 신호를 소리 합성을 위한 음악적 요소에 대응시키는 방법에 관해 논의하였다. 이를 바탕으로 맨손 움직임의 근전도 신호를 바탕으로 실시간으로 소리가 합성되는 새로운 악기 인터페이스를 제안하였다.;Biosignals have been used for musical and artistic purposes, and can provide innovative methods for musical expression. This thesis deals with the design, implementation and evaluation of an electromyogram (EMG) based musical interface to assist traditional musical performance as well as to serve as an independent musical instrument. Following an extensive literature review in the context of biological data sonification and gesture-based audio effect processor, a gesture detection system that utilizes a Myo armband EMG sensor is introduced and experimented not only with playing gestures of selected traditional musical instruments but also various freehand gestures, along with intuitive analyses of the measurement data. From this, a prototype of fingering and slap gesture detection algorithm for the electric bass guitar is presented and its usability for real-time digital audio effects is examined. Furthermore, based on statistical analysis of EMG measurement data from basic freehand gestures including distributions and inter-sensor correlations, a set of guidelines for designing sensor-to-sound parameter mapping scheme for sound synthesis is suggested. Validity of the result is evaluated through examples featuring different mapping strategies for the same frequency modulation (FM) synthesizer in real-time.