인공지능 모형에서 어텐션 메커니즘의 전역적 해석력에 관한 고찰

Abstract

기계학습 방법은 Prediction accuracy을 높이는 방향으로 발전되어 왔다. 하지만 전통적 통계모형에 비교하여 설명력이 떨어지는 단점이 있고, 이를 보완하기 위해 여러가지 방법론들이 개발되어져 왔다. 그 중 대표적인 방법으로 Attention mechanism을 이용한 방법이 있다. Attention mechanism을 사용하여 설명력을 얻기 위해 회귀분석에서 상수인 계수를 Attention weights로 대체하고 이를 각 변수의 중요도로 사용하는 것이다. 하지만 Jain at al. [1], Wiegreffe et al. [2] 등의 논문에 나타나 있듯이 Attetion weights를 해석하는 것에는 각 논문마다 이견이 존재한다. 본 연구에서는 Attention weights가 해석력을 가질수 있는지를 전통적인 설명기법인 Feature importance등과 비교하여 살펴보고자 한다.;Machine learning methods have been developed in the direction of increasing prediction accuracy. However, there is a disadvantage of poor explanatory power compared to the traditional statistical model, and various methodologies have been developed to compensate for this. Among them, there is a method using Attention Mechanism as a representative method. In order to obtain explanatory power using attention mechanism, the coefficient, which is a constant, is replaced with attention weights in regression analysis and used as the importance of each variable. However, as shown in papers such as "Attention is not Explanation" (Jain and Wallace, 2019) and "Attention is not not Explanation"(Wiegreff and Pinter, 2019), there is a disagreement in interpreting attention weights. In this study, we will compare whether Attention weights can have interpretation power with variable importance, a traditional explanatory technique.