협력적 서브 가속기 쌍 기반의 트랜스포머 가속을 위한 스케일 아웃 시스톨릭 어레이

Abstract

Transformers have become a pivotal computational block in modern deep learning models, with their usage and model sizes witnessing rapid growth. Consequently, developing dedicated accelerators that can efficiently compute transformer models while considering hardware overheads has become a significant challenge in the advancement of deep learning. However, current transformer accelerators are primarily limited to single or a few systolic array structures, failing to fully exploit the inherent parallelism in these workloads. This work proposes a novel scale-out accelerator architecture that supports matrix-level parallel processing in multi-head attention. We propose a collaborative workflow for pairs of systolic sub-accelerators, enabling input operand reuse and parallel computation of independent layers in an attention head. Our static scheduler efficiently allocates layer operations to sub-accelerators, finding the most efficient way to scale computations across multiple pod pairs. The adoption of two-level on chip buffer and interconnections between pods in our microarchitecture design helps reduce costly memory accesses. In our evaluation, the proposed method achieves 1.46×-1.6× speedup and saves 9.8-14.6% in energy consumption compared to the state-of-the-art transformer accelerator.;현대 딥러닝 모델에서 트랜스포머(Transformer)는 핵심 연산 블록으로 자리잡고 있으며, 이의 사용과 모델 크기가 급속히 증가하고 있다. 이러한 상황에서 트랜스포머 모델을 효율적으로 계산할 수 있는 전용 가속기(Accelerator) 개발은 딥러닝 분야에서 중요한 도전과제로 부상하고 있다. 그러나 현재까지의 트랜스포머 가속기들은 대부분 단일 혹은 소수의 시스톨릭 어레이(Systolic Array) 구조에 국한되어 있어, 이러한 워크로드의 병렬 처리 가능성을 충분히 활용하지 못하고 있다. 본 연구에서는 트랜스포머의 멀티헤드 어텐션(Multi-Head Attention)을 지원하는 새로운 스케일 아웃(Scale-Out) 구조의 가속기를 제안한다. 이 가속기는 두 개의 시스톨릭 어레이 서브 가속기를 협력적으로 사용하여 입력 재사용 및 독립적인 레이어의 병렬 연산을 가능하게 하고, 사전 타일 스케줄링을 통해 멀티헤드 어텐션 연산을 여러 서브 가속기(Sub-Accelerator)에 효율적으로 할당한다. 아키텍처 측면에서는 2단계 온 칩 버퍼와 포드 간 인터커넥션을 도입하여 데이터 접근성을 향상시키고 컴퓨팅 어레이의 사용률을 높였다. 실험 결과, 제안된 방법은 기존 베이스라인 스케일 아웃 시스톨릭 어레이 대비 1.46x-1.6x 배의 속도 향상을 달성하고, 메인 메모리 접근 감소를 통해 에너지 소비를 기존보다 9.8-14.6% 절약했다.