DRAM-Aware Sparse Matrix-Vector Multiplication Accelerator with Transaction-Level Scheduling

Abstract

This thesis proposes a sparse matrix-vector multiplication accelerator that considers DRAM access and applies transaction-level scheduling. Unlike conventional dense matrix operations, sparse matrix operations are deteriorating in performance in existing high-performance computing systems because the amount of computation compared to the amount of memory access is small, and thus, the importance of sparse matrix operations in high performance computing and artificial intelligence applications is emerging. Among sparse matrix operations, sparse matrix-vector multiplication is one of the most important operations in high performance scientific computing and also in machine learning and deep learning, which have recently been in the spotlight. Since sparse matrix-vector multiplication has indirect memory access and irregular memory access, the number of memory accesses increases or memory access time increases in the existing memory system, which degrades the overall operation performance. Besides, when the sparse matrix-vector multiplication operation is parallelized, the utilization rate of the operator decreases when the loads between processes being processed in parallel do not match, thereby lowering the operation efficiency. Therefore, to consider the DRAM approach, the accelerator proposed in this paper proposes a multi-row processing technique. In addition, a transaction-level scheduling technique is proposed to match the load between parallelized processes. As a result, the proposed sparse matrix-vector accelerator reduced the number of DRAM accesses by up to 74% and improved the operation speed up to 14%.;본 논문은 DRAM 접근을 고려하고 트랜잭션 수준의 스케줄링을 적용한 희소행렬-벡터 곱셈 연산 가속기를 제안한다. 희소행렬 연산은 기존의 조밀 행렬 연산과 다르게 메모리 접근량 대비 연산량이 적어 기존의 초고성능 컴퓨팅 시스템에서 성능이 저하되고 있어 최근 초고성능 컴퓨팅과 인공지능 애플리케이션에서 희소행렬 연산의 중요성이 대두되고 있다. 희소행렬 연산 중에서도 희소행렬-벡터 곱셈 연산은 기존의 고성능 과학연산부터 최근 주목 받는 머신러닝과 딥러닝에서도 중요한 연산 중 하나이다. 희소행렬-벡터 곱셈은 간접 메모리 접근과 불규칙한 메모리 접근성을 가지고 있어 기존의 메모리 시스템에서 메모리 접근 수가 증가하거나 메모리 접근 시간이 증가하여 전체 연산 성능을 저하한다. 또한, 희소행렬-벡터 곱셈 연산을 병렬화하는 경우 병렬 처리되는 프로세스간 부하가 일치하지 않을 때 연산기에 대한 활용률이 낮아져 연산 효율을 저하한다. 따라서 DRAM 접근을 고려하기 위해 본 논문에서 제안한 가속기는 다중 행 처리 기법을 제안하였다. 또한, 병렬화된 프로세스간 부하를 일치시키기 위해 트랜잭션 수준 스케줄링 기법을 제안하였다. 그 결과 제안한 희소행렬-벡터 가속기는 최대 74%의 DRAM 접근 횟수를 감소시켰으며 연산 속도를 14%까지 향상했다.