Layer-Wise Precision Exploration for Lightweight Deep Neural Networks on Edge Devices

Abstract

Deep Neural Network (DNN) is applied to edge devices for Artificial Intelligence (AI) technology, which is emerging as the rise of the 4th industrial revolution. Unlike servers, edge devices have limited resources, so an efficient lightweight method is needed. Therefore, the study proposes an efficient method for optimization in edge devices with limited resources. First, INT / POSIT Hybrid Precision is applied to solve the problem of accuracy degradation caused by lightweight and a Hybrid PE structure is proposed to support two data types. By applying Hybrid Precision, it is possible to reduce the accuracy drops to 3.94% from 9.61%, which is the result applying only the Integer type, in the same 8-bit precision. Also, in order to minimize the hardware overhead due to the application of the two data types, Hybrid PE is proposed by sharing the common part of the INT and POSIT operators. Second, as a methodology for Mixed-Precision, an SQNR-based analysis method for fast analysis and a Mixed-Precision configuration method considering complexity are proposed. By using SQNR instead of the time-consuming method using inference, depending on the neural network , 95.77~98.11% time reduction is achieved. In addition, by configuring Mixed-Precision in consideration of complexity, it is possible to achieve a maximum 13.73% and 29.16% reduction in computational amount and memory requirements, respectively, compared to the method using only inference results.;최근 4차산업 혁명의 대두로, Deep Neural Network(DNN)을 활용한 인공지능 (AI) 기술을 엣지 디바이스에 효율적으로 적용하기위한 기술이 요구되고 있다. 서 버와 달리, 엣지 디바이스는 자원이 한정적이기 때문에 이를 위한 경량화 및 최적 화 방법이 필요하게 되었다. 따라서, 본 연구에서는, 자원이 한정적인 엣지 디바 이스에서의 효율적인 경량화를 위한 여러가지 방법을 제안하고자 한다. 첫번째로, 경량화로 인해 발생하는 정확도 저하 문제를 해결하기 위해 INT / POSIT Hybrid Precision을 적용하고, 이를 위한 Hybrid PE 구조를 제안하였다. Hybrid Precision을 적용함으로써, 같은 8-bit precision 구성에서 Integer 타입 만을 적 용하여 발생한 9.61%의 정확도 감소를 3.94%로 줄일 수 있다. 즉, 같은 정밀도 의 구성에서 더 높은 정확도를 얻을 수 있고, 낮은 Precision을 사용함으로써 시 스템 레벨에서의 메모리 요구량과 메모리 대역폭을 줄일 수 있다. 또한, 두가지 데이터 타입의 적용으로 인한 하드웨어 오버헤드를 최소화 하기 위하여 두 연산 기의 공통 부분을 공유함으로써 효율적인 INT / POSIT Hybrid PE를 제안하였다. 이를 통해, 기존의 공유하지 않는 방식 대비 곱셈기는 전체 하드웨어 면적의 10.57%, 덧셈기는 16.21%까지 줄일 수 있었다. 두번째로, Mixed-Precision을 위한 방법론으로써, 빠른 분석을 위한 SQNR기반의 분석 방법과 복잡도를 고려한 Mixed-Precision 구성 방법을 제안하였다. 많은 시간이 소요되는 Inference를 사용하는 방법 대신 SQNR을 분석에 활용함으로써, 타겟하는 뉴럴 네트워크에 따 라 95.77~98.11%의 시간 단축을 이루었다. 또한 복잡도를 고려하여 Mixed- Precision을 구성함으로써, Inference 결과만 사용하던 기존 결과 대비, 최대 13.73%의 연산량과 29.16%의 메모리 요구량 감소를 이룰 수 있었다.