Searching for Hardware-Efficient Squash Function in Capsule Network

Abstract

Capsule Networks (CapsNets) offer distinct advantages over conventional Convolutional Neural Networks (CNNs) by introducing the concept of a capsule. This innovation achieves both rotational invariance and spatial awareness, making CapsNets a powerful tool in the field of machine learning. However, this breakthrough comes with an increased level of computational complexity. Our empirical analysis of CapsNets identifies the squash function as the primary source of computational demand. To address this challenge, we draw from the principles of Neural Architecture Search (NAS) and introduce AutoCaps-Zero, a framework that automatically discovers a new, searched hardware-efficient squash function to reduce model inference time. The modified squash function that was searched for is capable of replacing the original squash function with minimal loss in accuracy, and it demonstrates superior performance across different datasets. Our experimental results demonstrate that the squash function searched by AutoCaps-Zero reduces the execution time of the squash function itself by approximately 68%. Consequently, deploying the searched squash function on our benchmark models can reduce the end-to-end GPU inference time by up to 46%.

;캡슐 네트워크(CapsNets)는 딥러닝 모델로 캡슐이라는 개념을 도입함으로써 전통적인 합성곱 신경망(CNN)에 비해 독특한 장점을 제공한다. 이 모델은 회전 불변성과 공간 인식 능력을 모두 갖추어 기계 학습 분야에서 강력한 성능을 보인다. 그러나 단점으로는 연산 복잡도 증가한다는 문제가 있다. 캡슐 네트워크의 심층적 분석을 통해 스쿼시 함수가 연산 복잡성의 주요 원인임을 밝혔고, 이 문제를 해결하기 위해 Neural Architecture Search (NAS)의 원리를 바탕으로 하드웨어 친화적인 스쿼시 함수를 탐색하여 모델 추론 시간을 줄이는 AutoCaps-Zero라는 프레임워크를 제안한다. 탐색된 스쿼시 함수는 최소한의 정확도 손실로 원래 스쿼시 함수를 대체할 수 있으며, 다양한 데이터셋에서 우수한 성과를 나타내었다. 실험 결과, AutoCaps-Zero로 찾은 스쿼시 함수는 스쿼시 함수 자체의 실행 시간을 약 68%까지 줄이는 성과를 보였다. 결과적으로, 검색된 스쿼시 함수를 벤치마크 모델에 적용하면 전체 모델 시간 중 GPU 시간을 최대 46%까지 줄일 수 있다.