Clock Synchronous Multilayer Neuromorphic Hardware System and Hardware Optimized Guide Training Algorithm

Abstract

Deep neural network 기반의 러닝 알고리즘의 발전에 따라 인공지능 관련 연구 및 개발 또한 활발히 이루어졌다. 이와 같은 알고리즘들의 성능은 비약적으로 발달하였고, 모바일 기기의 인공지능 음성 인식 및 영상 인식 서비스 등이 상용화에 이르렀다. 그러나 이러한 성능은 알고리즘이 필요로 하는 막대한 양의 연산을 빠르게 처리할 수 있는 고성능의 서버 기반 서비스라는 한계가 존재하며, 서버와 통신이 되지 않을 경우 이와 같은 기능은 사용할 수 없는 것이 현실이다. 뿐만 아니라 기존의 Von Neumann architecture의 고성능 컴퓨터 서버로 행렬 연산 기반의 딥 러닝 알고리즘을 실행시키는 것은 막대한 에너지를 필요로 한다. 인간의 뇌와 같은 인공지능을 개발하고자 하는 관점에서 이와 같은 에너지 소모 및 크기는 부적합하다. 극히 적은 양의 에너지를 소모함에도 고차원의 사고 활동을 하는 인간의 뇌의 neural network 구조를 모방한 고성능, 저전력, 병렬 연산 구조의 neuromorphic 하드웨어가 연구되고 있다. 본 연구는 고성능 다층 딥 러닝 알고리즘의 구현에 최적화된 새로운 neuromorphic 하드웨어 디자인을 제안하고 있다. 본 논문에서 제시하고 있는 4-phase clock synchronous system을 simulink를 활용하여 모델링하였다. 더불어 러닝 과정에서의 연산을 최소화 하여 실제 하드웨어 구현에 최적화된 새로운 트레이닝 알고리즘, Guide Training 방법을 고안하였다. 개발한 시스템을 Verilog HDL로 구현하고 FPGA 보드로 시스템의 on-chip training 성능을 검증 하였다. 또한 시스템을 Verilog-A로 구현하고 memristor crossbar array 모델을 활용하여 HSPICE로 성능을 검증하였다.;Deep neural network based learning algorithms have advanced and along with that advances A.I related researches and developments are accelerated. Typical Von Neumann computer architecture, however, consumes enormous energy while processing massive matrix calculation based complex learning algorithms and this is an inappropriate feature from the aspect of developing human brain like artificial intelligence. Human brain is compatible with supercomputers in performances but it consumes extremely small energy. Low power, high performance neuromorphic hardware emulates parallel computing based neural network of human brain is researched actively. This thesis proposes the novel neuromorphic hardware system design which is optimized for implementing multilayer deep learning algorithm. Also, it devised new training algorithm named Guide Training Algorithm. This algorithm minimizes calculation during learning process thus the Guide Training algorithm is suitable for actual hardware implementation. Proposed system design was modeled by Simulink and behavioral performance of the suggested system and algorithm were verified with this system. Also, the system was synthesized with Verilog HDL and implemented on the FPGA board and tested. Also, the system was redesigned for artificial neural array consisted of memristor crossbar array and current sense-amp. The redesigned system was verified for its learning availability with HSPICE simulation.