Federated Learning with Edge Devices in Volatile Wireless Networks

Abstract

Deep learning is one of the promising approaches for extracting the important features from the data given rapid improvement of the computation power of computers and the vast amount of data. Meanwhile, as the performance of end devices such as mobile phones, sensors or wearable devices has improved, deep learning based on edge devices has emerged. Edge-based learning has the advantage of low latency and low privacy concerns since edge devices are close to the user side and do not require to send raw data to centralized server. However, deep learning still requires tremendous computational power for complicated tasks while leading large models infeasible to implement on a single edge device. To overcome the shortcomings, distributed deep learning architecture has recently investigated to achieve scalable learning and inference capability at resource-constrained edge devices. The concept of federated learning is the idea to build learning model based on distributed multiple edge devices to train collaboratively. Model parallelism has been proposed for scalability of the model, which splits the model into sub-parts across separate devices. Although the parallelization-based approaches have actively been investigated in the edge computing context, they are not designed for the devices that are usually wireless and mobile, causing the substantial link and device failure issue. In this thesis, we propose a novel semi-distributed deep learning architecture, StitchNet, based on model parallelism for volatile wireless edge networks. Our algorithm first classifies a set of effective neurons with a substantial impact on their connected neurons across layers. Then, an opportunistic neuron assignment is employed taking into account of network connectivity. By doing so, the distributed deep learning architecture can ensure the full forward and backward propagation paths by stitching the subsets of the model across the devices. Further, under the device failure situation, the neurons on failed device are assigned to available devices with path redundancy via neuron cloning for securing high resilience to network and device uncertainty. To validate our proposed algorithm, we use image classification tasks with the handwritten digits, the image of fashion products, and color image of the dataset in 10 different labels in a simulated network topology. Simulation-based experiments demonstrate that StitchNet has achieved high inference quality on visual classification tasks even under the volatile lossy network environment, by making edge devices collaboratively find and stitch their inward and out-ward edge paths with a reasonable communication overhead. Thus, our proposed architecture makes a distributed deep learning feasible at resource-constrained edge devices with resilience to dynamic changes.

;최근 컴퓨터의 계산능력의 발전과 학습시킬 수 있는 데이터의 양의 기하급수적인 증가로 인해 딥러닝이 이미지 분류, 자연어 처리, 음성 인식과 같은 태스크들에 뛰어난 성능을 보이고 있다. 한편, 모바일 디바이스와 같은 엔드 디바이스들의 성능도 향상되면서 엔드 디바이스를 기반으로 한 딥러닝이 등장하게 되었다. 딥러닝은 여전히 많은 연산능력을 요구하기 때문에 여러 디바이스들에 딥러닝 모델, 혹은 데이터를 나눠 학습시키는 분산 딥러닝이 등장하게 되었다. 분산 딥러닝 아키텍쳐는 자원이 제한된 에지 디바이스에서 확장 가능한 학습 및 추론을 달성할 수 있다는 이점이 있다. 분산 딥러닝에 대한 기존의 연구들은 에지 디바이스들 간의 연결이 안정적이라는 상황이나 모든 디바이스들이 학습시간동안 정상적으로 작동한다는 가정을 하고 있다. 이는 주로 무선네트워크에 연결되어 에지 디바이스라는 실제상황에 적용되기 어렵다는 한계가 있다. 따라서 본 논문에서는 불안정한 네트워크 상황과 장치 오류 문제가 발생하는 상황을 고려하여 에지 디바이스에서 분산 딥러닝을 수행한다. 이를 수행하기 위해서, 본 논문에서는 모델 병렬성을 기반으로 한 분산 딥러닝 아키텍쳐를 제안했다. 본 분산 딥러닝 아키텍쳐에서 실제 학습 연산에 쓰이는 뉴런들이 존재하는 물리적 뉴런 공간과 디바이스 오류 문제에 대비한 가상적 뉴런 공간을 정의한다. 제안하는 알고리즘은 먼저 딥러닝 모델의 레이어에 걸쳐 입력과 출력에 영향을 크게 미치는 효과적인 뉴런을 선별한다. 선별된 뉴런들은 네트워크 환경과 레이어의 디바이스에 대한 의존성을 고려하여 학습의 정확도가 높아질 수 있도록 할당되게 된다. 이후에 학습 도중에 장치 오류 상황이 발생하게 되어 해당 디바이스의 뉴런이 학습이 되지 않을 경우, 가상적 뉴런 공간에서 뉴런들을 복사해와 작동하는 디바이스들에게 할당한다. 따라서 학습 모델의 레이어에 걸쳐서 뉴런들의 집합을 연결하여 전체 순방향 및 역방향 전파 경로를 보장한다. 본 논문에서는 이미지 분류 태스크에 대하여 시뮬레이션을 시반으로 여러 에지 디바이스들이 협력하여 효과적으로 뉴런을 선정, 배치에 학습을 하였다. 주어진 환경에서 제안한 시스템은 불안정한 네트워크 상황과 디바이스 오류 상황내에서도 높은 추론의 정확성을 달성했음을 입증하였다.