Cohesive Team Formation in Mobile Ad Hoc Networks based on Curriculum Reinforcement Learning

Abstract

This thesis deals with the reinforcement learning based strategies for the control of mobile ad hoc networks. Ad hoc networks are crucial in emergency contexts such as disasters or military operations where centralized coordina- tion is absent. We propose a distributed solution for building mobile ad hoc networks, where the mobile nodes determine their positions as a team au- tonomously based on reinforcement learning. Furthermore, we propose a spe- cial design of a decentralized partially observable Markov decision process to build a cohesive team of mobile nodes in a distributed manner. Each mobile node in the team learns an individual policy that determines movement under partial observation, with the common goal of maximizing network throughput. In the learning process, each node indirectly negotiates the role in the team while explicitly considering the locations of other neighboring nodes and net- work throughput. To improve learning efficiency, we design a curriculum that encourages nodes to disperse initially but reside in specific regions eventually. Such a curriculum enables each node to be placed in its best location, thereby expediting the collective convergence of all nodes as a cohesive team. Simula- tion results confirm that the proposed solution can successfully build a cohesive team that maintains high network throughput with low power consumption. ;재난이나 군사 상황과 같은 위급 상황에서는 고정된 네트워크 기반 망의 사용이 어려울 수 있으므로 다수의 노드가 자율적으로 네트워크를 형성하고 유지하는 분산형 네트워크의 도입이 필요하다. 이동성을 가지는 노드로 구성된 분산형 네트워크를 모바일 애드혹 네트워크(Mobile Ad Hoc Network)라고 하며 이는 기반 시설에 구애 받지 않고 다양한 환경에 적용 가능하다. 이때, 모바일 애드혹 네트워크를 구성하는 모바일 기기의 경우 일반적으로 배터리 기반으로 동작하므로 에너지 소모를 최소화하며 네트워크 처리율(throughput)을 최대화해야 한다. 본 논문에서는 강화학습을 기반으로 모바일 노드를 학습시켜 각 노드가 자율적으로 최적 위치를 결정하는 알고리즘을 제안한다. 모바일 노드는 네트워크 처리율의 최대화를 위해 부분 관측을 기반으로 최적 위치를 학습하게된다. 학습 과정에서 각 노드는 인접한 노드의 위치와 네트워크 처리율을 고려하여 간접적으로 네트워크 내 역할, 즉 위치를 협상한다. 학습 효율을 향상시키기 위해, 초기에는 노드들을 분산시키고 학습이 진행됨에 따라 특정 위치에 수렴하도록 유도하는 커리큘럼을 포함한다. 제안한 커리큘럼은 각 노드를 최적 위치에 배치함으로써 전체 네트워크 구축 및 위치 수렴 속도를 가속화한다. 시뮬레이션 결과를 통해 제안한 방안이 전력 소모를 줄이면서 네트워크 처리율을 높게 유지하는 모바일 애드혹 네트워크를 성공적으로 구축할 수 있음을 확인하였다.