Data-Driven Analysis and Optimization of Computing Systems for AI Workloads

Abstract

최근 인공지능과 딥 러닝 기술의 급속한 발전으로 클라우드 환경에서의 신경망 기반 애플리케이션이 폭발적으로 증가하고 있다. 이러한 증가는 컴퓨팅 자원의 효율적 관리와 성능 최적화에 대한 새로운 도전 과제를 제시하고 있다. 특히, 기존의 전통적인 컴퓨팅 워크로드와는 다른 특성을 가진 딥 러닝 워크로드의 효율적 처리는 클라우드 서비스 제공자들에게 핵심적인 기술적 과제가 되고 있다. 본 연구는 이러한 문제에 대한 이해를 높이고 가능한 해결 방안을 모색하고자 하였다. 본 연구에서는 클라우드 기반 신경망 자원 관리 및 성능 최적화에 관한 연구를 포괄적으로 수행하여 다음과 같은 세 가지 결과를 도출하였다. 첫째, 신경 컴퓨팅 워크로드의 메모리 접근 패턴을 자세하게 분석하여 비대칭적 읽기/쓰기 작업, 그리고 데이터 및 힙 영역의 집중적인 사용과 같은 고유한 특성을 밝혔다. 또한 딥 러닝 워크로드는 전통적인 애플리케이션과 비교하여 다른 패턴을 보이며, 쓰기 연산이 읽기 연산의 약 2배 빈도로 발생하는 것으로 관찰되었다. 이는 딥 러닝 워크로드에 특화된 리소스 관리 전략의 필요성을 시사한다. 둘째, 시스템 이벤트와 트레이스를 통해 컨테이너화 된 환경에서 신경 컴퓨팅 워크로드의 자원 활용도를 상세히 분석한 결과, 페이지 오류 처리와 더티 페이지 관리에서 주요 병목 현상이 발견되었다. 특히 컨테이너화 된 환경이 일반적인 호스트 시스템보다 약 2배 이상의 페이지 오류를 생성하는 것으로 나타났으며, 이는 성능에 영향을 미칠 수 있는 요소로 판단된다. 셋째, 클라우드의 핵심 기술인 오토스케일링을 위한 새로운 접근 방식으로, 유전 알고리즘과 베이지안 신경망을 결합한 사용량 예측 프레임워크인 Workload Adaptive Neurogenetic Engine (WANE)을 시험적으로 구현하였다. 실험에서 WANE은 ARIMA 또는 지수 평활화와 같은 기존 통계적 방법들과 비교하여 급격한 워크로드 변동 상황에서 개선된 예측 결과를 보여주었다. 본 연구는 클라우드 환경에서의 신경 컴퓨팅 플랫폼 최적화에 대한 이론적 통찰과 실용적 해결책을 다양하게 제시한다는 점에서 의의가 있다. 특히, 딥 러닝 워크로드의 고유한 특성을 고려한 자원 관리 전략과 예측 기반의 최적화 방법론은 클라우드 서비스의 효율성과 신뢰성을 크게 향상시킬 수 있다. 본 연구에서 개발된 방법론과 프레임워크는 급증하는 딥 러닝 시스템의 자원 관리와 성능 최적화에 관한 향후 연구의 견고한 기반이 될 것으로 기대한다.;The proliferation of deep learning applications in cloud environments has elevated the significance of neural network resource management and performance optimization. This study presents a comprehensive investigation into cloud-based neural network resource management and performance optimization, making three primary contributions. First, we conducted a detailed analysis of memory access patterns in neural computing work- loads, revealing significantly different patterns compared to traditional applications, with write operations occurring approximately twice as frequently as read operations. Second, through detailed system event tracking, we analyzed resource utilization in containerized environments, identifying major bottlenecks in page fault handling and dirty page management for container-based deep learning deployments. Our analysis revealed that containerized environments generate over twice the number of page faults compared to host systems, substantially impacting performance. Third, we propose the Workload Adaptive Neurogenetic Engine (WANE), a novel hybrid predictive framework combining genetic algorithms and Bayesian neural networks, enabling more precise resource allocation while maintaining service level objectives. WANE demonstrated superior predictive accuracy compared to conventional statistical methods, particularly in handling sudden workload fluctuations. This research provides both theoretical insights and practical solutions for optimizing neural computing platforms in cloud environments. The methodologies and frameworks developed in this paper establish a foundation for future research in resource management and performance optimization of deep learning systems.