경량화된 프로파일링 기법을 적용한 시스템 테스트 레벨의 시스템 스캐닝 방안 연구

Abstract

In system test, it is intended to verify system's functional and non-functional behaviors at product level. Thus, there are difficulties to look into detected faults because system is the blackbox which detailed internal modules or functions are hidden. In other words, in terms of analysis, it is required to narrow down from external system behavior to internal flow. Broad profiling techniques to analyze system behavior have been studied, however there is no such a technique to provide detailed information on entire system or multi processes based on same time-line. Therefore there is a need to integrate and tailor profiling techniques in order to apply profiling to system test in real time environment. This paper proposes Light-weight System Scanning(LSS) that utilizes kernel modification sampling and dynamic instrumentation through the comparison with current profiling techniques. LSS provides flexible data collecting and is light and compact to give less overhead to restrained resource in realtime environment without any supportive tools. In LSS, there are two scanning mode such as silent-mode based on kernel modification sampling and loud-mode based on dynamic instrumentation. Silent-mode scans kernel runtime data that is hard to collect by instrumentation and risky to be lost by normal sampling. Meanwhile, loud-mode defines data structures such as cpu usage, memory usage, callstack information, register information, process memory usage, process thread counts and collects those system data at especially, the interface. To demonstrate efficiency of LSS, performance measurement was conducted and slowdown factor of LSS was 0.4%. Consequently, LSS can collect diverse data with broad spectrum of entire system with light and compact features so it offers effective guideline to solve problems in system test.;시스템 테스트는 해당 시스템의 기능적 및 비기능적인 행위를 제품레벨에서 검증하기 때문에 결함이 발견되었을 때, 내부를 알 수 없는 블랙박스의 시스템 단위에서 시스템 내부를 이루는 모듈 및 함수 단위로 분석해 들어가야 하는 어려움이 있다. 시스템의 행위를 분석하기 위한 기존의 프로파일링 기법들은 시스템 전반에 대한 상세한 정보를 제공하거나 동일한 타임라인 기반위에서 하나 이상의 프로세스에 대한 정보를 제공하지 못하고 있기 때문에, 리얼타임 환경의 시스템 테스트에 효율적으로 프로파일링을 적용하기 위해서는 각각의 프로파일링 기법의 장점을 접목시킨 연구가 필요하다. 따라서 본 논문에서는 기존의 프로파일링 기법에 대한 비교를 통하여 kernel modification sampling과 동적 instrumentation의 장점을 기반으로 한 LSS를 제안한다. LSS는 보조도구 없이 이루어지는 런타임 환경에서 제약된 자원에 부담을 주지 않기 위해 가볍고 작으면서도 유동적인 정보 수집을 할 수 있는 시스템으로써 kernel modification sampling을 통한 silent-mode와 동적 instrumentation을 통한 loud-mode를 지원한다. silent-mode 스캐닝은 일반 sampling으로 수집했을 때 정보손실에 대한 위험이 있고 instrumentation으로는 수집하기 어려운 커널의 런타임 데이터를 수집한다. 한편 loud-mode 스캐닝은 데이터 구조를 정의하여 CPU 사용량, 메모리 사용량, 콜스택 정보, 레지스터 정보, 프로세스 메모리 사용량, 프로세스 쓰레드 개수 등과 같은 시스템 데이터를 인터페이스라는 특정 위치에서 수집한다. 본 논문에서는 이러한 특징을 갖는 LSS의 효율성을 증명하기 위해 성능측정을 수행하였다. LSS의 성능은 LSS가 타겟에서 차지하는 공간과 LSS의 데이터가 차지하는 공간 오버헤드와 LSS가 타겟의 성능에 미치는 영향에 대한 시간 오버헤드로 나뉜다. 성능 측면에서 약 0.4%의 성능지연률을 갖는 LSS는 작고 가벼우면서도 다양한 데이터를 수집하여 전체 시스템에 대한 넓은 스펙트럼의 동작 상황을 파악할 수 있게 됨으로써 시스템 테스트에서의 문제 해결을 위한 효율적인 방향제시를 하였다.