테스트 성숙도 모델과 실험계획법의 접목을 통한 테스트 프로세스 개선안의 최적화

Abstract

Software testing is a core activity in quality assurance such that it is necessarily constructed in the development process. Software test process needs to be properly managed and controlled because it is limited in resources and schedule. To improve the effectiveness of test process, organizations perform software process improvement activities as follows; checking the current status of test processes, suggesting and planning actions, and implementing actions. Many actions can be suggested through this procedure. However, it is hard to apply all of these actions to the organization due to the limitation of organizational resources. Currently many organizations use brainstorming to select a few influential actions among the suggested actions. But this method depends on the knowledge and experiences of the participants. So, if participants do not have sufficient knowledge, risk is feasible that selected actions do not give any positive effects to the organization and they just waste off the organizational resources. In this paper, we suggest to apply statistical methodology to verify the effectiveness of actions and prioritize actions by statistical significance. If the action does not show any positive effects, it is rejected and will not be included in action plans. The background of this research is TMM which is the most representative test process model. By applying design of experiments to the TMM assessment procedure, we can reduce the number of improvement actions and find the best solution based on the measurements. Our optimization strategy is illustrated by an example. We also suggest a characterization schema which gives guidelines for TMM-based-controlled experiments.;테스트는 소프트웨어 품질 보증을 위한 핵심 활동으로, 조직의 프로세스에 필수적으로 구축된다. 테스트 프로세스는 개발 프로세스을 지원하는 역할을 하며, 제한된 자원을 가지고 수행되므로 효율적으로 관리되어야 한다. 조직에서는 테스트 프로세스의 효율성을 향상시키기 위해서 프로세스 개선 활동을 수행한다. 테스트 프로세스의 개선 활동은 현 조직의 실태를 평가하고, 개선안을 제안하고, 이를 조직에 반영하는 프로세스를 통하여 이루어진다. 이러한 활동을 통하여 많은 개선안들이 제안되지만, 조직의 자원의 한계로 인해 이러한 개선안을 모두 조직에 반영하는 것은 어렵다. 현재 많은 조직에서는 제안된 여러 개선안 중에서 효과적인 개선안을 선정하기 위한 목적으로 브레인스토밍 방법을 활용하고 있다. 브레인스토밍은 브레인스토밍 회의 참여자의 지식이나 경험에 의존하는 방법으로 참여자의 지식이나 경험이 충분한 경우에는 효과적일 수 있지만, 그렇지 않을 경우에는 조직의 자원만 낭비하는 결과를 낳을 위험이 있다. 본 논문은 테스트 관련 베스트 프랙티스 모델을 통하여 도출된 개선안에 관한 효과 검증 및 우선 순위를 위한 전략을 제시한다. 본 연구의 기반 연구는 대표적인 테스트 프로세스 모델인 TMM이다. TMM 평가 절차에 실험계획법을 적용함으로써 우리는 통계적 기반 하에 개선안의 수를 줄이고 가장 좋은 대안을 찾는 효과를 얻을 수 있다. 본 연구에서는 이러한 최적화 전략을 예제를 통해 기술하였으며, 또한 TMM 기반의 제어 실험에 관한 지침을 제공하는 특징 스키마를 제안하였다.