SAS Macro 시뮬레이션을 통한 Multiple Comparison의 검정력 측정

Abstract

다중비교(Multiple comparison)란 다수의 집단들이 통계적으로 모두 동일한 특성을 가지지는 않는 것으로 판단되는 경우, 두 집단씩 짝을 지어 통계적인 검정을 실시하여 어느 집단끼리 유의한 차이를 보이는지 알아보는 방법이다. 하지만 모든 가능한 짝에 대해 일정한 유의수준(예, 0.05)하에서 통계적인 검정을 실시하게 되면 전반적인 유의수준(overall level of significance)은 우리가 실제로 원하는 유의수준 0.05를 훨씬 초과하게 된다. 따라서 각 짝진 비교에서 얻어지는 관찰된 유의수준(observed level of significance, 즉, p-value)들을 보정(adjust)해 주어야 하는데 이것이 바로 다중비교 내용의 핵심이다. 분산분석(ANOVA)의 경우 다중비교 방법론이 많이 적용되고 있지만, r×c 분할표로 나타나는 범주형 자료의 경우, 전체 rc개 칸들을 대상으로 한 다중비교 방법은 아직 널리 사용되고 있지 않은 실정이다. 이는 연구자들이 이 다중비교 방법을 알지 못하거나 이 방법의 유용성을 아직 인식하지 못하고 있는 데에도 일부 기인하겠지만, 또 한편으로는 범주형 자료의 경우 SAS나 SPSS 등과 같은 기존의 통계 분석용 프로그램들이 다중비교 방법을 손쉽게 설명되어 있지 않은 데에도 그 원인 이 있다고 할 수 있겠다. 따라서 본 연구에서는 SAS에서의 다중비교를 실시하는 방법을 소개하고자 한다. 또한 이런 다양한 Multiple comparison Procedures(MCP)들을 SAS의 MULTTEST procedure를 사용한 macro 시뮬레이션을 통해 다양하게 조건을 변화시키며 검정들 사이의 Empirical Type Ⅰerror와 Empirical Power를 측정해보고자 한다.;The MULTTEST procedure addresses the multiple testing problem. This problem arises when you perform many hypothesis tests on the same data set. Carrying out multiple tests is often reasonable because of the cost of obtaining data, the discovery of new aspects of the data, and the many alternative statistical methods. However, a negative feature of multiple testing is the greatly increased probability of declaring false significances. For example, suppose you carry out 10 hypothesis tests at the 5% level, and you assume that the distributions of the p-values from these tests are uniform and independent. Then, the probability of declaring a particular test significant under its null hypothesis is 0.05, but the probability of declaring at least 1 of the 10 tests significant is 0.401. If you perform 20 hypothesis tests, the latter probability increases to 0.642. These high chances illustrate the danger in multiple testing. PROC MULTTEST approaches the multiple testing problem by adjusting the p-values from a family of hypothesis tests. An adjusted p-value is defined as the smallest significance level for which the given hypothesis would be rejected, when the entire family of tests is considered. The decision rule is to reject the null hypothesis when the adjusted p-value is less then. So I want to introduce how to carry on multiple comparison through SAS in this study. Also, I want to measure Empritical TypeⅠerror and Empritical Power among theories resulted from Multiple comparison Procedures(MCP) through macro simulation using MULTTEST procedure of SAS on various conditions.