특이값 검출 방법 비교 연구

Abstract

우리는 어떤 주어진 자료를 해석하려 할 때, 예기치 못하게 다른 값들에 비해 매우 크거나 매우 작은 값들을 만날 수 있다. 이와 같이 다른 값들과는 상당히 떨어져있어 무언가 잘못된 것처럼 보이는 값을 만났을 때, 우리는 매우 당황하게 되며 이 동떨어져 있는 값을 버려야 하는가 아닌가, 혹은 버리는 경우에는 어떤 기준에 의해서 버려야 할 것인가에 대해 고민하게 된다. 이와 같이 어떤 주어진 자료에 다른 대부분의 값들과 비교해 매우 크거나 매우 작은 값이 섞여있을 경우 이 값들이 전체 자료에 큰 영향 미치게 되어 우리는 이들 자료를 해석하는데 있어 정확하지 못한 결과를 얻게 되거나, 잘못된 정보를 얻게될 수 있다. 따라서 우리는 이런 값들이 자료에 들어있는 경우 우리는 이 값이 다른 값들과는 다른 무언가 잘못된 값이라고 판단할 객관적인 기준이 필요하게 된다. 이와 같이 다른 값들에 비해 동떨어져 있어 매우 크거나 매우 작은 값을 갖는 자료값을 우리는 특이값(outlier)라 부르며, 본 연구에서는 이와 같은 특이값을 검출해내는 방법, 즉 Vic Barnett 와 Toby Lewis 가 제언한 단일 특이값(single outlier)과 k개의 특이값에 대한 특이값 검출 방법과 기존의 표준편차를 기준으로 특이값을 검출해내는 방법을 비교연구 하였다. 연구방법은 컴퓨터 프로그램 FORTRAN 77을 이용하여 위에서 제시한 방법으로 특이값을 검출해낼 수 있는 프로그램 제작하여, 모의 자료를 이용하여 실제로 구해낸 결과의 정확성을 비교하였다.;From the earliest gropings of man to harness and employ the information implicit in collected data as an aid to understanding the world he lives in, there has been a concern for 'outlying' observation on sets of data. When we meet such a outlying value that may look like some bad or erroneous cause of its very large deviation, we are very confused and agonize whether, and on what basis, we should discard it from a set of data. Like this, when given data have a very large or very small value, this value exerts a great effect on data interpretation, we may get the inaccurate result or wrong information. So we must have an objective basis to decide the outlying value is some wrong. As looking above, we call it 'outlier' which appears to deviate markedly from other members of the sample in which it occurs. On this study, we compare the discordance test proposed by Vic Barnett and Toby Lewis with the test that detects outliers on the basis of mean and standard deviation. As a method, Fortran 77 program was used to detect the outliers by the test presented above, and simulation data were used to compare the accuracy of results.