다국면 Rasch 모형에 의한 피겨스케이팅 경기력 평가

Abstract

이 연구는 2002년 동계올림픽 피겨스케이팅 경기성적을 대상으로 다국면 Rasch 모형을 적용하여 이 모형이 분석하고자 하는 자료에 적합한지의 여부를 검증하고 적합할 경우 심판판정의 객관성과 공정성을 위협하는 요인을 구명하는데 목적이 있다. 이 연구에서는 6국면 Rasch 평정척도 모형을 이용하여 여자경기, 남자경기, 페어경기, 아이스댄스 경기에 출전한 선수들의 경기력, 선수의 출신 대륙별 경기력, 종목별 요소의 난이도, 심판의 엄격성, 심판의 출신 대륙별 엄격성과 심판의 성별 엄격성을 분석하였다. 이외에도 예상에서 벗어난 판정 결과와 심판별 편파적 판정 정보가 조사되었다. 분석결과 여자경기와 페어경기의 경우 Rasch 모형을 이용하여 분석된 순위는 올림픽 메달 순위와 차이가 있는 것으로 나타났다. 여자경기의 경우 올림픽에서 1위를 한 선수 (Hushes, USA)가 4위로 나타난 반면, 2위를 한 선수 (Slutskaya, RUS)가 1위로 나타났다. 페어경기는 의 경우에는 올림픽에서 처음 러시아 선수와 캐나다 선수에게 공동금메달을 수여하였지만 분석결과에서는 오히려 캐나다 선수들의 경기력 수준이 러시아 선수들보다 높은 것으로 나타났다. 심판들간의 엄격성 수준은 남자경기를 제외한 모든 경기에서 차이가 없는 것으로 나타났다. 적합지수 역시 여자경기의 경우 1명의 심판 (Hrachovcoca, SVK)을 제외하고는 모두 기준치 내에 속함으로써 심판들은 비교적 일관된 판정을 내린 것으로 판단된다. 이와같은 사실은 올림픽 피겨스케이팅 경기의 심판들은 여러 차례 심판 강습을 이수하고 엄격한 시험에 합격한 국제심판 중에서 발탁된다는 점에서 확인될 수 있다. 또한 성별로 본 심판의 엄격성은 모든 경기에서 차이가 없는 것으로 나타남으로써 판정시 심판의 성별은 크게 작용하지 않는 것으로 판단된다. 따라서 심판의 성별 국면은 모형설정 과정에서 제외해도 무방할 것이다. 예상에서 벗어난 판정결과는 모든 분석대상 경기에서 나타났다. 그러나 그러한 판정결과는 전체 판정중 1% 내외로서 매우 낮을 뿐만 아니라 일부 심판으로부터 연속적으로 발견되고 있다. 이와같이 각 경기별로 나타난 예상에서 벗어난 편파적 판정에 대한 정보는 심판 개개인의 판정 형태를 확인할 수 있는 기초자료가 되기 때문에 심판 연수 혹은 교육시 유용하게 사용될 수 있을 것이다. 심판과 선수의 출신대륙 일치가 판정에 영향을 미치는 지의 여부를 확인하기 위해 심판과 선수의 출신대륙간 상호작용 효과를 검증한 결과, 아이스댄스 경기를 제외한 모든 경기에서 표준화 잔차의 절대값은 기준치 (2.0)를 초과하지 않은 것으로 나타났다. 이와같은 결과는 심판과 선수의 출신대륙 일치는 심판의 편파적 판정에 영향을 미치지는 않는다는 점을 지적해 준다. 그러나 비록 통계적으로는 차이가 없다 할지라도 심판들이 자신의 출신대륙 선수에게 더 관대한 판정을 내린 경향은 여러 판정결과에서 확인할 수 있었다. 이 결과는 심판들이 자국의 선수에게 더 관대한 점수를 부여한다는 선행연구 결과 (Seltzer와 Glass, 1991; Whissell 등, 1993)와 일치하는 것으로서 앞으로의 연구에서도 출신대륙에 대한 국면은 모형에 반드시 포함하여 확인할 필요가 있을 것이다. 이 연구에서 분석모형으로 사용된 다국면 Rasch 모형의 장점은 세 가지로 요약될 수 있다. 첫째, Rasch 모형은 로그변환 (log-transformation)을 통해 채점점수인 순서척도를 등간척도로 변환시켜 줌으로써 척도문제를 해결해 준다. 둘째, 채점자들간의 차이에 대한 통계적 조정이 가능하다. 적합도 분석을 통하여 평정의 일관성을 확인할 수 있고, 분리지수와 신뢰도지수로 채점자간 신뢰도 (1-신뢰도지수)를 확인할 수 있다. 또한 채점자의 엄격성 차이를 통계적으로 조정한 평정점수를 산출해 준다. 결과적으로 평정오차의 문제를 해결하여 보다 공정하고 객관적인 결과를 제공해 준다. 셋째, 모든 심판이 모든 피험자를 판정하지 않아도 되며 채점자 개인별 판정정보가 풍부하게 제시된다는 장점이 있다. 다국면 Rasch 모형 역시 그 적용과정에서 어떤 국면을 모형내에 포함할 것인가, 혹은 평정상황을 어떻게 통제해야할 것인가에 관한 문제 등이 제기된다. 그러나 이 문제는 다국면 Rasch 모형을 채점방식의 하나로 사용된다면, 이 연구에서도 확인하였듯이 심판의 성별 엄격성과 같은 국면은 제외시키는 등 충분한 검토와 수정을 통하여 결정할 수 있을 것이다. 이 연구는 2002년 동계 올림픽 피겨 스케이팅 경기 자료를 기초로 했을 뿐 다양한 종목의 평정 점수를 분석하지 못했다는 제한이 있다. 향후 연구에서는 다른 스포츠 종목의 평정 점수에 대한 분석이 이루어져야 할 것이다. 또한 모의분석 (simulation)을 통해 국면의 수는 몇 개가 바람직하며 어떤 변인을 국면으로 설정할 경우 오차를 최소화하는 적절한 모형인가에 대한 분석연구가 수행되어야 할 것이다.;Figure skating uses the median rank aggregation system for determining placement. Unfortunately, the system have been shown to be prone to various types of systematic and random error. The purpose of this study was to investigate the rating errors influencing on judgemental scoring in figure skating, and to suggest the way to improve the fairness of rating by examining the difference of judge's severity and inconsistency. A many-facet Rasch model was conducted on data from Figure skating events at the 2002 winter Olympics. Six facets-athletes, athlete's country, component, judge, judge's country and judge's gender were defined. Judge's severity and inconsistency were examined by infit and outfit statistics and separation index and reliability. Judge-by-athletes interaction was also calculated to detect potential judge-by-athletes bias. The results presented evidence that rankings from Olympic competition can be used in a many-facet Rasch analysis to construct a linear scale of skating ability that is free, as statistically possible, of judge biases and component difficulty. All sports that rely on judges' ratings should investigate the use of a many-facet Rasch model in order to bring more objective and fairness to the winner selection process.