Investigation of odd sample bias to improve estimation of consumer preference

Abstract

오늘날 생활환경의 다변화와 함께 식품산업 환경은 빠르게 변화하고 있으며, 이에 따라 고품질 식품에 대한 수요가 증가하고 있다. 따라서 효율적인 비즈니스 결정을 위해서는 식품의 질을 정의하는 데 있어서 중요한 요인인 소비자들의 기호도 및 선호도를 안정적이며 효과적으로 측정할 수 있는 평가 방법이 필요하다. 이점 선호도 검사 (the paired-preference test)는 평가 절차가 간단하여 널리 사용되고 있었으나, 소비자들이 실제로 선호하는 제품이 없더라도 한 제품을 선택하도록 요구되는 경향이 있다. 이러한 문제점을 해결하기 위해 ‘선호도 없음 (no-preference)’항목을 추가한 삼점 선호도 검사 (the paired-preference test with no-preference option)가 개발되었으나, 이 방법 역시 평가 상황에 기인하여 선호도가 없음에도 선호를 말하는 선호 편견 (preference bias)이 존재한다. 선호 편견이 존재할 경우, 소비자의 선호응답이 두 평가시료에 대해 무작위적으로 증가하기 때문에 각 평가시료를 선호하는 소비자의 정확한 크기 (segment size)를 알기 어렵다. 따라서, 최근 다른 방식으로 이러한 선호 편견을 포함한 외부적 요인 의 영향을 최소화함으로써 진정한 선호도 (true preference)를 측정하기 위해, 반복 일-이점 차이-선호도 검사 (replicated duo-trio difference-preference test)와 세 시료 선호도 검사 (triadic preference test)가 개발되었다. 두 방법 모두 두 개의 같은 시료와 하나의 다른 시료로 이루어진 세 시료 방법 (three-sample test)이므로 세 시료 중 다른 하나를 덜 선호하는 다른 시료 편견 (odd sample bias)이 나타날 수 있다. 반복 일-이점 차이-선호도 검사는 균형-기준시료 디자인 (balanced-reference design)을 사용하여 두 반복 반응을 얻는다. 두 번의 반복에서 소비자의 선호도가 기준시료에 따라 바뀐다면 이를 다른 시료 편견의 영향을 받는 것으로 간주하게 된다. 그리고 이러한 편견을 보이는 소비자를 진정한 선호도가 없는 소비자로 규정하고 이들의 선호응답을 ‘선호도 없음’으로 수정하여 편견의 영향을 최소화한다. 하지만 기존의 연구에서 사용된 시료쌍이 차이가 크고 한 시료에 대한 명확한 선호가 있었던 시료이므로 보다 다양한 특성을 가진 시료쌍에서도 적용이 가능한지 확인이 필요하다. 반면에 세 시료 선호도 검사의 경우 한번의 응답에서 동일쌍에 대해 선호도를 표현하는 소비자들을 선호 편견을 보이는 영향을 받는 것으로 간주, 이러한 소비자들을 배제함으로써 편견의 영향을 최소화한다. 하지만 세 시료 선호도 검사 역시 시료구성의 특성 상 다른 시료 편견이 나타날 수 있다. 만약 다른 시료 편견이 존재 할 경우, 세 시료 선호도 검사는 이러한 영향을 고려하지 않음으로 선호도가 잘못 측정될 수 있다. 즉, 다른 시료 편견의 존재를 확인함으로써 세 시료 선호도 검사 가 선호도를 정확히 측정할 수 있는지를 검증할 수 있다. 따라서, 본 연구에서는 선호도가 없고 차이가 크지 않은 두 시료쌍을 사용하여 다른 시료 편견을 반복 일-이점 차이-선호도 검사와 세 시료 선호도 검사에서 확인하였다. 또한 반복 일-이점 차이-선호도 검사의 최적화를 위한 방안으로써 전통적인 일·이점 검사 (DTF)와 기준시료 중간-일·이점 검사 (DTM)를 비교하여 보다 적용 가능한 방법을 확인하였다. 본 연구에서는 두 버전의 반복 일-이점 차이-선호도 검사와 세 시료 선호도 검사를 두 번씩 반복하는 실험을 다른 오렌지 시료쌍과 다른 128명의 소비자 평가원, 총 256명을 통해 두 실험으로 나누어져 수행되었다. 이 두 오렌지 시료쌍은 차이가 나는 정도가 달랐으며 모두 특정시료에 대한 선호도는 없었다. 평가 결과는 Signal Detection Theory와 Thurstonian model에 근거하여 d’ 지표로 나타냈다. 차이식별 검사 결과는 거리 비교 전략 (COD)에 근거하여 분석하였으며, 선호도 검사 결과는 Thurstonian 2-AC model에 근거하여 분석하였다. 본 연구 결과, 다른 시료 편견이 반복 일-이점 차이-선호도 검사와 세 시료 선호도 검사 모두에서 나타남을 확인하였다. 반복 일-이점 차이-선호도 검사는 이러한 편견을 편견의 영향을 받는 소비자 검사원들을 확인하고 그 영향을 최소화하는 반면에 세 시료 선호도 검사는 이를 고려하지 않기 때문에, 이러한 다른 시료 편견의 확인은 반복 일-이점 차이-선호도 검사가 세 시료 선호도 검사 보다 정확하게 선호도를 측정할 수 있음을 확인하였다. 또한, 본 연구 결과에서 검사원 내에서 반복평가를 통해 모든 시료가 기준시료로써 균형적으로 제시함으로써 순서 효과를 상쇄할 수 있음을 확인하였다. 하지만, 이러한 반복평가만으로는 여전히 편견의 영향을 받은 선호 응답 이 존재함으로 각 시료를 선호하는 소비자 검사원의 크기를 정확하게 측정하는데 어려움이 있다. 즉, 다른 시료 편견을 고려한 반복 평가를 이용하여 선호도 없음 빈도를 수정하는 데이터 처리가 선호도를 안정적으로 측정하는데 유효하다는 것을 확인하였으며 이를 통해 삼점선호도 검사의 대안책으로서의 가능성을 확인하였다.;The paired-preference test which is the most commonly used method for measuring preference is prone to various types of psychological biases so that recently no-preference option has been adopted to improve the accuracy. Yet, the paired-preference test with a no-preference option was found to be affected by the ‘preference bias’ - i.e., consumers’ responses are tilted towards a preference over a no preference. Two different types of preference tests using triadic design (having two identical samples and a different sample) have been developed to get around the preference bias: replicated duo-trio difference-preference (DT-Preference) test and triadic preference test. These two preference tests were designed to minimize the potential preference responses caused not from the true preference but from the methodological extraneous factors including the preference bias in different ways. For DT-Preference test, two responses were collected from each consumer for each test having a different reference sample and these responses were converted to no-preference responses if they were shifted according to the reference sample, assuming ‘odd sample bias’- i.e., consumers' tilted preference against one most different from the other two. Such deliberate processing of selected responses would entail a different type of extraneous factors if their assumptions are not valid. On the contrary, for triadic preference tests, one response was collected from each consumer and this response was screened out if it reported a preference to the identical pair, assuming that there is no odd sample bias and no other extraneous factors in relation to this triadic design. Thus, the objective of the present study was to investigate the odd sample bias in DT-Preference test and triadic preference test. Second objective was to investigate more applicable duo-trio protocols for the DT-Preference test method between DTF and DTM. Two experiments which contained the identical test methods were conducted by each 128 subjects and different test stimuli. Results showed that odd sample bias was confirmed both in two preference tests, indicating that measuring preference by using only one trial of preference test could be problematic. Especially for the DT-Preference test methods, the odd sample bias could play a role for identifying the non-meaningful preference responses. In other words, the biased responses which shifted depending on the stimulus selected same as reference were successfully identified as non-meaningful preference responses and converted to no preference responses by counterbalancing the reference presented for the two DT-preference tests per subject. Through this type of data-processing, the estimation of the size of the consumer segment that prefers each product could be improved. Therefore, the applicability of this data processing of correcting the frequency of the no preference responses for using repeated preference tests was extended to the various stimuli, broadening DT-Preference test’ potential as alternatives to the paired-preference test with a no-preference option.