Investigation of an optimal experimental design for applying A-Not A with reminder (A-Not AR) test to improve evaluative stability and discrimination sensitivity

Abstract

The A-Not A with reminder (A-Not AR) test is an efficient method to measure overall sensory difference of multiple products from a reference. In practice, for applying the A-Not AR test using sensory panels reliably in industry, the panels’ capability to provide a consistent response distribution for the reference over the repeated sessions is critical. Only when panels are familiar enough with the overall sensory perception of the reference and have stable evaluative criterion that are not affected by the experimental conditions, the data from different studies could be efficiently accumulated. To optimize the A-Not AR test design, effects of two experimental factors – familiarization procedure and reference presentation probability, on subjects’ responses to the reference and test samples were investigated. Condition 1 used specified tetrad tests and condition 2 used 2-AFCR tests as familiarization with feedback. Conditions 1&2 used 0.5 for reference presentation probability. Condition 3 (control) used tasting only reference twice as familiarization procedure and 0.25 for reference presentation probability. Three groups of subjects (each N=40) with equal sensitivity were formed and assigned to one of the three experimental conditions in 2-day experiments. Each day subjects evaluated 2 sessions having different test samples. Three conditions were compared in terms of evaluation stability and discrimination sensitivity. The stability of subjects’ responses to the reference sample and evaluation of test samples were compared between these 2 sessions within each group using the d'Rec and d' analysis. Also, discriminability between the three conditions were compared utilizing the d' analysis. Results indicated that the reference recognition was less stable in condition 1, while evaluation of test samples was stable in all three conditions. Comparing the conditions, it was found that the identification of test samples and sample discriminations were superior in conditions 1 & 2 compared to condition 3 (control). Moreover, through the 2-AFCR test as a familiarization procedure, subjects’ performance increased over the two experimental days, confirming learning effects. However, specified tetrad test was an efficient method as familiarization for rapidly discriminating test samples from the reference in the A-Not AR test without repetition. Overall, when using the A-Not AR test as measuring overall sensory difference between multiple products and the reference product, 2-AFCR test was an appropriate method for stabilizing the evaluative criterion and increasing the discrimination sensitivity when sufficient time is provided. While specified tetrad test was found as a suitable method to obtain superior performance when conducting one day experiment.;리마인더 A-부 A 검사는 기준 제품으로부터 다양한 제품의 전체적인 감각 차이를 측정하는데 효율적인 방법이다. 산업체에서 실제로 리마인더 A-부 A 검사를 적용하기 위해서는 반복되는 세션에 걸쳐 기준 제품에 대하여 일관된 응답 분포를 제공할 수 있는 패널의 능력이 매우 중요하다. 패널이 기준 제품에 대한 전체적인 감각 지각에 대하여 충분히 친숙하고 실험 조건에 의해 영향 받지 않는 안정적인 평가 기준을 갖고있는 경우에만 다른 연구로부터 얻은 데이터를 효율적으로 축적할 수 있다. 리마인더 A-부 A 검사를 최적화하기 위한 방안으로 두가지 실험적인 요인인 친숙화 절차와 기준 제품 제시 확률을 설계하여 평가 결과를 대조군과 비교하였다. 조건 1에서는 특정 감각 사점 비교 검사가 조건 2에서는 리마인더 이점 비교검사가 친숙화 절차로써 피드백과 함께 사용되었다. 조건 1과 2 모두 기준 제품 제시 확률로써 0.5가 사용되었다. 조건 3 (대조군)은 친숙화 절차로써 기준 제품을 두 번 맛보는 과정을 거쳤고, 기준 제품 제시 확률로써 0.25가 사용되었다. 동일한 예민도를 보이는 세 그룹 (N=40)이 형성되었고, 3개의 실험 조건 중 하나에 배정되어 2일에 걸쳐 평가에 참여했다. 하루에 2개의 세션을 평가했고 세션마다 다른 평가 시료로 구성되었다. 3개의 실험 조건은 평가의 안정성과 차이식별 예민도 측면에서 비교되었다. 평가자의 기준 시료에 대한 응답의 안정성과 평가 시료에 대한 평가가 각각의 그룹 내에서 2개의 세션 간에 d'Rec 분석과 d' 분석을 통하여 비교되었다. 또한, 세개의 조건 사이의 차이식별력은 d' 분석을 통하여 비교되었다. 평가 결과, 조건 1에서 기준 시료에 대한 인식이 불안정했던 반면 평가 시료에 대한 평가는 모든 조건에서 안정적이었다. 조건 간의 비교를 통해 평가 시료에 대한 식별과 차이식별 예민도 모두 조건 3에 비해 조건 1과 2에서 우수했다. 더 나아가, 리마인더 이점비교 검사를 친숙화 절차로서 활용했을 때, 평가자의 수행력이 반복 평가에 따라 향상되었고 학습 효과 (learning effect)를 확인하였다. 그러나, 특정 감각 사점 비교 검사는 평가의 반복 없이도 높은 평가 수행력을 보였다는 점에서 효율적인 평가법으로 검증되었다. 종합적으로, 리마인더 A-부 A 검사를 활용하여 다양한 평가 시료와 기준 시료 간의 종합적인 감각 차이를 측정하고자 할 때, 리마인더 이점비교 검사가 평가 기준을 안정화 시키고 반복 평가에 따라 차이식별 예민도를 향상시킬 수 있다는 점에서 평가 시간이 충분할 때 적합한 평가법임을 확인하였다. 반면 특정 감각 사점 비교 검사는 평가 시간이 제한된 경우에 적합한 평가법임을 확인하였다.