Improving and monitoring signal detection A-Not A sensory discrimination test using a two-step rating

Abstract

Sensory discrimination analysis based on signal detection theory (SDT) is dealing with measurements of small sensory differences between samples required for various business objectives including quality control, reformulation, cost reduction, and product development. Variants of the A-Not A test designs have been used for SDT analysis using sensory panels to measure sensory differences between a reference and multiple test products, as they are economic and sensitive for such multiple product comparisons. Yet, test protocols of conducting the A-Not A ratings have effects on the test performance and thus data quality. In the present study, the effects of modification on the test protocols on subjects’ discrimination performance (d′ ) with the various types of SDT A-Not A with a two-step rating were explored. Experiment I examined the effects of modifications on familiarization procedure (FP) and reference presentation probability (RPP) with the SDT A-Not A with a two-step rating. Three different protocols were compared in experiment I: Control —0.25 RPP with repeated reference tasting (FPR); Modified 1 — 0.25 RPP with reference categorization (FPC); Modified 2 — 0.5 RPP with reference categorization (FPC). For each protocol, the subjects were divided into two sub-groups with a loose c (c0<0) versus a strict c (c0>0) according to the results obtained from the pre-test. Experiment II examined the effects of equal reference presentation probability with and without informing about it for using SDT A-Not A and A-Not A with a two-step rating. Three different protocols were compared in experiment II: Control protocol – 0.25 RPP without informing; Modified 1 protocol – 0.5 RPP without informing; Modified 2 protocol – 0.5 RPP with informing RPP. To demonstrate the functions of the novel measure, sensory recognition d′ (d′ Rec), accordingly, along with the results of discrimination d′, the criteria location (c) and the sensory recognition d′ (d′ Rec) were analyzed to monitor subjects’ performance changes over repeated tests. Overall results of experiment I and II showed that the test protocol employing the higher reference presentation probability (0.5 RPP) without informing about it, significantly improved discrimination performance (d′ ) for A-Not A ratings, regardless of familiarization procedures. Effects of the test protocol employing the higher reference presentation probability (0.5 RPP) were reduced for A-Not AR ratings compare to A-Not A ratings, indicating the effects of the reminder in the A-Not AR design. Examining d′Rec estimates of both reference and test samples, together with the analysis of the middle criterion location (c0), provided more information of discrimination data structure, revealing the effects of test protocol with the different FP, RPP and instruction informing about RPP. These findings show that SDT analyses could be a useful tool for monitoring and optimizing the test performance of sensory discrimination tests using sensory panels. More research is needed to develop the optimal strategy to manage the sensory program based on these SDT analyses.;신호 탐지 이론 (SDT) 기반 감각 차이 분석은 식품 산업에서 품질 관리, 제품 개발, 원가 절감 등 다양한 사업 목적을 달성하기 위해 필요한 제품 간의 작은 감각 차이의 측정을 다룬다. 다양한 형태의 SDT A-Not A 평가 방법은 기준 제품으로부터 다수의 평가 제품들의 감각적 차이를 민감하게 비교할 수 있으며 경제적이다. A-Not A 평가 프로토콜은 패널의 평가 수행 능력에 영향을 미치기 때문에 데이터 품질에도 영향을 미친다. 따라서 본 연구에서는 다양한 SDT ANot A with a two-step rating에서 평가 프로토콜의 조정이 패널의 차이 식별력 (d ′)에 미치는 영향을 탐구했다. 실험 I에서는 SDT A-Not A with a two-step rating에서 친숙화 과정(FP)과 기준 시료 제시 비율(RPP)을 조정했을 때의 효과를 탐구했다. 실험 I에서는 다음의 세 가지 프로토콜이 비교되었다: Control- 시료를 반복해서 맛보는 친숙화 과정(FPR)과 0.25 RPP; Modified 1- 기준 시료를 분류하는 친숙화 과정(FPC)과 0.25 RPP; Modified 2- 기준 시료를 분류하는 친숙화 과정(FPC)과 0.5 RPP. 예비 실험에서 패널의 middle criterion location을 바탕으로 느슨한 평가 기준(c0<0)과 엄격한 평가 기준(c0>0)을 가지 두 개의 하위그룹으로 프로토콜 내에서 나뉘었다. 실험 II에서는 SDT A-Not A ratings와 리마인더 A-Not A ratings에서 동일한 기준 시료 제시 비율을 제공할 때 그에 관한 정보 제공 유무의 효과를 탐구했다. 실험 II에서는 다음의 세 가지 프로토콜이 비교되었다: Control – RPP 정보를 제공하지 않으며 0.25 RPP; Modified 1 – RPP 정보를 제공하지 않으며 0.5 RPP; Modified 2 – RPP 정보를 제공하며 0.5 RPP. 새로운 SDT 지표의 기능을 입증하기 위해서 차이 식별력 d ′, criteria location (c), 그리고 recognition d′(d′Rec)을 분석하여 반복을 통한 패널들의 평가 수행 능력을 모니터링하였다. 두 실험의 종합적인 결과, 더 높은 기준 시료 제시 비율 (0.5RPP)로 기준 시료 제시 비율에 대한 정보 없이 제공했을 때 A-Not A ratings에 서 유의적으로 차이 식별력이 향상되었다. A-Not A ratings와 비교했을 때 A-Not AR ratings는 기준 시료 제시 비율에 따른 테스트 효과가 감소했기 때문에 ANot AR rating에서 리마인더의 효과를 입증할 수 있었다. 기준 시료 및 테스트 시료에 대한 d′Rec 을 c0 분석과 함께 분석하여 차이 식별 데이터 구조에 대한 더 많은 정보를 제공했으며, 다양한 FP, RPP를 활용한 평가 프로토콜의 효과를 밝혔다. 이러한 연구 결과는 SDT 분석이 감각 패널을 활용하여 차이 식별 검사의 성능을 모니터링하고 최적화하는데 유용한 도구가 될 수 있음을 보여준다. SDT 분석을 기반으로 감각 프로그램을 관리하는 최적의 전략을 개발하기 위해 더 많은 후속 연구가 필요하다.