Comparative identification methods for more accurate difference test operation using trained sensory panels

Abstract

In the food industry, unspecified (overall) sensory difference tests are commonly used with internal sensory panels to compare multiple types of stimuli against a golden reference for the purpose of the sensory evaluation I. In order to measure sensory differences accurately and reliably, it is important to investigate the efficiency of unspecified sensory difference test methods not only in terms of theoretical power, but also in terms of operational power in practice. One of the unspecified difference test methods, the duo-trio method using constant-reference, is procedurally equivalent to the 2-AFC with reminder (2-AFCR) for which various types of 2-AFC strategies can be used. The 2-AFC strategy used in the presentation of two stimuli has been considered the most efficient. Yet, its feasibility and efficiency has not been tested for discrimination of multiple stimuli from a reference. In the present study, a comparative identification method using the 2-AFC strategy was theorized based on the format of the constant-reference duo-trio preceded by a standardized familiarization procedure, which may be useful for the purpose of sensory evaluation I in the food industry. The objectives of this study were 1) to validate the adoption of the 2-AFC decision strategy in such comparative identification methods, and 2) to compare the efficiency and power of these comparative identification methods with the unspecified tetrad and balanced-reference duo-trio methods. 3) to study the stability of the cognitive strategy over repeated sessions and to determine the number of sessions needed to perform the identification methods in a more robust way. In order to investigate these goals, two experiments were designed. In experiment 1, using two sensory panels to discriminate two different iced tea stimuli from a reference, it was confirmed that a 2-AFC strategy can be adopted in comparative identification methods without specifying sensory attributes. Also, the comparative identification methods showed comparable operational test power with the unspecified tetrad method, when equal numbers of tastings were performed. In particular, the method using a constant-reference duo-trio with the reference at the first position (DTF/2-AFCR) was found to be more reliable across repeated sessions than other unspecified methods investigated in this study. In experiment 2, using two sensory panels to discriminate a pair of iced tea stimuli, the specified tetrad and constant-ref. DTF/2-AFCR methods were performed. The results showed that there is no significant learning effect through repeated sessions for both sensory panel A and B. It could be attributed to the sensory panel of experiment 2 were already familiar with the specified tetrad method and constant-ref. DTF/2-AFCR methods. ;식품산업에서 종합적인 감각 차이 식별 검사는 식품 원료를 교체하거나 생산공정에 변화를 주어 최적화된 식품 생산을 위해 사용된다. 그 밖에도 원가절감, 품질관리, 제품개발 및 제품 품질 차별화 등의 다양한 비즈니스 목적을 위해 정책적으로 중요하게 활용할 수 있는 연구자료로 가치가 있다. 특히 식품회사에서는 자사의 golden standard 제품을 기준시료로 설정하여 여러 가지 종류의 제품과 비교하는데 전문패널을 많이 사용한다. 기계와 같이 훈련된 전문패널들을 활용한 분석적인 감각 평가 (analytical sensory evaluation)는 sensory evaluation I 으로 분류되며 식품사이의 감각적 차이 또는 유사성의 정도를 측정하는데 사용된다. 이 경우에는 차이 식별 검사방법뿐 만 아니라 검사원, 즉 패널 또한 분석적인 기구로 사용된다. 그러므로 검사원의 적절한 훈련방법의 개발은 검사원을 효과적이고 정확한 기구로 사용하기 위해서 중요하다. 현재 가장 발전된 측정 방법 모델은 Signal detection theory (SDT)로 식품의 감각을 이항통계 (binomial statistics)에서 사용하는 결정론적 모델 (deterministic model)이 아니라 확률분포 (probabilistic distribution)로 해석하여 통계적인 가능성에 기초해서 감각 차이의 크기를 측정한다. 비교되는 두 식품의 감각이 두 개의 개별적인 정규분표로 이해되고 평가자가 사용하는 인지적 결정 전략 (cognitive decision strategy)을 고려하여 이 두 식품간의 진정한 감각차이를 표준화된 단위인 d-prime (d')을 사용하여 정량적으로 계산한다. 인지적 결정 전략은 검사원이 제품으로부터 감지되는 감각들을 판단하고 결정 할 때 적용되는 규칙이다. 같은 제품을 평가하더라도 사용되는 인지적 결정 전략에 따라 다른 응답을 유도할 수 있으며 결국 다른 수행력 (performance)을 보인다. 그러므로 해당하는 차이 식별 검사 방법에 알맞은 효율적인 인지적 결정 전략을 사용하게 전문패널을 훈련시키는 것은 중요하다. 또한, 식품회사에서 사용하는 식품 시료는 특성상 둔화 효과 (adaptation), 이월 현상 (carry-over effect) 이 생기기 때문에 평가 수와 시료 수가 제한되어있다. 따라서 식품 회사에서는 한가지 기준 제품과 다양한 평가 제품의 차이를 종합적인 감각 차이 식별 검사를 통해 비교할 때, 전문 패널에 의해 수행되는 sensory evaluation I 의 효율성을 높이기 위해 효과적인 검사 방법뿐 만 아니라 전문패널의 효과적이고 정확한 사용에 대한 연구가 필요하다. 따라서 본 연구의 목적은 다음과 같이 크게 세 가지이다. 1)훈련된 전문 패널이 기준시료와 다양한 종류의 평가시료를 비교할 때 이점이 있다고 밝혀진 두 가지 일·이점검사(duo-trio test)인 고정기준시료 일·이점검사(DTF with constant-reference)와 두 기준시료 중간 일·이점검사 (DTFM with constant-reference) 를 수행 시에 효과적인 인지적 결정 전략인 2-AFC strategy를 사용할 수 있는지를 조사하였다. 2) 2-AFC strategy를 사용하는 DTF with constant-reference 와 DTFM with constant-reference를 두 가지 시료 사이의 차이 자체를 식별하여 비교하는 ‘comparative identification methods’로 명명하고 최근 수행력이 높다고 연구 된 사점 한 벌 검사 (unspecified tetrad) 와 균형시료 일·이점검사 (DTF with balanced-reference) 와 효율성 및 수행력을 비교하였다. 3) comparative identification methods 중 하나인 constant-ref. DTF/2-AFCR을 이용하여 반복된 세션에서 learning effects를 확인하여 operational efficiency 를 조사하였다. 본 연구에서는 두 가지 실험 (실험 1, 실험 2) 이 진행되었다. 실험 1 에서는 위 목적 1) 2) 를 평가하기 위해 네덜란드 유니레버의 전문패널 23명(연령:41-65세)이 다른 농도의 설탕과 구연산이 첨가된 3가지 레몬맛 아이스티를 이용한 실험에 4일 동안 참여하였다. 실험은 Pre-test, Main-test1, Main-test2, Post-test로 진행되었다. 종합적인 차이 식별 검사 방법 중 unspecified tetrad test와 DTF with balanced-reference 방법은 대조군으로써 pre-test와 post-test에 평가되었다. 표준화된 친숙화 방법을 먼저 수행한 후 평가한 DTF with constant-reference와 DTFM with constant-reference은 비교군으로써 Main-test1, Main-test2에 평가되었다. 각 검사방법의 예민도 및 수행력은 d' 을 이용해 비교되었다. 모든 d'은 R-package sensR을 사용하여 분석되었으며 대조군에 사용된 DTF with balanced-reference는 다양한 인지 결정 전략 중 일반적으로 가정되고 있는 ‘comparison of distance’ (COD) strategy 가 사용되었고 나머지 비교군은 2-AFC strategy가 사용되었다. 본 연구 결과, comparative identification method로 사용된 DTF with constant-reference 와 DTFM with constant-reference는 표준화된 친숙화 방법을 통해 효율적인 인지적 결정 전략인 2-AFC strategy를 사용 할 수 있다고 밝혀졌다. 또한 operational power를 비교하기 위해 시료의 섭취 수를 동일하게 하였을 때, comparative identification methods는 unspecified tetrad test와 비교했을 때 수행력이 높았다. 또한 본 연구에 사용된 comparative identification method 중에서는 DTF with constant-reference가 DTFM with constant-reference 보다 안정된 수행력을 나타냈다. 따라서 DTF with constant-reference 방법이 최근 수행력이 높다고 밝혀진 unspecified tetrad 방법을 대체 할 수 있다고 제안하였다. 실험 2에서는 위 목적 3)을 평가하기 위해 유니레버 전문패널 27명(연령: 41-65세)이 실험 1 에서 사용되었던 기준시료와 평가시료 1가지, 총 2가지 레몬맛 아이스티를 이용하여 specified tetrad 와 DTF with constant-reference 방법을 반복된 세션 동안 진행하였다. 평가한 두 그룹 모두 learning effect는 발생하지 않았고, 이미 실험 1을 통해 시료와 방법에 익숙해졌을 가능성이 있으므로 충분한 훈련과정이 있으면 첫 번째 세션만을 통해서도 높은 수행력을 나타낼 수 있음을 확인하였다.