A-Not A sensory discrimination method using signal detection theory

Abstract

An A-Not A sensory difference test based on Signal Detection Theory (SDT), is the most basic form of discrimination method. It is efficient to measure the overall sensory difference of two or more products from a reference so that the A-Not A test with rating is commonly used in food industry. SDT analysis can be also applied to other rating method such as 2-AFC, 2-AFC with reminder (2-AFCR), A-Not A with reminder (A-Not AR). In order to use these difference tests as absolute measurement, each test has to be standardized with its’ SDT model, but for establishing test standardization it is need to understand panels’ decision process first during performance. The aim of this study is to investigate experimental conditions for standardization of difference tests such a rating method including the A-Not A test, in order to be used as an absolute measurement in SDT, and develop a diagnostic measure to examine panels’ decision process and to check data quality. The diagnostic measures developed in the study, were applied to data example with repeated session, and proved that they can monitor panels’ performance. In addition, they were used to examine relative efficiency of panels’ performance and decision process used in tests. In the current study, based on new SDT analysis, the diagnostics measures were calculated by using rating of only one product. It is different from a measure of degree of difference, d′, calculated by using rating pair of two products. The meta-cognitive d′ was defined as the degree of panels’ awareness for their own performance under meta-cognitive theory. On the other hand, the recognition d′ was defined as the degree of recognition memory for each sample under recognition memory assuming mirror effect. Each of them was denoted as d′_(MC) and d′Rec. Also, SDT bias measure, criterion location (c) and likelihood ration (β) at criterion were calculated. The focus of the first study was to test applicability of diagnostic measures using two different examples. From the first example, the value of c was calculated by SDT analysis, the d′_(MC) and the d′_(Rec) were applied to only the reference product, so that the performances of the A-Not A, 2-AFC, 2-AFCR were explored in terms of changes in awareness of performance and the familiarity to the reference over repeated sessions. It was confirmed that both d′_(MC) and d′_(Rec) values of the reference were increased as panels’ performances were increased in all test protocols, although d′Rec was better in predicting the discrimination performance between the reference and the test sample in larger sensory difference than d′_(MC). Also, it was confirmed that the c was not located at the optimal position in the A-Not A test. The second example compared the performance of the A-Not A test and the A-Not AR in order to investigate the function of a reminder in terms of d′_(MC) and d′_(Rec) for both the reference and test products. From the results, it was confirmed that providing the reminder in the A-Not A test enhanced not only panels’ recognition degree of the reference, but also capability to categorize test products, leading to well discrimination performance. The reference was better recognized from the familiarization with all products, even without the reminder, whereas when including many test products the reminder had effects on recognizing the reference. From the first study, the standard values that can be used to determine if panels are familiar enough to the reference, were suggested as 0 of the d′_(MC) and 1 of the d′_(Rec). Due to the dependence of the criterion location that is used to determine the first binary response whether it is reference or not, the d′_(MC) was considered to be not very practical for the experiments where the reference was discriminated from multiple test samples. Therefore, the d′_(Rec) was used as a diagnostic measure in the second study. The focus of the second study was to compare panels’ performances among protocols that varied in familiarization procedure and reference presentation probability in terms of c, β, and d′_(Rec). From the results of c and β, it was confirm that panels used same criteria for response in all protocols, but by comparing between pooled c and average c, each panelists used a wide range of criteria. Through the d′_(Rec) of each sample, it was confirmed that different decision processes were used depending on the protocol, Thus the performance was significantly increased in the protocol 3 (p<0.05), where optimal decision rule was congruent with reference presentation probability. It indicates that relative performance efficiency among protocols can be explained by decision process through diagnostic measures such as c, β and d′_(Rec). In conclusion, the diagnostic measures developed in this study can be used as monitoring tools for an effective difference test design. The d′_(MC) can be applied to discrimination tests for small difference using fixed design, whereas the d′_(Rec) can be better applied to discrimination tests using a fixed reference with multiple test samples Different experimental designs can be suggested, for example with enough familiarity to the reference, the A-Not A test is suggested, while, when panels are not enough familiar to or have unstable memory of the reference, familiarization with all products or reminder task such as the A-Not AR, is used. Further researches are recommended to design with meta-cognitive certainty for diagnostic measures, and more example cases with specific test instructions for panel monitoring tests should be examined for general applicability to business situations.;A-Not A sensory difference test는 Signal Detection Theory (SDT)를 활용하여 감각차이를 지표화할 수 있는 가장 기본형태의 차이식별 검사 방법으로, 기준시료와 하나 또는 여러 개의 제품들간의 종합적인 감각 차이를 효율적으로 측정할 수 있어서 산업체에서 A-Not A with rating 의 방법으로 널리 사용되고 있다. SDT 분석은 A-Not A test 뿐 아니라 rating 방법을 활용한 2-AFC, 2-AFC with reminder (2-AFCR), A-Not A with reminder (A-Not AR) 에도 적용이 가능하다. 이러한 차이식별 검사방법들을 보다 절대적인 측정도구로서 활용하기 위해서는 각 평가 방법이 해당 SDT 모델에 적합하게 표준화되어 사용되어야 하며, 이러한 평가 방법의 표준화를 확립하기 위해서는 평가 시 평가원의 인지적인 결정과정에 대한 이해가 필요하다. 본 연구의 목적은 A-Not A test를 비롯한 rating을 활용하는 여러 가지 차이검사 방법들을 SDT 원칙에 맞게 절대적인 측정도구로서 활용할 수 있는 평가 방법으로 표준화하기 위한 조건들을 확인하고, SDT 지표의 quality와 평가 방법에 사용된 인지 과정을 진단할 수 있는 지표를 개발하는 것이다. 반복 평가를 포함한 차이검사 결과에 적용하여, 개발된 평가 진단 지표들이 평가원들의 평가 수행력을 모니터 할 수 있는 지 검증하였다. 또한 개발된 평가 진단 지표들을 활용하여 여러 가지 다른 형태의 평가 방법들에서 사용되는 인지과정의 차이와 상대적인 평가 수행력의 효율성을 분석해보고자 하였다. 본 연구에서는 두 시료에 대한 rating 응답패턴을 비교하여 제품간의 감각 차이를 나타내는 기존 d′분석 방법이 아닌, 하나의 시료, 특히 기준시료에 대한 rating을 활용하여 d′을 계산하는 SDT에 근거한 새로운 분석방법을 적용하여 패널 수행력을 모니터 할 수 있는 진단 지표를 개발하였다. Meta-cognitive 이론을 적용여 차이식별 평가에서의 자기 수행에 대한 관찰력 정도를 meta-cognition d′으로 정의 하고 이를 d′_(MC) 로 나타내었다. 인지기억 이론과 mirror effect에 근거하여 개별 시료에 대한 친숙화 정도를 recognition d′으로 정의하고 이를 d′_(Rec) 로 나타내었다. 또한 패널들의 인지과정을 연구할 수 있는 지표로서, SDT bias 지표인, criterion location (c) 과, criterion 에서의 응답확률을 비율로 나타낸 likelihood ratio (β) 를 활용하였다. 첫 번째 연구는 패널 수행력을 모니터 하기 위해 개발된 지표들을 두 가지 다른 예제에 적용하여 진단 지표로서의 활용성을 평가해보고자 하였다. 예제1에서는 SDT분석을 통해 c 를 산출하고, d′_(MC) 와 d′_(Rec) 를 기준시료에만 적용하여 반복평가 시 기준시료에 대한 수행관찰력과 친숙도 변화를 통해 A-Not A와 2-AFC, 2-AFCR의 차이식별 평가 수행력을 분석하였다. 기준시료에 대한 d′_(MC) 와 d′_(Rec) 분석 결과, 모든 평가방법에서 평가 세션이 반복되면서 차이식별 평가 수행력과 함께 d′_(MC) 와 d′_(Rec) 값도 증가됨을 확인하였다. d′_(Rec) 가 d′_(MC) 보다 더 넓은 범위의 차이식별 수행에서 패널 수행력 예측이 가능했다. 또한, c 값을 통해 A-Not A test 수행 시, 실험 디자인에 부절적한 평가기준이 사용되었음을 확인하였다. 예제 2에서는 A-Not A 와 A-Not AR 평가를 비교하고 기준시료뿐 아니라 각 테스트시료의 d′_(MC) 와 d′_(Rec) 를 분석하여, reminder가 차이식별 평가에 미치는 영향을 알아보았다. 기준시료와 테스트시료에 적용된 두 진단 지표 결과로부터 reminder가 A-Not AR에서 기준시료의 인지뿐 아니라 테스트시료의 구별 능력도 증가시켜 차이식별 평가 수행력에 긍정적인 영향을 미치는 것을 확인하였다. 또한, reminder가 없더라도 기준시료 이외에 테스트시료까지 모두 포함하여 친숙화 과정을 수행한 경우, 기준시료가 잘 인식되었다. 많은 테스트시료를 포함한 차이식별 검사의 경우에는 reminder가 기준시료를 인지시키는데 매우 효과적인 것을 확인하였다. 첫 번째 연구 결과, 기준시료에 대한 충분한 친숙도를 나타내는 기준치가 각각 d′_(MC) 는 0, d′_(Rec) 는 1로 제시되었다. 그러나, d′_(MC) 는 기준시료에 대한 차이식별 응답인 첫 번째 binary 응답을 결정하는 criterion 위치에 영향을 받기 때문에, 이 지표는 여러 개의 테스트 제품을 사용하여 평가기준이 올바르게 세워지지 않을 경우에는 실용적으로 사용될 수 없을 것으로 사료된다. 따라서 두 번째 연구에서는 d′_(Rec( 를 차이식별 평가 진단 지표로 활용하였다. 두 번째 연구는 A-Not A test에서 친숙화 종류와 기준시료 제시 비율을 달리한 세 가지 다른 protocol의 평가 수행력을 c, β, d′_(Rec) 값을 통해 분석하고자 하였다. c와 β 값을 측정해본 결과, 이전에 수행한 친숙화 종류와 상관없이 평가 시 모든 protocol의 패널 그룹 평가기준은 동일하였다 (c=0). 그러나, 그룹 c와 개별 평균 c의 비교를 통해, 그룹 내 패널들의 개별 평가기준은 달랐음을 확인하였다. d′_(Rec) 값을 이용한 개별 시료에 대한 친숙도의 비교를 통해, protocol별로 다른 인지과정이 사용되었음을 확인하고 하였고, 평가 방법 및 조건에 적절한 인지과정을 사용한 protocol 3에서 평가 수행력이 유의적으로 상승하였다(p<0.05). 이는 평가 상황에 따라 상대적인 차이식별 평가 수행 효율성이 c, β, d′_(Rec) 값과 같은 진단 지표들을 통한 인지과정 분석으로 설명될 수 있음을 의미한다. 본 연구에서 개발된 진단 지표들은 차이식별 검사에서 패널들의 평가 수행력을 모니터 할 수 있으며, 그들의 기준시료에 대한 친숙도 및 수행진단 지표로 사용될 수 있다. d′MC 는 fixed 디자인을 사용한 작은 차이를 비교하는 차이식별검사에 적용될 수 있으며, 반면 d′_(Rec) 는 일관된 기준제품을 사용하여 여러 개의 테스트 제품을 비교하는 실험 디자인에 적용될 수 있다. 기준시료에 대해 친숙화가 충분히 이루어진 상황에서는 A-Not A test가 효율적으로 사용될 수 있고, 반대로, 불완전한 친숙화 과정으로 인하여 평가기준이 안정되지 못하거나, 기준시료에 대한 기억이 불완전한 상황에서는 테스트시료를 포함한 친숙화 과정이나 A-Not AR과 같은 reminder task를 활용할 수 있다. 또한, 본 연구에서 개발된 진단 지표가 실제 비즈니스 상황에서도 폭넓게 활용되기 위해서는 각각의 진단 지표, d′_(MC) 와 d′_(Rec) 에 보다 적절한 instruction과 세부적인 평가방법이 갖추어진 예제를 통하여 진단 지표로서의 활용 가능성을 확인하는 추가적인 연구가 필요하다고 사료된다.