Development of two‒step rating‒based ‘double‒faced applicability’ test methodology for measuring consumers’ product usage experience

Abstract

In the fast moving consumer goods (FMCG) industry including food and non-food products, measuring consumer’s perceptual product usage experience is crucial for various business objectives including product development and marketing. Consumer’s product usage experience consisted of many different usage stages and relative importance of product attributes could be depended on the usage stages. Thus, for accurate and efficient business decision making, it is necessary to develop a consumer test methodology that can quantitatively measure consumer-relevant product attributes specific to usage stages. The theme of my Ph. D. research project was to develop a novel consumer test method and novel quantitative output measure for measuring and quantifying of the consumers’ usage experience of the food and non-food products in the context of signal detection theory (SDT). As a first step of the Ph. D. research project, a study was conducted to develop a new method for establishing a lexicon for consumer-relevant attributes specific to each stage of the product usage experience in Chapter II. Accordingly, in this chapter, 29 consumer-relevant product attributes across different product usage stages for household surface cleaner products were successfully generated to be used for the novel test method. In Chapter III, a novel two-step rating-based ‘double-faced applicability’ test was developed to measure consumers’ product usage experience throughout the various product usage stages. In the ‘double-faced applicability’ test, a pair of descriptors representing both sides of each consumer-relevant product attribute were separately presented in the questionnaires. For performing the ‘two-step’ rating on each attribute in the questionnaire, subjects were instructed to respond using the forced-choice Yes/No questions followed by 3-point sureness rating. The performance of the novel test method was compared to a simple one-step applicability rating test method. It was confirmed that the two-step rating-based ‘double-faced applicability’ test provided better product discrimination than one-step rating by stabilizing subjects’ evaluative criteria and lowering response bias and variability in scale use. In order to provide a new way for generating affective product usage experience profiles, a novel quantitative output measure that can be computed from the data using the two-step rating-based ‘double-faced applicability’ test was introduced in Chapter IV. The novel measure was a nonparametric estimate of affect magnitude, named as d-prime affect magnitude (d'A), which was computed under the consideration of the response ratio of positivity to negativity as the ratio of signal to noise in the context of SDT. It was found that this new measure d'A can be used to reflect meaningfully the consumers’ affective product usage experience for each household surface cleaner product independently (and how this affect valence changed through a usage process), yet can still be used to compare between products. In Chapter V, the potential of the novel test method and novel quantitative output measure were further investigated as an alternative to the conventional sensory descriptive analysis. Two sensory profiling methods – two-step rating-based ‘double-faced applicability’ test with untrained sensory panel and descriptive analysis with trained sensory panel – were compared in terms of sensory characterization and product discrimination of twelve commercial spread products. The results showed that the novel test method provided comparable results to descriptive analysis without additional training. Besides, it was also proved that the d'A estimates provided valuable information about the applicability magnitude for each attribute for individual sample as a meaningful applicability diagnosis. Lastly, in Chapter VI, a new acceptance test method for measuring the consumers’ satisfaction of the holistic product usage experience of the household surface cleaner products and a novel measure of consumer satisfaction were developed by extension of the ‘double-faced applicability’ test and d'A measure. The influence of the inclusion of ‘double-faced applicability’ test in the satisfaction test and 10-point hedonic scale was investigated in terms of sensitivity in product discrimination. The results indicated that the satisfaction test combining with the ‘double-faced applicability’ test showed higher performance in product discrimination than the other methods by providing a list of attributes relevant to the consumers’ holistic product usage experience as a cue for recalling and stabilizing consumers’ own evaluative criteria.;제품을 구성하는 여러 가지 특성 중에서도 감각 특성 및 이에 의해 유발되는 개념적 특성은 제품 효용을 소비자에게 전달하는 역할을 할 뿐 아니라, 제품의 전반적인 품질을 결정짓는 중요한 요소이다. 특히, 소비자들은 제품 사용의 전체 과정 (종합적인 제품 사용 경험)에서 제품을 구성하는 여러 가지 특성의 지각 정도에 기반하여 제품에 대한 만족 여부 및 그 정도를 결정하게 된다. 따라서, 식품 및 생활용품 등을 포함한 다양한 일용소비재 산업에서 더욱 경쟁력 있는 제품을 개발하기 위해서는 종합적인 제품 사용 과정에서 소비자가 지각하는 제품의 여러 가지 특성에 대한 정보가 필수적이다. 이러한 관점에서 본 연구는 소비자들의 종합적인 제품 사용 경험을 고려하여 다양한 제품의 특성을 규명하고, 이를 과학적으로 측정 및 정량화 할 수 있는 새로운 평가 방법을 개발하고, 이의 효율성을 확인하고자 수행되었다. 먼저, 연구 2에서는 소비자들의 제품 사용 과정의 각 단계 (사용 전/구매, 사용 중, 사용 후)와 관련한 다양한 제품 관련 용어를 선정할 수 있는 새로운 평가 방법이 개발되었으며, 이를 가정용 세정제품 (주방 세척/청소용 세정제)에 적용하여 해당 제품의 감각, 감성, 기능성 측면과 관련한 29개의 중요 특성에 대한 소비자 평가 용어를 도출하였다. 다음으로 연구 3에서는 제품 사용 단계와 사용 후 단계에서 지각되는 특성을 규명하고, 각 특성에 대한 소비자들의 지각 정도를 보다 예민하고 정확하게 측정할 수 있는 평가방법인 2단계 평점 기반 ‘양면 적용 가능성’ 평가법 (two-step rating-based ‘double-faced applicability’ test)을 개발하였다. 이 방법은 연구 2에서 도출된 중요 특성의 긍정 또는 부정의 양 측면을 대변하는 한 쌍의 용어를 평가지 상에 개별적으로 제공하고, 제공된 용어의 적용 가능성 유무(해당 여부)를 ‘예’ 또는 ‘아니오’의 응답으로 평가하게 한 후, 응답에 대한 확신 정도를 평가하는 2단계의 평점 과정을 통해 소비자의 응답을 수집하는 방식으로 구성되었다. 평가 결과, 개발된 소비자 평가 방법에서 높은 제품 차이 식별력이 관찰되었으며, 이와 함께 평가 과정에서 발생할 수 있는 묵종 반응 경향(순응 반응 경향)의 억제 및 척도 사용에서의 변동성 감소에도 효과적인 것으로 확인되었다. 연구 4에서는 개발된 소비자 평가 방법을 통해서 수집된 응답을 신호탐지이론에 기초하여 과학적으로 정량화 할 수 있는 새로운 계산 방법을 개발하였다. 이 방법을 통해 각 평가 제품별 각 특성에 대한 소비자의 감성의 정도(크기)와 그 방향성(긍정 또는 부정)이 개별 지표로 계산되었으며, 이를 활용한 소비자의 감성적 제품 사용 경험 프로파일 또한 성공적으로 도출되었다. 특히, 도출된 프로파일은 소비자들의 제품 사용 단계에 따른 소비자의 감성의 정도와 방향성의 변화에 대한 정보를 시각적으로 제공할 수 있으며, 이와 함께 여러 제품을 대상으로 한 제품 간의 차이 비교 시에도 활용 가능함을 확인할 수 있었다. 다음으로 연구 5에서는 전통적으로 감각 과학 분야에서 널리 활용되어 온 평가 방법인 묘사분석 방법과의 비교를 통하여 새롭게 개발된 평가 방법과 정량화 방법의 활용 가능성을 확인하고자 시판 스프레드 제품을 대상으로 평가를 수행하였다. 두 평가 방법의 비교 결과, 척도 사용 및 평가 특성에 대한 별도의 훈련 없이도 2단계 평점 기반 ‘양면 적용 가능성’ 평가법을 수행한 검사원들의 수행 결과가 훈련된 검사원들에 의해서 수행된 묘사분석 결과와 감각 특성 평가 및 제품 차이 식별 측면에서 모두 유사하게 나타난 것으로 확인되었다. 특히, 새롭게 개발된 정량화 방법을 통해 계산된 지표는 중요 감각 특성에 대한 제품들의 상대적인 차이의 정도를 비교할 수 있는 정보뿐만 아니라, 각 제품에 대한 평가 특성의 적용 가능성 유무(해당 여부)와 같은 추가적인 정보를 제공할 수 있다는 것이 입증되었다. 마지막으로 연구 6에서는 소비자들의 종합적인 제품 사용 경험을 고려하여 소비자들의 ‘제품’과 ‘제품 사용 경험’에 대한 소비자 만족도를 분리하여 측정할 수 있는 새로운 소비자 만족도 평가 방법이 개발되었다. 특히, 연구 6에서는 앞서 개발된 ‘양면 적용 가능성’ 평가법의 포함 여부가 소비자들의 제품 품질 식별 예민도에 미치는 영향을 조사하기 위하여 개발된 소비자 만족도 평가 방법과 10점 기호도 척도 두 가지 평가 방법에 ‘양면 적용 가능성’ 평가법을 포함한 경우와 그렇지 않은 경우로 나누어 평가를 수행하였다. 비교 결과, 4개의 평가 그룹 중에서 소비자 만족도 평가 후 ‘양면 적용 가능성’ 평가법을 수행한 경우가 제품 차이 식별 측면에서 가장 높은 예민도를 나타낸다는 것을 확인할 수 있었다. 이는 소비자 만족도와 같이 제품 사용 과정의 전 과정을 거치면서 형성되는 제품 품질에 대한 소비자 지각을 올바르게 평가 및 측정하기 위해서는 소비자들의 종합적인 제품 사용 경험을 고려한 평가 방법이 적합하다는 것을 의미한다. 특히, ‘양면 적용 가능성’ 평가법과 결합한 소비자 만족도 평가의 경우 제품의 중요 특성에 대한 정보를 제공하여 소비자 본연의 평가 기준을 안정적으로 사용하게 할 수 있으므로 소비자 만족도 조사 시 보다 효율적인 평가 방법으로 활용될 수 있을 것으로 사료된다. 본 연구에서는 소비자들의 종합적인 제품 사용 경험을 고려하여 제품의 여러 가지 주요 특성을 보다 정확하고 효율적으로 평가할 수 있는 새로운 소비자 평가법과 함께 신호탐지이론에 기초하여 수집된 응답을 과학적으로 정량화 및 지표화할 수 있는 정량화 방법을 개발하였다. 본 연구를 통해 개발된 평가 방법 및 정량화 방법은 소비자 선택 및 구매 행동을 보다 정확하게 예측할 수 있는 새로운 접근방법으로 신제품 개발, 품질관리, 마케팅 등 여러 가지 비즈니스 의사결정 시, 보다 객관적이고 체계적인 정보를 제공할 수 있을 것으로 기대된다.