Exploring the Impacts of AI Support and the Visualized Class Quantity on the 3D Point Cloud Annotation of Novice Annotators

Abstract

3D semantic segmentation often relies on large-scale 3D point cloud data for training. However, the arduous and time-consuming process of annotating this data poses substantial obstacles in acquiring an ample amount of labeled data. Although human-in-the-loop techniques have been used to solve this problem, little research focused on improving the user experience and annotation performance of novice annotators when they deal with the data in the environment. Therefore, in this study, we investigated two key aspects: (1) the involvement of AI as a collaborative tool and (2) the adjustment of the number of simultaneously displayed object classes during the visualization for the training state in human-in-the-loop. To examine these methods, we carried out a user study that included 16 participants without prior exposure to 3D semantic segmentation tasks. In the study, the participants were tasked with annotating 3D point cloud data under various conditions from the two aspects. Our findings revealed that the interaction between these two dimensions influences the speed of annotation. Specifically, when the visualization displays information related to a single object class at a time and AI collaborates with them, the annotation process becomes more efficient. However, in cases where the visualization displays information for all classes simultaneously or they do not collaborate with AI, there is a greater improvement in model accuracy compared to our baselines. The best outcomes were observed in terms of user experience when the visualization presented information for each class individually with AI collaboration. Following our observations, we analyze the settings that augment the annotation process for novice annotators engaged in 3D semantic segmentation tasks with human-in-the-loop techniques.;3차원 시맨틱 세그멘테이션 태스크는 모델 학습을 위해 대규모 3차원 포인트 클라우드 데이터에 의존하는 경향이 있다. 그러나, 이러한 3차원 포인트 클라우드 데이터를 주석 처리하기 위해서는 번거롭고 시간이 오래 걸리는 작업을 거쳐야 하므로, 충분한 양의 라벨링된 데이터를 획득하는 것이 상당히 어렵다. 이 때문에, 소수의 전문가들에게만 주석 작업을 할당해왔다. 한편, 휴먼인더루프 기술이 이 문제를 해결하기 위해 사용되었지만, 이 과정에서 초보 주석자의 사용자 경험과 주석 성능을 향상시키는 데 중점을 둔 연구는 거의 없었다. 따라서, 본 연구에서는 인공지능과 사람 간의 협업 유무와 인공지능의 학습 상태를 시각화 할 때 한 번에 보여지는 클래스의 개수가 초보 주석자의 주석과정에 미치는 영향을 조사했다. 우리는 3차원 시맨틱 세그멘테이션 작업 경험이 없는 16명의 참가자를 통해 사용자 연구를 수행했다. 이때, 참가자들은 두가지 측면을 아우르는 네가지 조건 하에서 3차원 포인트 클라우드 데이터에 주석을 달았다. 연구 결과, 이 두 측면 간의 상호작용이 그들의 주석 작업 속도에 영향을 미친다는 것이 밝혀졌으며, 한 번에 한 클래스에 대한 결과만 시각화 된 상태에서 인공지능과 협력할 때, 주석 과정이 더 효율적이었다. 그러나, 모든 클래스에 대한 결과가 시각화 되거나, 인공지능과 협력하지 않을 때, 참가자들의 라벨링 데이터로 인해 향상된 모델의 정확도가 더 높았다. 사용자 경험 측면에서는 인공지능과 협력하며 한 번에 한 클래스에 대한 결과만 보여줄 때 가장 최상의 결과를 보였다. 본 논문은 이러한 관찰을 바탕으로, 3차원 시맨틱 세그멘테이션 태스크를 위한 휴먼인더루프에서 초보 주석자의 주석을 도울 수 있는 조건을 분석하고, 그들의 주석을 도울 수 있는 향후 연구 방향을 제안한다.