Adaptive Multi-Scale Representation Aggregation for 3D Indoor Scene Segmentation

Abstract

3D semantic segmentation is a dense prediction task that assigns a semantic label to every point in a 3D scene. The unordered and sparse characteristics of point cloud data align naturally with the permutation-invariant property of self-attention, which has motivated many recent transformer-based approaches. Although these models exhibit strong global reasoning capability, they typically restrict attention operations to local windows for computational efficiency. Under these constraints, the receptive field remains fixed, which limits flexibility in scenes where geometric structures vary significantly in scale, density, and arrangement. To address this limitation, this work introduces Dawin3D, a Transformer-based architecture designed to perform adaptive multiscale representation aggregation for 3D semantic segmentation. The network is built around the Dynamic Window Multi-Head Self-Attention (DW-MSA) module, which applies self-attention at multiple spatial ranges and integrates the resulting representations through a learnable channel-wise weighting mechanism. This adaptive fusion process compresses local features, applies nonlinear transformations, and identifies channel importance, thereby improving feature expressiveness. The proposed pipeline partitions the 3D scene into a sparse voxel grid and associates each voxel with a representative feature, enabling efficient feature management under unstructured point distributions. The effectiveness of the proposed adaptive feature aggregation strategy is validated through experiments on the ScanNet and S3DIS benchmarks. Dawin3D achieves competitive or superior performance compared with strong existing methods and exhibits advantages in capturing the geometric structures of indoor layouts. Ablation studies additionally reveal how the each component of the model contributes to spatial reasoning performance. These results collectively show that adaptively weighting multiscale attention features provides a principled and effective approach for improving 3D scene understanding in environments characterized by structural variability and uneven spatial distributions.;3차원 의미론적 분할이란, 3차원 장면을 구성하는 모든 점에 대해 해당 점이 속하는 의미적 범주를 예측하는 작업이다. 3차원 장면을 나타내기 위하여 자주 사용되는 3차원 점군 데이터 형식은 비정렬적이며 점이 희소하게 분포하는 특성을 가지므로, 순서에 불변하는 자기-주의 메커니즘 (self-attention mechanism) 의 성질과 자연스럽게 부합하여 최근 트랜스포머 (transformer) 기반 접근법이 활발히 제안되고 있다. 그러나 기존 모델들은 계산 효율성의 한계로 인해 주로 자기-주의 연산을 국소 영역에서 수행하며, 이때 수용 영역의 범위를 고정하여 사용한다는 한계가 있다. 이와 같은 구조는 3차원 장면의 기하 구조가 규모, 밀도, 배치 측면에서 크게 변화하는 실제 환경에 충분히 유연하게 대응하지 못할 수 있다. 언급된 문제를 해결하기 위해 본 연구에서는 3차원 장면의 이미론적 분할을 위한 적응적 다중 스케일 표현 융합 (adaptive multi-scale representation aggregation) 을 수행하는 트랜스포머 기반 네트워크인 Dawin3D를 제안한다. 제안된 네트워크는 다양한 공간 범위에서 자기-주의 연산을 수행하고, 중간 표현들을 학습 가능한 채널 단위 가중치를 사용하여 통합하는 Dynamic Window Multi-Head Self-Attention (DW-MSA) 모듈을 중심으로 구성된다. 이 융합 과정은 국소 특징을 압축하고 비선형 변환을 적용하여, 보다 중요한 채널 정보를 선택적으로 강화함으로써 표현력을 향상시킨다. 또한 입력 3차원 장면을 희소 복셀 격자 (sparse voxel grid) 로 분할하고, 각 복셀에 대표 특성을 부여함으로써 비구조적 분포를 갖는 point cloud에서 효율적인 feature 관리를 가능하게 한다. 제안된 적응적 다중 스케일 표현 융합 전략의 효과는 ScanNet과 S3DIS benchmark에서의 실험을 통해 검증하였다. Dawin3D는 기존에 제시된 강력한 방법들과 비교하여 실내 공간의 복잡한 기하 구조를 포착하는 데에 강점을 나타냈다. 또한, 네트워크의 구성 요소를 달리한 실험을 통해 각 요소가 공간적 추론 성능에 미치는 영향을 분석하였다. 본 연구의 결과는 다양한 공간 범위를 대상으로 하는 자기-주의 메커니즘으로 얻은 특징들을 적응적으로 가중하는 방식이 구조적 변동성과 공간적 불균일성이 큰 환경에서 3D 장면 이해를 향상시키는 효과적인 접근임을 입증한다.