Contour-based Instance Segmentation with the Aid of Pixel-wise Classification

Abstract

Instance segmentation has become a fundamental task in computer vision, with most existing approaches representing individual objects as dense pixel-wise masks. Although mask-based representations are effective for general segmentation tasks, they are less suitable for applications that require compact, geometrically explicit, and structurally valid object boundaries. In such applications, contour-based instance segmentation offers a direct polygonal representation of each object. This representation is particularly valuable in remote sensing imagery and industrial inspection, where accurate boundary localization, geometric consistency, and topological validity are critical. However, existing contour prediction methods still suffer from inaccurate boundary localization, unstable contour deformation, and structural artifacts such as self-intersections. Moreover, although recent foundation models have demonstrated strong transferability in segmentation, their potential and limitations for explicit polygonal instance representation remain insufficiently explored.

This thesis investigates contour-based instance segmentation from two complementary perspectives: a task-specific contour evolution framework and a foundation model-based contour adaptation framework. First, a pixel-guided snake framework is presented to improve polygonal contour prediction in terms of both boundary accuracy and structural validity. The framework combines dense-score-guided contour refinement with vertex-level structural regularization. For contour refinement, a dense interior--exterior score map is fused with backbone features, and the combined representation is used throughout the vertex-wise contour evolution process. Unlike conventional snake-based approaches that primarily rely on sparse backbone features sampled at the current contour vertices, the proposed method provides each vertex update with both local appearance information and an explicit region-level cue. This design improves boundary localization and stabilizes contour evolution, particularly when the initialized polygon is not sufficiently aligned with the target boundary. Separately, the vertex-level structural regularization strategy discourages unreliable vertex configurations and reduces self-intersection artifacts during training, thereby improving the structural validity and geometric plausibility of the predicted polygons.

Second, this thesis extends the investigation to a foundation model-based formulation built upon the Segment Anything Model （SAM）. Although SAM learns strong general-purpose object representations from large-scale data, its original prompt-driven mask decoder is designed primarily for dense mask generation rather than ordered polygon prediction. To bridge this representational mismatch, this thesis presents Contour-SAM, a prompt-free, contour-native adaptation framework for contour-based instance segmentation. The pretrained image encoder is efficiently adapted using Conv-LoRA, while the original decoding architecture is extended to predict contour-native outputs from which ordered initial polygons can be directly constructed. Specifically, the extended decoder predicts an auxiliary mask, a category-agnostic center map, and center-relative vertex offsets. The detected centers and their corresponding vertex offsets are then decoded into fixed-length ordered initial polygons. A transformer-based contour deformation module subsequently refines the initial polygons by modeling contextual relationships among contour vertices and incorporating local boundary evidence. This framework establishes a direct connection between dense foundation-model features and explicit polygonal object representations. Experimental results further indicate that pretrained foundation-model representations are particularly beneficial when contour-level training data are limited.

Overall, this thesis provides a unified perspective on contour-based instance segmentation by encompassing both specialized contour evolution networks and foundation model adaptation. The findings provide distinct insights into semantic representation transfer and explicit geometric modeling for polygonal instance prediction. The task-specific framework demonstrates the effectiveness of integrating dense spatial evidence with contour evolution and structural regularization, whereas the foundation model-based framework demonstrates the potential of large-scale pretrained representations for data-efficient contour prediction while identifying the remaining challenges associated with contour-native instance localization. These findings provide a foundation for developing more robust, structurally reliable, and generalizable contour-centric segmentation systems for precision-demanding real-world applications.;인스턴스 분할은 컴퓨터 비전 분야의 핵심 과제로 자리 잡았으며, 기존의 대부분의 방법은 개별 객체를 밀집된 픽셀 단위 마스크로 표현한다. 마스크 기반 표현은 일반적인 분할 과제에 효과적이지만, 간결하고 기하학적으로 명시적이며 구조적으로 유효한 객체 경계가 요구되는 응용 분야에는 한계가 있다. 이러한 환경에서 컨투어 기반 인스턴스 분할은 각 객체를 직접적인 다각형 형태로 표현할 수 있다는 장점을 갖는다. 특히 정밀한 경계 위치 추정, 기하학적 일관성, 위상적 유효성이 중요한 원격탐사 영상 및 산업 검사 분야에서 이러한 표현은 높은 활용 가치를 갖는다. 그러나 기존 컨투어 예측 방법은 여전히 부정확한 경계 위치 추정, 불안정한 컨투어 변형, 자기 교차와 같은 구조적 오류의 문제를 갖는다. 또한 최근 파운데이션 모델은 분할 과제에서 높은 전이 성능을 보였으나, 이를 명시적인 다각형 기반 인스턴스 표현에 적용할 때의 가능성과 한계는 충분히 연구되지 않았다.

본 논문은 컨투어 기반 인스턴스 분할을 과제 특화 컨투어 진화 프레임워크와 파운데이션 모델 기반 컨투어 적응 프레임워크라는 두 가지 상호보완적 관점에서 연구한다. 첫째, 경계 정확도와 구조적 유효성 측면에서 다각형 컨투어 예측을 개선하기 위한 픽셀 유도 스네이크 프레임워크를 제안한다. 제안 프레임워크는 밀집 점수 기반 컨투어 정제와 정점 수준의 구조적 정규화를 결합한다. 컨투어 정제를 위해 밀집된 내부–외부 점수 맵을 백본 특징과 융합하고, 결합된 표현을 정점 단위 컨투어 진화 과정 전반에 활용한다. 현재 컨투어 정점에서 샘플링된 희소한 백본 특징에 주로 의존하는 기존 스네이크 기반 방법과 달리, 제안 방법은 각 정점의 갱신 과정에 국소적인 외형 정보와 명시적인 영역 수준 단서를 함께 제공한다. 이러한 설계는 특히 초기 다각형이 목표 경계와 충분히 정렬되지 않은 경우에도 경계 위치 추정 성능을 향상시키고 컨투어 진화 과정을 안정화한다. 이와 별도로, 정점 수준의 구조적 정규화는 학습 과정에서 신뢰하기 어려운 정점 배치를 억제하고 자기 교차 오류를 감소시킴으로써 예측 다각형의 구조적 유효성과 기하학적 타당성을 향상시킨다.

둘째, 본 논문은 Segment Anything Model（SAM）을 기반으로 하는 파운데이션 모델 기반 접근으로 연구를 확장한다. SAM은 대규모 데이터로부터 범용적인 객체 표현을 학습하지만, 기존의 프롬프트 기반 마스크 디코더는 순서가 부여된 다각형 예측이 아니라 마스크 생성에 주로 최적화되어 있다. 이러한 표현 방식의 불일치를 해소하기 위해, 본 논문은 컨투어 기반 인스턴스 분할을 위한 프롬프트 비의존적 컨투어 네이티브 적응 프레임워크인 Contour-SAM을 제안한다. 사전학습된 이미지 인코더는 Conv-LoRA를 이용하여 효율적으로 적응되며, 기존 디코딩 구조는 순서화된 초기 다각형을 직접 구성할 수 있는 컨투어 고유 출력을 예측하도록 확장된다. 구체적으로 확장된 디코더는 보조 마스크, 범주 비의존적 중심점 맵, 중심점 기준 정점 오프셋을 예측한다. 이후 검출된 중심점과 해당 위치에서 예측된 정점 오프셋을 결합하여, 고정된 수의 정점으로 구성된 순서화된 초기 다각형을 생성한다. 이후 트랜스포머 기반 컨투어 변형 모듈은 컨투어 정점 간의 문맥적 관계를 모델링하고 국소 경계 정보를 반영하여 초기 다각형을 정제한다. 이를 통해 밀집된 파운데이션 모델 특징과 명시적인 다각형 객체 표현을 직접 연결한다. 실험 결과, 사전학습된 파운데이션 모델의 표현은 컨투어 수준의 학습 데이터가 제한된 조건에서 특히 효과적이었다.

종합적으로, 본 논문은 과제 특화 컨투어 진화 네트워크와 파운데이션 모델 적응을 포괄함으로써 컨투어 기반 인스턴스 분할에 대한 통합적인 연구 관점을 제시한다. 연구 결과는 다각형 인스턴스 예측에서 의미론적 표현의 전이와 명시적 기하 모델링이 각각 수행하는 역할을 보여준다. 과제 특화 프레임워크를 통해 밀집 공간 정보와 컨투어 진화 및 구조적 정규화를 결합하는 설계의 효과를 검증하였으며, 파운데이션 모델 기반 프레임워크를 통해 대규모 사전학습 표현이 데이터 효율적인 컨투어 예측에 갖는 가능성을 확인하는 동시에 컨투어 네이티브 인스턴스 위치 추정과 관련된 잔여 과제를 규명하였다. 이러한 결과는 높은 정밀도가 요구되는 실제 응용 분야를 위한 보다 강건하고 구조적으로 신뢰할 수 있으며 일반화 가능한 컨투어 중심 분할 시스템을 개발하는 데 기초를 제공한다.