Vertical Merging Sketch

Abstract

Sketch data structures have been widely used for approximate per-flow traffic measurement in memory-constrained environments. However, conventional sketches allocate fixed-width counters to all flows, resulting in considerable memory waste under the highly skewed flow-size distributions commonly observed in real network traffic. To mitigate this inefficiency, multi-layer sketch designs improve memory utilization by assigning different counter widths to different layers, while dynamic counter management adapts to diverse traffic distributions by expanding counters at runtime when overflows occur. Meanwhile, although eBPF has been increasingly adopted as a platform for in-kernel network measurement, existing eBPF-based sketch implementations have largely been limited to static sketch algorithms. Moreover, applying conventional dynamic merging strategies, such as horizontal merging, in eBPF increases the number of map accesses per packet as the merging level grows. This overhead becomes even more pronounced when counter expansion is frequently triggered by elephant flows, as in attack traffic.

This thesis proposes Vertical Merging Sketch （VMS）, a dynamic sketch that expands counters vertically across rows. VMS starts with narrow counters and, upon overflow, uses cells spanning multiple rows as segments of a wider counter. In doing so, it adapts to diverse traffic distributions without requiring offline reconstruction. Since a sketch already accesses one cell per row for every packet, the vertical expansion in VMS does not introduce additional map lookups and keeps the per-packet processing cost fixed regardless of counter state. This thesis further analyzes the design challenges of implementing dynamic sketches in eBPF and presents an eBPF/XDP implementation that maintains exactly $d$ map accesses per packet, independent of counter state. These results demonstrate the feasibility of dynamic counter management within the eBPF execution model.

Experiments were conducted using synthetic Zipf traces, real CAIDA backbone traces, and mixed attack datasets containing DDoS, botnet command-and-control, and covert-channel traffic. Across memory budgets ranging from 0.2 MB to 1.0 MB, six security-related metrics were evaluated. The results show that VMS achieves overall lower estimation errors than Count-Min Sketch and Conservative Update across all configurations and attack scenarios.;스케치 자료구조는 메모리가 제한된 환경에서 플로우 단위 트래픽을 근사적으로 측정하기 위해 널리 사용되고 있다. 그러나 기존 스케치는 모든 플로우에 고정 폭 카운터를 할당하므로, 실제 네트워크 트래픽의 편향된 플로우 크기 분포에서는 메모리 낭비가 발생한다. 이를 완화하기 위해 다층 스케치 설계는 계층별로 서로 다른 카운터 폭을 배정하여 메모리 활용도를 높이고, 동적 카운터 관리는 오버플로 발생 시 런타임에 카운터를 확장함으로써 다양한 트래픽 분포에 적응한다. 한편, 커널 내 네트워크 측정을 위한 플랫폼으로 eBPF가 점차 널리 채택되고 있음에도, 현재까지 eBPF 환경에서는 주로 정적 스케치 알고리즘만 구현되어 왔다. 또한 eBPF에서 수평 병합과 같은 기존 동적 병합 전략을 적용할 경우, 병합 수준에 따라 패킷당 맵 접근 비용이 증가하며, 공격 트래픽과 같이 엘리펀트 플로우에 의한 카운터 확장이 빈번한 상황에서는 이러한 오버헤드가 더욱 커진다.

본 논문에서는 카운터를 행 간에 수직으로 확장하는 동적 스케치인 수직 병합 스케치（Vertical Merging Sketch, VMS）를 제안한다. VMS는 좁은 카운터로 시작하여 오버플로가 발생하면 여러 행에 걸친 셀을 하나의 넓은 카운터를 구성하는 세그먼트로 활용함으로써, 오프라인 재구성 없이 다양한 트래픽 분포에 적응한다. 스케치는 매 패킷마다 각 행에서 하나의 셀에 이미 접근하므로, VMS의 수직 확장은 추가적인 맵 조회를 발생시키지 않으며 카운터 상태와 무관하게 패킷당 처리 비용을 고정한다. 아울러 본 논문은 eBPF 환경에서 동적 스케치를 구현할 때의 설계 과제를 분석하고, 카운터 상태와 관계없이 패킷당 맵 접근 횟수를 정확히 d회로 유지하는 eBPF/XDP 구현을 제시함으로써 eBPF 실행 모델 내에서 동적 카운터 관리가 실현 가능함을 보인다.

합성 Zipf 트레이스, 실제 CAIDA 백본 트레이스, 그리고 DDoS, 봇넷 C\＆C, 은닉 채널 공격이 혼합된 데이터셋을 대상으로 0.2 MB부터 1.0 MB까지의 메모리 예산에서 여섯 가지 보안 관련 지표를 측정한 결과, VMS는 모든 구성과 공격 시나리오에서 Count-Min Sketch 및 Conservative Update 대비 일관되게 낮은 추정 오차를 달성하였다.