Understanding and Exploiting Cache Asymmetry in Chiplet Processors via Profile-Predict-Guard Allocation

Abstract

Chiplet-based processors enable higher core counts by integrating multiple Core Complex Dies （CCDs） within a single package, while stacked-cache integration further increases the L3 capacity of selected CCDs. The introduction of 3D V-Cache creates an asymmetric CCD configuration in which one CCD provides a 3× larger shared L3 cache at a lower boost frequency, while the other offers a smaller L3 but higher boost frequency. Despite this asymmetry, the OS treats all cores as identical and applies a default full-thread allocation across both CCDs. Through a controlled characterization using 78 workloads on a representative asymmetric CCD processor, this thesis finds that the default allocation is suboptimal for 37% of workloads, that most of these benefit from single-CCD execution rather than simply disabling SMT, and that the preferred CCD is determined by L3 cache utilization characteristics. Motivated by these findings, this thesis proposes a Profile-Predict-Guard allocation framework that profiles each workload under the default allocation, predicts the relative execution time of each candidate topology using K-Nearest Neighbor regression over eight hardware performance counters, and migrates only when the predicted speedup exceeds a training-calibrated threshold. The evaluation shows that the proposed framework recovers 76.0% of the available deployment-level performance headroom over the default allocation across all 78 evaluated workloads.;칩렛 기반 프로세서는 여러 개의 작은 다이를 하나의 패키지에 결합하여, 단일 다이가 갖는 제조 수율과 발열의 한계를 넘어 더 많은 코어를 집적한다. AMD는 각 칩렛을 Core Complex Die（CCD）라 부르며, 최근에는 일부 CCD에 적층 캐시 기술인 3D V-Cache를 적용한다. 적층 캐시가 더해진 CCD는 공유 L3 캐시 용량이 크게 늘어나지만, 발열과 전압 제약으로 인해 최대 동작 주파수는 낮아진다. 그 결과 하나의 패키지 안에 캐시 용량이 큰 CCD와 더 높은 주파수로 동작하는 CCD가 공존하는 캐시 비대칭 구조가 형성된다. 두 CCD의 코어는 마이크로아키텍처 측면에서 동일하지만, 워크로드에 따라 큰 캐시가 유리할 수도, 높은 주파수가 유리할 수도 있다. 그럼에도 일반적인 운영체제는 이러한 비대칭성을 인지하지 못한 채 모든 논리 프로세서를 동일하게 취급하여, 두 CCD에 걸쳐 동시 멀티스레딩（SMT）을 활성화한 상태로 스레드를 배치한다. 본 논문은 대표적인 캐시 비대칭 프로세서인 AMD Ryzen 9 7950X3D를 대상으로, 스레드를 어느 CCD에 어떤 방식으로 배치하는지가 성능에 미치는 영향을 분석한다. 78개의 워크로드를 여섯 가지 토폴로지 구성에서 측정한 결과, 두 CCD를 모두 사용하며 SMT를 활성화하는 기본 배치는 전체의 37%에 해당하는 워크로드에서 최적이 아니었다. 또한 기본 배치보다 나은 성능을 보이는 워크로드의 대부분은 단순히 SMT를 끄는 것보다 하나의 CCD에만 사용할 때 더 빠르게 동작하였으며, 이때 어느 CCD가 유리한지는 워크로드가 L3 캐시를 얼마나 효과적으로 활용하는지에 따라 결정되었다. 이는 SMT 사용 여부와 더불어 어느 CCD에 스레드를 배치할지가 함께 고려되어야 함을 의미한다. 이를 해결하기 위해 본 논문은 Profile-Predict-Guard 스레드 배치 프레임워크를 제안한다. 제안 기법은 기본 배치 상태에서 여덟 개의 하드웨어 성능 카운터를 수집한 뒤, 이를 입력으로 각 후보 토폴로지의 상대 실행 시간을 K-최근접 이웃（KNN） 회귀로 예측한다. 이후 예측된 성능 향상이 학습 과정에서 보정한 임계값을 넘는 경우에만 스레드를 해당 토폴로지로 이동시키고, 그렇지 않으면 기본 배치를 유지하여 부정확한 예측으로 인한 성능 저하를 방지한다. 78개 워크로드 전체에 대한 평가에서 제안 기법은 최적의 토폴로지를 항상 선택하는 이상적인 경우가 제공하는 성능 향상 여지의 76.0%를 확보하였으며, 성능을 떨어뜨리는 잘못된 이동은 한 건도 발생하지 않았다.