Multi-core processors have been widely adopted in today's computing systems. Shared last-level caches in the multi-core processors provide advantages such as higher performance, simpler cache coherence protocols, and faster inter-core communication, compared to private last-level caches. However, the inter-core cache interference in the shared last-level caches can significantly hurt the performance for time-sensitive applications, which have deadline requirements. On the other hand, overly prioritizing those applications in shared caches can sacrifice the performance for general applications. This dissertation proposes efficient shared last-level cache architectures that provide high performance for both time-sensitive and general applications.
Shared last-level caches should be able to prioritize time-sensitive application data over general application data, not overly sacrificing the overall performance for general application. This dissertation tackles the cache partitioning problem between a time-sensitive application and a general application and proposes a dead block-based shared cache architecture to mitigate the inter-core cache interference between them. Additionally, the proposed shared cache architecture provides a mechanism to control the cache occupancy between the applications. On a dual-core system, compared to a baseline, equal partitioning, and a state-of-the-art quality-of-service-aware cache partitioning, our proposed dead block-based shared cache architecture provides 9.3%, 30.5%, and 2.6% lower average deadline miss rates, respectively.
When multiple time-sensitive applications and general applications are executed, the inter-core cache interference becomes more severe as a number of application contend with each other in the shared last-level cache. This problem can be mitigated by intelligently grouping them in shared caches. This dissertation proposes a task matching scheme, which groups applications to share the same cache partition according to their memory access characteristics. On a quad-core system, compared to the baseline, equal partitioning, and a state-of-the-art quality-of-service-aware cache partitioning, the combination of the dead block-based shared cache architecture and the task matching scheme provides 21.2%, 17.7%, and 4.1% lower average deadline miss rates, respectively.
An efficient shared last-level cache for time-sensitive and general applications can be designed by considering the deadlines and execution times of time-sensitive applications. This dissertation observes that i) the shared last-level cache space requirements for time-sensitive applications to meet the deadlines vary dynamically and rapidly during runtime, and ii) their performances become saturated early when increasing the shared cache space allocated to them. Based on these observations, this dissertation presents DAP, a deadline-aware shared cache partitioning technique to provide high deadline-met rates for time-sensitive applications, while providing high overall performance for general applications.
멀티 코어 프로세서는 오늘날의 컴퓨팅 시스템에서 널리 채택되고 있다. 멀티 코어 프로세서의 공유 최종 레벨 캐쉬는 개인 최종 레벨 캐쉬에 비해 더 높은 성능, 더 간단한 캐쉬 일관성 프로토콜 및 더 빠른 코어 간 통신과 같은 이점을 제공한다. 그러나 데드라인 요구사항을 가진 시간 민감한 응용 프로그램의 경우 공유된 최종 레벨 캐쉬에서의 코어 간 간섭으로 인해 응용 프로그램의 데드라인 만족률이 크게 감소할 수 있다. 본 학위논문은 시간 민감한 응용 프로그램의 공유 최종 레벨 캐쉬 구조를 제안하여 시간 민감한 응용 프로그램의 데드라인 만족률을 개선하는 동시에 일반 응용 프로그램의 전반적인 성능을 향상시킨다.
공유 최종 캐쉬는 시간 민감 응용 프로그램들의 데이터를 일반 응용 프로그램들의 데이터보다 우선시 할 수 있어야 한다. 본 학위논문에서는 한 시간 민감한 응용 프로그램과 한 일반 응용 프로그램 사이의 코어 간 캐쉬 간섭 문제를 다룬다. 본 학위논문은 데드블록 기반 공유 캐쉬 구조를 제안하여, 시간 민감한 응용 프로그램과 일반 응용 프로그램 사이의 코어 간 캐시 간섭을 완화하고, 이들 간의 성능 제어 기능을 제공한다. 제안된 데드블록 기반 공유 캐쉬 구조는 듀얼 코어 시스템에서 베이스라인 기법, 정적 캐쉬 파티셔닝 및 최신 품질 인식 캐쉬 파티셔닝 기법들과 비교해 각각 9.3%, 30.5%, 2.6% 낮은 데드라인 만족 실패율을 제공한다.
다수의 응용 프로그램 간의 코어 간 캐쉬 간섭은 같은 캐쉬 파티션을 공유할 응용 프로그램들을 지능적으로 그룹화함으로써 완화시킬 수 있다. 본 학위논문에서는 시간 민감한 애플리케이션들 사이의 코어 간 캐시 간섭을 완화함으로써 데드라인 만족률을 더 향상시키는 태스크 매칭 기법이 제안된다. 제안된 태스크 매칭 기법은 시간 민감한 응용 프로그램 간 캐쉬 공간을 분할하고, 캐쉬 공간을 공유할 시간 민감한 응용 프로그램과 일반 응용 프로그램을 결정한다.
제안된 데드 블록 기반 공유 캐쉬 구조와 태스크 매칭 기법의 조합은 쿼드 코어 시스템에서 베이스라인, 정적 캐쉬 파티셔닝 및 최신 품질 인식 캐쉬 파티셔닝 기법들에 비해 평균 21.2%, 17.7%, 4.1% 더 낮은 데드라인 만족 실패율을 제공한다.
시간 민감한 응용 프로그램과 일반 응용 프로그램 모두를 위한 효율적인 공유 최종 레벨 캐쉬는 시간 민감한 응용 프로그램의 메모리 접근 특성을 고려함으로써 설계된다. 본 학위논문에서는 시간 민감한 응용 프로그램이 데드라인을 지키기 위한 최종 레벨 캐쉬 공간 요구 사항이 동적으로 빠르게 변하고, 데드라인 만족률이 캐쉬 공간 증가에 따라 빠르게 포화됨을 보인다. 이러한 분석을 기반으로, 시간 민감한 응용 프로그램의 실행 시간과 데드라인을 인식하는 DAP 공유 캐쉬 파티셔닝 기법을 제안한다. 본 실험결과는 제안된 DAP 기법이 시간 민감한 응용 프로그램의 높은 데드라인 만족률을 제공함과 동시에 일반 응용 프로그램의 높은 성능을 제공함을 보인다. 또한 본 논문에서는 제안된 DAP 기법이 최신 품질 인식 공유 캐쉬 파티셔닝 기법보다 우수함을 보인다.
