Over the last decade, hardware prefetching has become an essential technique to improve performance in high-performance processors. By bringing data that may be used in advance with using additional memory bandwidth, the hardware prefetching can be used to hide long external memory latency, and then achieve performance benefits in the processors. Due to using additional memory bandwidth, prefetching is often considered as a technique to convert bandwidth to performance.
With the advent of the multi-core processors, on-chip networks became fundamental components as shared
resources for communication between cores. However, the distinct characteristics of prefetch traffic have not been considered in the on-chip network design, while prefetchers have been oblivious to the network congestion. Along with the on-chip networks, next generation memory such as 3D-stacked and non-volatile memories have also emerged for the high-performance computing, and can be shared performance critical resources that influence on or are affected by prefetching techniques. Nevertheless, the existing hardware prefetching does not consider the various system memories and was just tuned with only a few fixed configurations. That is, the existing prefetching techniques do not accurately account for the bandwidth provided by the emerging architectures.
In the dissertation, we strive to design a combined bandwidth-aware prefetcher framework to maximize the utilization of the bandwidth provided by each emerging architecture for better performance. Firstly, for the design of mutually-aware prefetch and on-chip networks, we investigate the interactions between prefetchers and on-chip networks, exploiting the synergy of these two components in multi-cores. Considering the difference between prefetch and non-prefetch packets, we propose a priority-based router design that selects non-prefetch packets preferentially over prefetch packets. In addition, we propose a prefetch control mechanism sensitive to network congestion. Second, for the prefetch design on diverse memory architectures, we explore the performance effectiveness of the available memory bandwidth to the prefetchers, and how the aggressiveness of prefetchers is tuned for such memory architectures as well as application behaviors to maximize the system performance. Based on the observations, we propose a new memory-oblivious prefetcher framework to dynamically adjust the prefetch aggressiveness under various memory architectures. In addition, we study the performance effectiveness of such automatic tuning in the hybrid memory system, and improve the solution for cache pollution exacerbated by the increased speculative data from more aggressive prefetchers. With these proposed mechanisms, we finally provide an integrated bandwidth-aware prefetcher framework to comprehensively take into account various bandwidths supported by the emerging architectures.
지난 수년간 하드웨어 프리페쳐에 관한 수많은 연구들이 진행 되어 왔으며, 하드웨어 프리페쳐는 고성능
컴퓨터에서 성능을 향상 시키는데에 있어 중요한 역할을 하였다. 하드웨어 프리페처는 연산장치에서 필
요한 데이터를 추가적인 메모리 대역폭을 사용하여 미리 요청 하는것을 통하여 데이터를 메모리로 부터
가져오는 시간을 줄이고, 그 결과 시스템 전체 성능을 향상시키는 방법이다. 이러한 특징으로 인하여 하
드웨어 프리페쳐 기술은 메모리 대역폭을 성능으로 전환 시키는 기본적인 기술로서 평가 되고 있다.
최근, 하드웨어 프리페쳐와 더불어, 메모리 대역폭 개선을 위하여 온칩네트워크와 차세대 메모리와
같은 컴퓨터 구조들이 도입되었다. 온칩네트워크는 멀티코어 환경이 대두 되면서 연산장치간의 소통을
위한 기본적인 공유 자원으로서 그역할을 점점 증대되고 있다. 그러나, 온칩네트워크 설계에 있어 프리
페쳐 전송의 구별되는 특징을 고려하지 않으며, 반대로 프리페쳐의 경우도 온칩네트워크 혼잡과 같은 온
칩네트워크의 주요한 특징을 고려하지 않고 있다. 또한, 온칩네트워크와 더불어, 3D 적층 혹은 비휘발성
메모리와 같은 차세대 메모리 또한 고성능 컴퓨팅을 위하여 등장하고 있다. 차세대 메모리 또한 프리페처
에 영향을 많이 주고, 반대로 영향을 많이 받기도 하는 중요한 공유자원 이다. 그럼에도 불구 하고 기존의
하드웨어 프리페쳐 기법들은 이러한 다양한 메모리들을 통합적으로 고려하지 않음과 동시에 단지 몇개의
고정된 프리페쳐 구성을 사용하여 조정되고 있을 뿐이다. 다시 말하면, 기존의 하드웨어 프리페쳐들은
새롭게 되두 되는 컴퓨터 구조들로 부터 제공되는 메모리 대역폭에 대한 이해 및 고려가 부족하다.
본 학위 논문에서는 더 나은 성능을위하여, 새롭게 도입되는 컴퓨터 구조들이 제공하는 메모리 대역
폭을 최대한 활용하는 통합적 대역폭 고려 프리페처를 설계하는데 초점을 맞추고 있다. 첫번째로, 프리페
처와온칩네트워크간의 상호 고려를 위한 디자인위하여, 두 컴퓨터 구조의 성능 시너지를 고려함과 동시
에 두 구조 간의 상호 작용에 대하여 관찰 하였다. 이 관찰 바탕으로, 프리페처와 일반적인 연산장치에서
요청된 네트워크 패킷의 차이점을 고려하여 프리페쳐에 의해 요청된 패킷을 연산장치에서 요청된 패킷
보다 우선 처리하는 라우터를 설계 하였다. 두번째로, 다양한 메모리 구성이 존재하는 상황에서의 프리
페처 디자인을 위하여, 가용한 메모리 대역폭 변화에 따른 프리페처 성능의 효과를 살펴 보았다. 또한,
수행되는 프로그램과 더불어 성능의 극대화를 위하여 메모리에 따른 프리페쳐의 투기성이 어떻게 조절
되어야 하는지를 분석하였다. 해당 분석들을 바탕으로, 다양한 메모리 구조상에서도 프리페쳐의 투기성
을 동적으로 조정하는 체계를 제안하였다. 추가적으로, 이종의 두 가지 메모리가 하나 시스템에 동시에
존재하는 하이브리드 메모리 상황에서 프리페쳐 동적 조절 체계 동작에 따른 성능 효과에 대한 분석 및 적
극적 투기 프리페쳐에 의한 캐쉬 오염문제 해결 방법을 개선하였다. 마지막으로는 앞에서 제안된 두가지
성능 개선 요소를 결합하며, 새롭게 도입되는 컴퓨터 구조들이 제공 하는 다양한 메모리 대역폭 상황을
포괄적으로 고려하는 프리페쳐 체계를 제안한다.
