The increasing number of cores in graphics processing units (GPU) and memory bandwidth requirements of these cores have placed more demand on the memory bandwidth. Memory controllers in these systems often employ out-of-order scheduling to maximize row access locality. However, this requires complex logic to enable out-of-order scheduling. To provide a low-cost and low-complexity memory scheduling, we propose source-based memory scheduling where memory access is scheduled at the injection of the shader cores. We propose two complementary techniques-dram-aware source throttling and superpackets. For highly parallel, non-graphics applications, memory access requests from shader cores have been shown to result in significant row locality but the locality is destroyed in the on-chip network. We show how the requests can be group together into a single superpacket prior to injection to maintain the row locality without increasing the complexity of any component such as the memory scheduler or the on-chip network. We use local, distributed throttling mechanism to achieve dram-aware memory scheduling and reduce the network congestion caused by full of memory controller queue. By combing these techniques of superpacket and dram-aware scheduling, the performance across a wide range of application is within 93% of the complex FR-FCFS on average while exceeding the performance of previously proposed on-chip network modification by 13% and at significantly lower cost and complexity.
과거의 싱글 코어 기술이 도태되고 병렬처리가 주목받게 됨에 다라, 자연스럽게 많은 수 의 코어를 장착하고 있는 그래픽 가속 하드웨어를 범용으로 사용하는 것에 관한 연구도 활발히 진행되었다. 이미 많은 종류의 응용 프로그램이 가속기 아키텍쳐상에서 동작하고 있으며, 가속기 아키텍쳐는 현재 컴퓨터 아키텍쳐에서 하나의 중요한 분야로 부상하였다. 가속기 아키텍쳐는 기존 아키텍쳐보다 최대 수십배 가량까지 많은 코어를 가지고 있으며, 그에 따라 기존에 비해 많은 메모리 요구량을 가진다. 이러한 코어의 요구사항을 만족시 키기 위해, 가속기 아키텍쳐의 메모리 컨트롤러는 일반적으로 비순차적(Out of order) 스 케쥴링으로 동작하게 된다. 비순차적 스케쥴링을 사용하는 메모리 컨트롤러는 가속기 아 키텍쳐의 높은 메모리 요구량을 만족시키기 위해 필수적인 요소 중에 하나이지만, 순차 적 스케쥴링을 사용할 때보다 훨씬 복잡한 구조가 필요하며 전력소모 역시 크다. 현재 다 중 코어 아키텍쳐에서의 메모리 컨트롤러와 온칩 네트워크의 전력소모 문제는 이미 널리 알려진 문제이다. 우리는 이러한 아키텍쳐의 상황에 주목하여, 가속기 아키텍쳐의 높은 메모리 요구사항을 만족시키는 동시에, 아키텍쳐 상의 오버헤드를 최소화시키는 방법을 제안하고자 한다.
이를 위해, 본 논문에서는 두 가지의 상호보완적인 방법을 제안한다. 일단 슈퍼패킷 이란 방법을 통해, 코어가 메모리 요청을 보내기 전에 이를 스케쥴링하도록 함으로써, 순 차적 메모리 컨트롤러를 사용하면서도 비순차적 스케쥴링 콘트롤러를 사용할 때와 같은 효과를 얻을 수 있도록 하였다. 동시에, 코어가 메모리 요청을 보내는 양을 조절하게 함 으로써, 네트워크상의 정체현상을 최소화 시키고 순차적 스케쥴링 메모리 컨트롤러가 최 대한의 성능을 보일 수 있도록 하였다. 이를 통해, 우리는 메모리 컨트롤러와 네트워크의 오버헤드를 최소화 시키면서 기존 방식들과 동등한 메모리 처리속도를 얻을 수 있었다. 결과적으로 우리의 방식을 사용했을 때, 큰 성능 저하없이 온칩 네트워크 상의 자원을 최소화 시킬 수 있음을 보여줌으로써, 향후 칩의 자원을 더욱 효율적인 방식으로 사용할 수 있는 가능성을 제시하였다.
