In chip multiprocessors (CMPs), on-chip networks are shared resources among many components on a chip and are sensitive to the volume of network traffics generated from such components. Meanwhile, although prefectching techniques can help improve system performance in general, these techniques have a disadvantage of generating a large amount of additional on-chip network traffics which could waste network bandwidth. Because of the characteristics, on-chip networks and prefetching techniques can conflict with each other, and hence this conflict can slow down system performance in CMPs.
For example, on ideal on-chip networks, which have unlimited bandwidth, prefetching techniques can improve system performance as expected. However, in contrast, in real on-chip networks considering congestion, such prefetching techniques are not able to function optimally because on-chip networks would be congested by additional prefetching packets. Like this example, if the effect of on-chip networks is not properly considered, prefetching techniques can not improve overall system performance in CMPs. Therefore, we need to make on-chip networks consider prefetching traffics in order to improve system performance in CMPs using on-chip networks.
In this paper, we propose two techniques related to on-chip network designs for overcoming congestion caused by additional network traffics of prefetching techniques. First, we propose Router Arbitration for Prefetch (RAP) as a new arbitration mechanism at routers on on-chip networks. The RAP gives a chance to demand requests more than prefetch requests at time of an arbitration of packets. Second, we propose Request Throttling for Prefetch (RTP) as a throttling mechanism of prefetch packets at a source of prefetching techniques when the congestion in on-chip networks happens. Both approaches try to maximize performance of prefethcing techniques even when the congestion in on-chip networks is severe.
According to our evaluation, the RAP mechanism improves system performance by about 3~4% compared to general prefehcing techniques, and the RTP mechanism improves performance by about 9~10% compared to general prefehcing techniques, and could also save energy consumption by about 10%.
칩 멀티 프로세서에서, 온 칩 네트워는 칩안의 여러개의 구성 요소들에의해 공유 되는 자원으로서 실제 네트워크 트래픽양에 민감한 특징이 있다. 한편, 프리패치는 기본적으로는 시스템의 성능을 향상 시키는 역할을 하게 되지만, 추가적인 네트워크 트래픽을 발생 시켜 온 칩 네트워크 밴드위스를 낭비 하는 단점이 있다. 칩 멀티 프로세서에 위의 두가지의 요소들의 각각의 특징들로 인해 서로 상충 되는 부분이 발생 되게 되며, 그로 인하여 성능에 좋지 않은 영향을 미치게 된다.
예를 들면, 무한한 밴드위스가 있는 이상적인 온 칩 네트워크에서는 프리패치가 성능에 많은 좋은 영향을 줄 수 있지만, 대조적으로 실제적인 온 칩 네트워크에서는 프리패치에 의한 추가적인 네트워크 트래픽으로 인해, 네트워크 밴드위스가 모자라게 되어 성능에 좋지 않은 영향을 줄 수 있게 된다. 이 처럼, 칩 멀티프로세서 환경에서 온 칩 네트워크를 고려하지 않은 프리패치의 경우, 전체 시스템에 좋지 않은 영향을 미칠 수 있다. 그러므로 우리는 전체 시스템 성능 향상을 위하여 프리패치를 고려한 온 칩 네트워크를 디자인 해야 할 필요가 있다.
여기서는, 칩 멀티 프로세서에서 프리패치에 의해 생기는 추가적인 네트워크 트래픽으로 인해, 온 칩 네트워크가 혼잡해지는 것을 극복하는 온칩네트워크 디자인에 관련된 두가지 매커니즘을 제안한다. 처번째 방법은 온 칩 네트워크의 라우터에서 패킷을 중재 하는 새로운 방법인 Router Arbitration for Prefetch (PAP) 이다. 이 방법은 라우터에서 패킷을 중재 하는데 있어, 코어에서 요청된 패킷에게 프리패쳐에 의해 요청된 패킷보다 나갈 수 있는 더 많은 기회를 주어 성능의 향상을 목표로 하는 방법이다. 두번째 방법은 온 칩 네트워크가 혼잡한 상황에서 프리패치 패킷의 양을 줄여 다른 코어에서 요청된 패킷들이 빠르게 서비스 될 수 있게 하여, 성능의 향상을 목표로 하는 방법이다.
제안 하는 두 방법 모두, 칩 멀티 프로세서에서 온 칩 네트워크가 혼잡한 상황이 발생하여도, 전체적으로 보았을 때 프리패치가 성능에 좋은 영향을 미칠수 있게 도와 주는 역할을 하게 된다. 실험에 따르면, RAP 방법은 일반적인 프리패치 방법에 비해 전체 시스템 성능을 3~4% 향상 시키는 효과가 있었고, RTP의 경우는 9~10%의 성능 향상을 시키는 효과가 있었다. 또한 RTP의 경우에는 10%의 에너지 절약 효과도 얻을 수 있었다.
