In order to tackle the memory wall problem, on-chip cache memories play an important role in resource-constrained embedded systems by filtering out most off-chip memory accesses. However, they consume a large fraction of the processor area along with up to 45% of processor power. Because of continuous scaling of the silicon process technology, on-chip cache sizes are growing and they will consume more energy. To solve this increasingly important problem, this dissertation studies low-power cache architecture designs that can have a significant impact on the overall energy consumption of embedded processors.
The first cache design consideration focuses on the L0 data cache to reduce cache miss costs due to its small capacity. We introduce the filter data cache that is added as a L0 data cache into cache memory hierarchy. The filter data cache enhances three aspects of cache operations: cache miss prediction for bypass, selective cache block allocations, and eliminating tag comparison for write-back operations. If a memory request is predicted to miss in the filter data cache, the filter data cache is bypassed and the L1 data cache is accessed directly. Data read from the L1 data cache is not allocated to the filter data cache whenever beneficial. Write back energy to the L1 data cache is reduced by eliminating tag comparisons through storing way numbers of the L1 data cache in the filter data cache. We demonstrate that the filter data cache significantly reduces energy consumption of data caches compared with competitive L0 caches. The overheads in terms of area and leakage power are small and the proposed filter data cache architecture does not hurt performance.
Next, this dissertation exploits the localities of write operations and introduces a cache design called a write buffer-oriented cache to achieve energy-efficiency. Observing that write operations are very likely to be merged in the write buffer with a write-through policy because of their high localities. We construct the proposed write buffer-oriented cache architecture to utilize two schemes. First, the write operations update the write buffer but not the L1 data cache, which is updated later by the write buffer after the write operations are merged. Write merging significantly reduces write accesses to the data cache and, consequently, energy consumption. Second, we further reduce energy consumption in the write buffer by filtering out unnecessary read accesses to the write buffer using a read hit predictor. In this dissertation, we also show that the proposed write buffer-oriented cache architecture is applicable to conventional embedded processors that support both write-through and write-back policies.
This dissertation also studies tag comparison issues. Conventional cache tag matching is based on addresses to identify requested data. However, this address-based tagging scheme is not efficient because unnecessarily many tag bits are used. Previous studies show that TLBIT (TLB Index-based Tagging) can be used in the instruction cache because there are not many different tags at a moment due to spatial locality, and those tags are conventionally captured by TLBs. TLB indexes are added in each entry of the TLB, which are employed as tags in the cache to identify requested data. The TLBIT reduces the number of required tag bits (i.e., tag array size), thereby reducing cache energy consumption and area. However, directly adopting the TLBIT is not effective for data caches because it incurs large overheads in terms of erformance and energy consumption because of cache line searches and invalidations. To achieve true potential of the TLBIT, we propose three novel techniques: search zone, c-LRU and TLB buffer. Search zone reduces unnecessary cache line searches and c-LRU reduces cache line invalidations. TLB buffer prevents immediate cache line invalidations on TLB misses. Moreover, we propose an adaptive physical address fetch scheme to achieve energy efficiency in the TLB. The proposed techniques reduces energy consumption of the TLB and data caches with small impacts on performance.
메모리벽(memory wall) 문제를 해결하기 위해 채용된 온칩(on-chip) 캐시는 외부 메모리로의 접근을 감소시키며 빈번하게 접근되기 때문에 프로세서의 성능과 에너지 소비 측면에서 중요한 역할을 수행한다. 온칩 캐시는 현재 프로세서 면적의 대부분을 차지하고 있으며 최대 45%의 프로세서 파워를 소비하는 것으로 알려져 있다. 또한, 실리콘 공정 기술의 지속적인 발전에 따라 온칩 캐시의 크기는 더욱더 커지고 있는 실정이며 온칩 캐시는 더욱 많은 에너지를 소비하게 될 전망이다. 위와 같이 중요한 온칩 캐시의 에너지 소비 문제를 해결하기 위해서 본 학위논문에서는 임베디드 프로세서의 에너지 소비에 전반적으로 큰 영향을 미칠 수 있는 저전력 캐시 구조 디자인에 관한 연구를 수행하였다.
첫번째 캐시 설계는 작은 용량의 L0 데이터 캐시에서 캐시 미스로 인한 성능 및 에너지 소비에 관한 비용(cost)절감에 초점을 맞추고 있다. 캐시의 접근 속도와 에너지 소비는 캐시의 용량과 연관정도(associativity)에 비례하는데 작은 용량의 직접 연관(direct-mapped) L0 캐시는 빠른 히트(hit)시간과 적은 액세스 에너지를 제공 하지만 높은 미스(miss) 비율을 보이게 된다. 이러한 캐시 미스는 프로세서의 성능과 에너지 소비를 악화시킬 수 있다. 본 학위논문에서는 L0 데이터 캐시를 보다 효율적으로 운용할 수 있는 필터 데이터 캐시(filter data cache) 구조를 제안하였다. 제안된 필터 데이터 캐시 구조는 세가지의 캐시 동작을 강화한다. 첫째, 필터 데이터 캐시로의 접근 결과를 예측하여 미스가 발생할 것으로 예측될 경우, 필터 데이터 캐시를 바이패스(bypass)하고 L1 데이터 캐시가 바로 접근된다. 둘째, L1 데이터 캐시에서 요청된 데이터는 선택적으로 필터 데이터 캐시에 할당된다. 셋째, 필터 데이터 캐시에서 나중쓰기(write-back)되는 캐시 블럭은 L1 데이터 캐시의 에너지 소비를 감소시키기 위해 사전에 기록된 L1 데이터 캐시의 웨이(way) 정보를 이용하여 태그 비교를 제거한다. 실험을 통해 본 학위논문에서는 제안된 필터 데이터 캐시가 L0 캐시를 대상으로 하는 경쟁기법과 비교하여 데이터 캐시의 에너지 소비를 상당히 감소시키는 것을 입증하였다. 또한, 제안된 필터 데이터 캐시는 면적(area)과 누수전력(leakage power) 측면에서도 적은 부담(overhead)을 가지고 있으며 시스템 성능을 감소시키지 않는다.
두번째 캐시 설계는 쓰기 버퍼(write buffer)를 이용하여 쓰기 연산(write operation)의 지역성(locality)을 활용하는데 초점을 맞추고있다. 본 학위논문에서는 캐시 에너지 소비를 감소시키기 위해 메모리 계층구조에서 쓰기 버퍼의 역할을 변경하는 쓰기 버퍼 지향 캐시(write buffer-oriented cache) 구조를 제안하였다. 바로쓰기(write-through) 캐시에서 상당수의 쓰기 연산이 쓰기 버퍼에서 병합(merging)되는 관찰을 통해 제안된 쓰기 버퍼 지향 캐시는 두 가지의 기법으로 구성되어 있다. 첫째, 쓰기 연산은 L1 데이터 캐시에는 수행되지 않고 쓰기 버퍼에만 수행된다. L1 데이터 캐시로의 쓰기 연산은 쓰기 버퍼에서 쓰기 연산들이 병합된 후에 수행된다. 쓰기 버퍼 지향 캐시는 상당수의 L1 데이터 캐시의 쓰기 연산 횟수를 감소시켜 에너지 소비를 감소시킨다. 둘째, 쓰기 버퍼에서 읽기 연산(read operation)으로 인해 소비되는 에너지를 감소시키기 위해서 본 학위논문에서는 읽기 히트 예측(read hit predictor) 기법을 제안하였다. 또한, 본 학위논문에서 제안한 쓰기 버퍼 지향 캐시 구조는 바로쓰기와 나중쓰기를 모두 지원하는 일반적인 임베디드 프로세서에 적용가능하다.
마지막으로, 본 학위논문은 캐시 태그 비교(tag matching)에 관한 연구를 수행하였다. 일반적인 캐시 태그는 요청된 데이터를 확인하기 위해서 주소(address)에 기반한 태그 값을 저장하고 있다. 하지만, 주소 기반 태그에서 저장되는 태그의 크기가 필요이상으로 크기 때문에 에너지 측면에서 효율적이라고 볼 수 없다. 이전의 연구에서는 기존의 캐시 태그를 (즉, 주소 기반) 대체할 TLB(Translation Lookahead Buffer) 인덱스(index) 기반 의 태그 를 제안했다. 이 방식은 캐시의 태그 비트를 감소시켜 에너지 소비를 감소 시킬 수 있지만, 단순하게 데이터 캐시 에 적용될 경우 무효화(invalidation)로 인해 성능과 에너지 소비 측면에서 큰 부담(overhead)을 발생시킬 수 있다. 본 학위논문은 TLB 인덱스 기반의 태그를 데이터 캐시에 효과적으로 사용할 수 있는 새로운 기법들을 제안한다. 또한, 본 학위논문은 TLB의 에너지 소비를 추가로 감소시키기 위한 적응형 물리 주소 패치(adaptive physical address fetch)기법을 제안하였다.
