Cache memories in contemporary processors play an important role to reduce a speed gap between processor and main memory. For this reason, reducing cache misses is becoming increasingly significant since it has a dramatic effect on overall performance of computing systems.
It is observed that over 50% of bytes in a data cache are zero-valued by studying the behavior of general benchmark programs. Due to this characteristic, the majority of word (4 bytes) values in this cache can be represented in a half word or less. For reducing this waste of zero-valued spaces in the cache, we propose a novel cache architecture, Overlapped Cache (OVLPC), which allows one cache line entry to hold up to two cache lines.
Our experiments with respect to SPEC2000 benchmark programs show that by extending a baseline direct-mapped cache with the scheme overlapping cache lines we can obtain reductions in miss rate ranging 1%~65% against a baseline direct-mapped cache. It is also demonstrated that by augmenting conventional set-associative caches with our scheme considerable reductions in miss rate are acquired. Notwithstanding, our scheme has reasonable overheads such as delay and storage and is more practical to be implemented on a real hardware than previously-proposed related designs.
최근의 중앙 처리 장치에 있어서 캐시 메모리는 프로세서와 주 메모리 사이의 속도 차이를 극복하는 가장 일반적인 방법이며 그 중요성은 날로 커지고 있다. 캐시 메모리에서의 적중 실패율의 차이는 시스템 전체적인 성능에 상당한 영향을 미치기 때문에 캐시 메모리의 적중 성공률을 높이는 것은 상당히 중요하다.
SPEC2000 벤치마크 프로그램의 캐시 동작 특성을 분석해 본 결과, 데이터 캐시에 접근하는 값을 바이트 단위로 분석 하였을 때, 50% 이상의 값이 0의 값을 가지고 있음이 확인되었다. 즉, 데이터 캐시 내부 상당수의 워드(4 바이트) 값이 실제로 하프워드(2 바이트)로 표현될 수 있었다. 예를 들면, 16진수 워드 값 0x0000003F의 경우 유효 크기는 1 바이트이고 이는 곧 하프워드 이내로도 충분히 표현할 수 있는 값이다. 이러한 캐시 메모리의 특성을 활용하여 본 논문에서는 캐시 메모리의 적중 실패 비율을 상당히 줄일 수 있는 새로운 캐시 메모리 구조인 중첩 캐시 구조(Overlapped Cache)를 제안한다.
중첩 캐시 구조는 데이터 캐시 내의 0의 값들이 채우고 있는 공간을 잘 활용하여 하나의 캐시 라인 공간에 두 개의 캐시 라인들을 부분적으로 중첩하여 저장할 수 있게끔 함으로써 캐시 내부의 공간 활용도를 높이는데 목적이 있다. 이를 위해, 0의 값으로 된 하프워드 이내의 값에 대해서는 캐시 메모리에 기록될 때 0의 값은 제거되고 기록되도록 한다.
제안하는 중첩 캐시 구조의 성능 평가를 위해 SPEC2000의 기본적인 10개의 벤치마크 프로그램을 수행하여 본 결과, 프로그램의 종류에 따라 직접 사상 캐시에 비해 중첩 캐시 구조가 적중 실패상의 비율을 1%~65% 가량 줄여주고 있으며 전체적으로는 약 30%의 비율을 줄이고 있다. 그럼에도 불구하고, 제안하는 구조의 오버헤드는 기존에 제안된 관련 연구에 비해 상당히 적은 편이다.
