Non-volatile memory like spin-transfer torque random access memory (STT-RAM) has recently emerged as a promising type of memory technology owing to its non-volatility, high density, and low-leakage power. Unfortunately, STT-RAM has write-related drawbacks such as high write energy consumption and limit in the number of writes. While STT-RAM has emerged, traditional memory technologies such as SRAM (static random access memory) and DRAM (dynamic random access memory) are still used. In particular, DRAM has been widely used as main memory in computing systems owing to its high density and low cost. DRAM has become the main contributor to total energy consumption in computing systems owing to the growing demands for high-bandwidth and large capacity. In the transition period of memory technologies, we need to study both conventional and emerging memory technologies. In this dissertation, we improve the feasibility of STT-RAM-based cache by reducing energy consumption and increasing lifetime based on data spatial locality. We also improve DRAM systems by reducing unnecessarily large DRAM operation granularity based on data spatial locality and compression.
First, we evaluate and propose cache hierarchy management policies for low write energy consumption and long lifetime when L1 caches are composed of SRAM and L2 caches are implemented using STT-RAM. We first evaluate inclusion-related policies (such as inclusive, non-inclusive, exclusive, and non-exclusive policies) between L1 and L2 caches because such policies differ in their impact on the number of write operations in an L2 cache. We found that a non-exclusive policy shows the best energy consumption and longest lifetime results because it reduces the number of write operations to the L2 cache by filling only L1 caches upon L2 cache misses. Then, we propose a sub-block-based management policy because the write energy consumption is proportional to the amount of written data and not all of the words in a cache line are always used. The policy writes back only used sub-blocks to an L2 cache to reduce the write-amount and, consequently, to reduce the write energy consumption and increase the lifetime.
Second, we evaluate the inefficiency of large DRAM operation granularity and propose a new DRAM system that supports fine-grained operations. Generally, many applications show low spatial locality in the fetched cache lines. Thus, it is inefficient to read unused words from DRAM. Consequently, corresponding parts of a row to the unused words do not need to be activated and read/written. To mitigate the inefficiency, we propose the Spatio-DRAM system that supports variable granularity accesses based on low spatial locality. Spatio-DRAM operates with two DRAM access schemes. The first scheme called Spatio-Row achieves ACT-PRE and I/O power reductions for both reads and writes based on data spatial locality. The second scheme called Spatio-Col reduces the read/write energy consumption by eliminating reads/writes for unused words and the time wasted on the transmission of those unused words. Spatio-Col supports variable burst length (quarter, half, three-quarter, and full) because read/write energy consumption is proportional to the burst length. It also relaxes the tBURST constraint, which makes data bus-turnaround, write-recovery, and rank-to-rank switching start earlier, thereby improving system performance.
Lastly, we rethink the efficiency of data compression-based memory. There have been several data compression algorithms based on data similarity, which are used to provide larger effective memory capacity or improve memory bandwidth. We can also reduce memory energy consumption by accessing memory as much as compressed data size. However, such data compression produces metadata as a by-product. There are a lot of metadata in main memory owing to a large number of cache lines lying in it, and thus, adding a metadata cache in the memory controller is inevitable. We propose a dynamic metadata cache management method considering the metadata cache paradox in which metadata cache does not work properly and rather incurs overheads in low locality workloads. Consequently, our proposed data compression-aware DRAM system, which supports dynamic metadata cache use determination, improves system performance and energy consumption with marginal overheads.
STT-RAM과 같은 비휘발성 메모리가 비휘발성, 높은 집적도, 낮은 누설 전류 등으로 차세대 메모리로 주목받고 있다. 하지만, STT-RAM은 높은 쓰기 에너지 및 쓰기 내구성 등 쓰기와 관련한 문제를 갖고 있다. STT-RAM이 차세대 메모리로써 주목받고 있지만, 여전히 SRAM, DRAM 같은 전통적인 메모리 기술이 널리 사용되고 있다. 특히, DRAM은 높은 집적도 및 저비용으로 현재 주 메모리로써 널리 사용되고 있는데, 속도 및 용량에 대한 수요가 증가하면서 전체 시스템에서 DRAM이 소모하는 에너지 비율이 증가하고 있다. 이러한 과도기에, STT-RAM을 프로세서의 캐시 메모리로 사용할 때 쓰기 동작으로 인해 발생하는 문제를 확인해보고, 에너지 소비를 줄이고 수명을 늘림으로써 미래 대체 기술로써 실현 가능성을 높이기 위한 노력이 필요하다. 더불어 DRAM과 같은 메모리의 불필요하게 큰 동작 단위를 줄임으로써 기존 기술을 향상시킬 필요가 있다. 본 학위논문에서는 컴퓨팅 시스템의 데이터 지역성 및 압축을 이용하여, 기존 메모리 기술과 차세대 메모리 기술의 비효율성을 개선할 수 있는 설계를 제안한다.
첫째, L1 캐시를 기존 SRAM 기술로, L2 캐시는 STT-RAM 기술로 구성하였을 때, 쓰기 에너지를 줄이고 수명을 늘리기 위해 기존 캐시 메모리 계층 관리 정책을 평가하고 새로운 정책을 제안한다. 먼저 inclusive, non-inclusive, exclusive, non-exclusive 등 STT-RAM L2 캐시에서 쓰기 횟수에 크게 영향을 미치는 네 가지 정책을 평가한다. 이후, 쓰기 에너지가 쓰고자 하는 데이터의 양에 비례하며 캐시 라인의 모든 워드가 사용되지는 않는 특성을 바탕으로, 서브-블록(sub-block) 기반의 관리 기법을 제안한다. 본 기법은 L1 데이터 캐시에서 사용된 서브-블록만을 L2 캐시에 저장함으로써, STT-RAM L2 캐시의 쓰기 에너지 소비 및 수명을 향상시킨다.
둘째, DRAM의 큰 동작 단위의 비효율성을 확인하고, 작은 단위의 동작을 지원하는 새로운 DRAM 시스템을 제안한다. 일반적인 DRAM 읽기/쓰기 단위는 캐시 라인이지만, 데이터의 공간 지역성이 낮은 경우 DRAM에서 전체 캐시 라인을 읽고 쓰는 것은 비효율적이다. 마찬가지로, DRAM 로우(row)의 해당 부분에 대한 활성화/비활성화 동작 역시 불필요하다. 이러한 문제를 해결하기 위해, 낮은 공간 지역성을 이용하여 가변적 단위 접근을 지원하는 Spatio-DRAM 시스템을 제안한다. Spatio-DRAM 시스템은 두 가지 기법으로 동작한다. 첫 번째 기법은 Spatio-Row이며, 데이터의 공간 지역성에 따라 ACT-PRE 및 입/출력(I/O) 전력 소비를 줄인다. 두 번째 기법은 불필요한 데이터는 읽거나 쓰지 않음으로써, 읽기/쓰기 에너지를 줄이며, 불필요한 데이터를 전송하는 데 들어가는 시간을 없애는 Spatio-Col 기법이다. Spatio-Col 기법은 1/4, 1/2, 3/4, 전체 등의 가변적인 버스트(burst) 길이를 제공하며 tBURST 타이밍 제한 조건을 완화함으로써, 버스-방향전환(bus-turnaround), 쓰기 복구(write recovery), 랭크간 전환(rank-to-rank switching)을 앞당겨 수행할 수 있도록 하여 성능을 향상시킨다.
마지막으로, 데이터 압축을 이용한 메모리 사용의 효율성을 재고한다. 데이터값의 유사성을 이용한 여러 데이터 압축 기법이 제안되었고, 이러한 데이터 압축을 통해 메모리의 실질적인 용량이나 메모리 대역폭을 증가시키는 방법이 제안되었다. 메모리 요청을 압축된 데이터만큼만 전송함으로써, 메모리 에너지 소비 또한 줄일 수 있다. 하지만, 데이터 압축은 메타데이터가 필요하고, 메모리의 많은 캐시 라인으로 인해 메타데이터의 양이 매우 많으므로 메모리 컨트롤러에 메타데이터 캐시를 추가하는 것은 불가피하다. 본 연구를 통해, 데이터 지역성이 낮은 경우 메타데이터 캐시가 오히려 오버헤드만 유발하는 메타데이터 역설 문제를 메타데이터 캐시의 동적 사용을 통해 해결한다.
