The recent increasing heterogeneity in memory components has enabled a composite memory system consisting of more than two types of different memory technologies. DRAM caches have emerged as an efficient new layer in the memory hierarchy to address the increasing diversity of memory components. The other alternative is that using fast memory as a part of main memory have benefits of increasing available memory capacity. When a small and fast memory is combined with a slow but large memory, the cache-based organization of the fast memory can provide a SW-transparent solution for the hybrid memory systems. Although there have been various advancements in DRAM cache designs, the effectiveness of DRAM caches which store both tag and data in the rows of DRAM, is affected by the bandwidth and latency of both fast and slow memory in addition to the memory access patterns of applications.
In this dissertation first investigates how prior approaches perform with diverse hybrid memory configurations to quantitatively assess the effect of memory configurations and application patterns on the DRAM cache designs. From the investigation, we observe no single DRAM cache organization always outperforms the other organizations across all the hybrid memory configurations and workload patterns. Based on the observation, we proposes a reconfigurable DRAM cache design which can adapt to different HW configurations and application patterns. Unlike the fixed tag and data arrays of conventional on-chip SRAM caches, this study advocates to exploit the flexibility of DRAM caches, which can store tags and data to DRAM in any arbitrary way. Using a sample-based mechanism, the proposed DRAM cache controller dynamically finds the best organization from candidates and applies the best one by reconfiguring the tags and data in the DRAM cache. We have explored the potential overhead of the reconfiguration process, and devised mechanism to optimize for this cost. This dissertation also studies the performance effectiveness of using fast memory as part of main memory in the hybrid memory system. Despite many prior studies on architecture in hybrid memory systems, the advantages of different hybrid memory managing techniques have not been investigated thoroughly. To solve the limitation of efficient hybrid memory configurations for each mode, we propose a resizable DRAM cache in the hybrid memory system. Our evaluation shows that the proposed scheme can outperform the fixed configurations across diverse hybrid memory configurations.
최근 광대역폭 및 비휘발성 메모리 등의 차세대 메모리 등장으로 인해 메모리 구성의 이질성이 증가함에 따라 두 가지 이상의 다른 특징을 가진 메모리로 구성된 이종 메모리 시스템이 가능해졌다. 이종 메모리 시스템을 관리하는데 있어 지연시간 및 메모리 대역폭의 차이 등의 이질성으로 인해 이종 메모리를 어떻게 구성하느냐에 따라 다른 효용성을 가질 수 있다. DRAM 캐시는 메모리 구성의 다양성을 해결하기 위해서 메모리 계층에 새로운 층을 추가하는 방법으로 빠른 반응성을 보인다는 이점이 있다. 또 다른 대안은 이종 메모리를 메인 메모리의 일부로 사용하여 사용가능 한 메모리의 용량을 증가시키는 이점이 있다. DRAM 캐시에는 다양한 발전이 있었지만, 한 DRAM 행에 태그와 데이터를 모두 저장하는 DRAM 캐시의 성능은 애플리케이션의 메모리 접근 패턴 외에도 이종 메모리 사이의 지연시간 및 대역폭 차이에 의해 영향을 받는다는 문제가 있다. 또한 메모리를 많이 사용하는 환경에서 DRAM 캐시는 메모리의 일부로 사용하는 방식에 비해 데이터를 중복해서 저장하기 때문에 오버헤드로 작용할 수 있다.
본 박사 논문에서는 다양한 메모리 구성과 애플리케이션의 메모리 접근 패턴에 따라 적응할 수 있고, 애플리케이션의 메모리 사용량에 따라 이종 메모리 구성을 변환할 수 있는 재구성 가능한 DRAM 캐시를 제안한다. 이를 위해 먼저 이종 메모리 구성이 DRAM 캐시 설계에 미치는 영향을 정량적으로 평가한다. 이를 위해 먼저 다양한 이종 메모리 구성에 따라 여러 종류의 DRAM 캐시에서 어떤 효과를 보이는지를 조사한다. 또한 애플리케이션의 메모리 접근 패턴에 따라 각 DRAM 캐시에서 어떤 영향을 보이는지에 관한 조사를 한다. 이 조사를 통해 모든 이종 메모리 구성 및 애플리케이션의 메모리 접근 패턴에 대해 단일 DRAM 캐시 구성이 항상 높은 성능을 보이지 않는 다는 것을 보인다. 따라서, 이 실험 결과를 바탕으로 다양한 메모리 구성 및 애플리케이션 패턴에 적응할 수 있는 재구성 가능한 DRAM 캐시를 제안한다. 이 연구는 기존의 SRAM 기반의 온 칩 캐시의 고정적인 태그와 데이터 배열과는 달리 임의의 방식으로 태그와 데이터를 DRAM에 저장할 수 있는 DRAM 캐시에서의 유연성을 활용하고자 한다. 제안된 DRAM 캐시의 컨트롤러는 샘플링 기반 기술을 이용하여 후보 중 최적의 구성을 동적으로 찾아서 DRAM 캐시에서 태그와 데이터를 재구성한다. 추가적으로 재구성 과정의 잠재적인 비용을 조사하고, 이 비용을 최소화하기 위해 DRAM 행 내부 데이터 교환 기법을 이용한 최적화 방법을 고안한다. 본 논문은 마지막으로 이종 메모리 시스템에서 DRAM 캐시 뿐만 아니라 메모리의 일부로써 메모리를 사용하는 것의 성능 효과에 대해서도 조사한다. 이종 메모리 구성에 대한 다양한 이전 연구에도 불구하고, 서로 다른 이종 메모리 관리 기법에서의 이점을 동시에 취하는 방법에 대해서는 철저히 연구되지 않았다. 각 방식에서 효과적인 이종 메모리 구성의 한계를 해결하기 위해 이종 메모리 시스템에서 크기를 조정할 수 있는 DRAM 캐시를 제안한다. 이 병용 기법을 통해 이종 메모리 시스템에서 DRAM 캐시의 장점과 메모리 일부로 사용되는 방식의 장점을 취할 수 있는 유연성을 제공한다. 본 박사 논문은 평가를 통해 제안된 설계가 다양한 이종 메모리 구성에서 기존의 방식 구성을 능가할 수 있다는 것을 보인다.
