The emergence of large-scale machine learning models and recommendation systems motivates the need for greater memory capacity. However, DRAM scaling is not keeping pace with the increasing demand for memory capacity. As a result, designing a memory system that overcomes DRAM's capacity limit has become a critical problem. This dissertation defines such a memory system as a terabyte-scale memory system and proposes software and hardware solutions to build a secure and efficient terabyte-scale memory system. More specifically, this dissertation focuses on the performance, memory utilization, and security of terabyte-scale memory systems.
The first chapter of this dissertation concentrates on page migration policies in tiered memory systems. A tiered memory system is a memory system where multiple types of memories coexist. A tiered memory system can be composed of DRAMs and NVMs. As NVMs offer a larger memory capacity with high-density memory cells, a tiered memory system can overcome the capacity limit of DRAMs. However, NVMs suffer from longer access latency compared to DRAMs. A page migration policy can mitigate the adverse performance effect of NVMs by migrating performance-critical pages to DRAMs. There are various page migration policies depending on how to identify the performance importance of a page, and this study finds that workloads have diverse preferences on the policies. The reason behind the preferences is analyzed, which is the memory access patterns of workloads. At last, an adaptive page migration policy is proposed, which selects a policy based on the features that represent the preferences on policies.
The second chapter reduces the wasted memory in a transparent memory compression architecture where memory compression is done by its memory controller. The memory has a hardware address space in addition to the physical address space. An operating system transparently stores data in the physical address space, and the memory controller compresses the data in the physical address space at the unit of blocks and stores the compressed data in the hardware address space. This study finds that such block-unit memory compression and mappings result in wasted memory from internal fragmentation and metadata overhead. This study proposes \lowmeta, which reduces the wasted memory with a novel data layout that limits the addressable range of translation entries.
The third chapter proposes a secure memory disaggregation engine that enhances the security of disaggregated memory systems. Memory disaggregation has been studied for decades to expand memory capacity. While memory disaggregation increases the available memory capacity to a node, it has a critical limitation that a node has to trust all participating nodes, which is a strong assumption. When the assumption does not hold, a security risk can be propagated from one node to the other nodes, jeopardizing the whole system. This study finds that having a large trusted domain is the root cause and proposes to narrow down the trusted domain into a set of hardware. This chapter proposes a secure memory disaggregation engine, which is built on secure FPGAs.
기계학습 모델의 크기 증가 및 개인화된 서비스의 등장으로, 클라우드 환경에서의 메모리 사용량이 급증하고 있다. 한편, DRAM의 집적도 향상이 기술적 한계에 가까워짐에 따라, 메모리 시스템은 급증하는 메모리 사용량을 따라가지 못하고 있으며, DRAM 메모리 용량 한계를 극복하는 메모리 시스템 설계가 중요한 문제로 떠오르고 있다. 본 연구에서는 이러한 차세대 메모리 시스템을 테라바이트급 메모리 시스템으로 정의하고, 테라바이트급 메모리 시스템 구축을 위한 하드웨어 및 소프트웨어 재설계 연구를 수행한다.
첫 번째 연구에서는 계층 메모리에서의 동적 페이지 이주 정책에 대해 연구한다. DRAM 메모리의 용량 한계를 극복하기 위해, 계층 메모리가 대안으로 논의되고 있다. 계층 메모리란, 전통적인 시스템에서 메인 메모리로 사용하고 있는 DRAM에 더불어, 대용량 메모리인 NVM을 함께 사용하는 메모리 시스템을 의미한다. NVM은 고집적 메모리 소자를 사용함으로써 대용량 메모리를 제공하지만, DRAM보다 상대적으로 긴 지연 시간을 가진다. 계층 메모리에서 메모리 페이지를 적절히 이주한다면, DRAM의 고성능과 NVM의 대용량을 모두 누릴 수 있다. 본 연구에서는 이러한 계층 메모리에서의 페이지 이주 정책에 대해 연구한다. 심층적인 분석을 통해, 워크로드마다 서로 다른 페이지 이주 정책 선호를 보임을 확인하고, 워크로드의 메모리 접근 패턴이 그 원인임을 보인다. 워크로드의 페이지 이주 정책 선호를 추정할 수 있는 특성을 정의하고, 이러한 특성값을 기반으로 동적으로 페이지 이주 정책을 적용하는 기법을 제안한다.
두 번째 연구에서는 메모리 컨트롤러에서 압축을 수행하는 압축 메모리에서 메모리 낭비를 줄이는 데이터 레이아웃을 제안한다. 압축 메모리는 운영체제에 노출되는 물리 주소 공간 외에, 압축된 데이터를 저장하는 하드웨어 주소 공간을 갖는다. 하드웨어 주소 공간의 도입은 압축 메모리의 내부 주소 공간 사용에 대한 운영체제의 개입을 최소화한다는 장점을 갖는다. 한편, 메모리 컨트롤러가 물리 주소 공간과 하드웨어 주소 공간 사이의 매핑을 관리하게 된다. 선행 연구에서는 물리 주소 공간의 데이터를 블록 단위로 압축하고, 하드웨어 주소 공간에 이를 저장했다. 본 연구에서는 이러한 블록 단위의 메모리 압축과 관리가 내부 단편화와 메타데이터로 인한 메모리 낭비를 유발함을 확인하고, 내부 단편화와 메타데이터 오버헤드를 동시에 절감하는 아키텍처인 LowMeta를 제안한다.
세 번째 연구에서는 분산 메모리 시스템의 보안성 향상을 위한 기법을 연구한다. 분산 메모리 시스템은 DRAM의 메모리 용량 한계를 극복하기 위한 방법으로 지난 수십년간 연구되어온 주제이다. 분산 메모리 시스템은 메모리 데이터를 네트워크로 연결된 다른 노드의 메모리에 저장함으로써, 가용 메모리를 확장한다. 이같은 분산 메모리 시스템은 노드 상호간 신뢰가 가정되어야만 하며, 단 하나의 노드라도 공격당한다면 다른 노드에 보안 위협이 번져나갈 수 있다는 위험이 있다. 본 연구에서는 이러한 위험의 원인이 trusted computing base가 전체 노드로 정의되는 RDMA 기반의 전통적인 분산 메모리 시스템에 있음을 확인하고, trusted computing base를 신뢰할 수 있는 하드웨어로 제약한다. 본 연구에서는 각 노드의 FPGA를 trusted computing base로 삼음으로써, 시스템 보안성을 강화한다.
