Virtual memory provides rich functionality for the program developer. However, address translation accompanies the virtual memory system, requiring an address translation for every memory access. Recently with the rise of big memory systems and big memory workloads the virtual memory address translation system has been suffering great misses, resulting in significant performance overhead. This dissertation focuses on improving the virtual memory translation system with two approaches. Firstly, the virtual memory system design is revisited, and the cache hierarchy is modified to allow skipping of unnecessary address translations. Secondly, the page table is extended and hardware support is added to improve translation coverage of the translation lookaside buffer (TLB).
Based on the virtual caching concept, the first part of this dissertation proposes a hybrid virtual memory architecture extending virtual caching to the entire cache hierarchy, aiming to improve both performance and energy consumption by delaying translation. For large memory applications, delayed translation alone cannot solve the address translation problem, as fixed-granularity delayed TLBs may not scale with the increasing memory requirements. To mitigate the translation scalability problem, this study proposes a delayed many segment translation designed for the hybrid virtual caching. The experimental results show that our approach effectively lowers accesses to the TLBs, leading to significant power savings. In addition, the approach provides performance improvement with scalable delayed translation with variable length segments.
Under fragmented and diverse memory allocations that occur due to diverse execution environ- ments and memory heterogeneity, the second part of this dissertation proposes a novel HW-SW hybrid translation architecture, which can adapt to different memory mappings efficiently. The most important benefit of hybrid coalescing is its ability to change the coverage of the anchor entry dynamically, reflecting the current allocation contiguity status. By using the contiguity information directly set by the operating system, the technique can provide scalable translation coverage improvements with minor hardware changes, while allowing the flexibility of memory allocation. Our experimental results show that across diverse allocation scenarios with different distributions of contiguous memory chunks, the proposed scheme can effectively reap the potential translation coverage improvement from the existing contiguity.
가상 메모리 시스템은 프로그램 개발자에게 다양한 개발의 편의성을 제공해준다. 하지만 가상 메모리 시스템 을 사용하려면 모든 메모리 접근마다 주소 변환 과정이 필요하다. 최근 대용량 메모리 시스템들이 도입되고 이런 시스템을 활용하는 대용량 메모리 프로그램들이 도입되며 가상 메모리 주소 변환 시스템에서 심각한 성능 하락이 발생하기 시작하였다. 본 학위논문에서는 가상 메모리 주소 변환 시스템의 성능을 개선하는 두 가지 방법을 연구하였다. 첫째는 불필요한 주소 변환을 생략하는 것이며, 둘째는 주소 변환을 저장하는 하드웨어 구조의 주소 변환 표현 범위를 개선 시키는 방법이다.
본 학위 논문의 첫 연구를 위해 프로세서 캐시 계층을 가상 주소로 접근하는 기법을 활용하여 대부분의 주소변환을 캐시계층 이후로 늦추어 성능과 전력 효율성을 개선시켰다. 주소변환을 캐시계층 이후로 늦추게 될 경우 몇 개의 워크로드에서 성능 개선이 발생한다. 하지만 대용량 메모리 워크로드를 비롯하여 주소 변환에 문제가 되는 워크로드의 경우 여전히 주소 변환에서 성능 문제가 발생한다. 주소 변환 하드웨어 저장 구조의 (TLB) 확장성을 개선하기 위해 수천개의 세그멘트를 활용한 주소 변환 기법을 연구하였다. 본 기법의 평가를 통해 본 연구에서 제안한 기법들에 의해 TLB 로의 접근이 현저히 줄게 되며 전력 소모도 개선하였다. 또한 세그먼트 기반 TLB 확장성 기법에 의해 성능 개선을 이룰 수 있었다.
다양한 실행 환경과 이종 메모리에 의해 메모리는 파편화되는 것이 관찰되는 가운데, 본 학위 논문의 두 번째 연구는 실행 중에 동적으로 TLB 의 표현력을 (Coverage) 조절할 수 있는 기법을 제안한다. 해 당 기법은 하드웨어와 소프트웨어 공동 기법으로 운영체제의 메모리 할당에 의해 발생하는 메모리 할당의 연속성을 활용하는 기법이다. 운영체제는 메모리 할당의 연속성을 페이지 테이블에 기입하고, 하드웨어는 해당 정보를 활용하여 기존대비 개선된 표현력을 갖는 TLB 를 제공한다. 본 연구를 평가한 결과 다양한 메모리 할당 상황에서 본 기법은 대부분의 경우에서 가장 좋은 성능을 발휘하였으며, 최고 성능을 내지 못한 경우에서도 최고 성능을 발휘한 기존 기술과 유사한 성능을 낼 수 있었다.
