Compute Express Link (CXL), which has recently been in the spotlight, is a interconnect that maintains cache coherence between the device and the host CPU, allowing the host CPU to use a wider memory space. Applying CXL interconnect to the system provides a wider memory space for the host CPU compared to existing Local DRAM, but has the problem of deteriorating application performance due to the extended latency of the memory device. In this paper, we attempt to solve the problem of application performance degradation due to increased latency occurring in the CXL system through data prefetching from the CXL device to the lowest level cache of the host CPU. In particular, the prefetcher, which had traditionally been applied to a host CPU of limited size, was moved to the device side to provide sufficient resources to the prefetcher and enable a high-performance prefetch algorithm to be applied. In addition, the problem of prefetch performance degradation due to different latency between the host CPU and each device was solved by predicting prefetch timeliness.Additionally, in order to execute the prefetch technique in the proposed device, CXL custom instructions were used to maintain data consistency and to transmit information such as program counters necessary for prefetching. The proposed prefetcher allows the host CPU to read most data directly from the cache within the CPU, reducing the dependence on devices. The various prefetch strategies in this paper increased graph application performance by 2.12 times$\times$ on a device pool based on CXL-SSD.
최근 각광받는 컴퓨트 익스프레스 링크 (CXL) 기술은 장치와 호스트 CPU 간 캐시 일관성이 유지되는 인터커넥트 기술로 호스트 CPU의 메모리 확장성을 큰 폭으로 증가시킬 수 있다. CXL 인터커넥트 기술을 시스템에 적용하는 것은 기존 Local DRAM 대비 호스트 CPU에 더 넓은 메모리 공간을 제공하나, 메모리 장치의 지연시간이 길어져 응용 성능저하가 발생하는 문제점을 안고있다. 본 논문에서는 CXL 장치로부터 호스트 CPU의 최하위 레벨 캐시로의 데이터 프리페치를 통해, CXL 시스템에서 발생하는 지연시간 심화로 인한 응용성능 저하 문제를 해결하고자 한다. 특히, 전통적으로 제한된 크기의 호스트 CPU에 적용되어왔던 프리페처를 장치단으로 이전하여 프리페처에게 충분한 리소스를 제공하고, 고성능의 프리페치 알고리즘이 적용될 수 있도록 하였다. 또한 호스트 CPU와 각 장치 사이에 발생하는 서로 다른 지연시간으로 인한 프리페치 성능 저하 문제를 프리페치 적시성 예측을 통해 해결하도록 하였다. 추가적으로, 제안하는 장치에서의 프리페치 기법 실행을 위해, CXL 커스텀 명령을 사용하여 데이터 일관성을 유지하고, 프리페치에 필요한 프로그램 카운터등의 정보를 전달할 수 있도록 하였다. 본 논문의 방법은 호스트 CPU가 CPU내 캐시에서 대부분의 데이터를 직접 읽을 수 있도록 하여, CXL 장치로 부터 데이터를 직접 읽어야하는 장치 의존도를 낮추도록 하였다. 본 논문의 다양한 프리페치 전략은 CXL-SSD를 기반으로하는 장치풀에서의 그래프 응용 성능을 2.12 배 증가시켰다.
