Multi-socket servers are commonly used in high-performance computing and datacenters. Within each server, a processor-interconnect is used for communication between the different sockets, memory and accelerators and representative examples of such interconnect include Intel QPI and AMD Hypertransport. Recently, it is announced that different technologies of processor-interconnect are under development as processor-interconnect increasingly is taking an important role in modern computer systems. As consideration for designing future processor-interconnect, this thesis explores design issues existing in commercial technology of processor-interconnect with the perspective of security and performance problems of the router architecture.
Security vulnerability in hardware level is more critical than in software level as it can often require hardware fix and can lead to serious jeopardy to whole systems. This thesis first presents Processor-Interconnect rootkit (PIkit) that exploits a vulnerable hardware feature within processor-interconnect and shows how a very stealthy rootkit can be achieved compared to previously proposed rootkits. While there has been significant amount of research done on different rootkits, we describe a new type of rootkit that is kernel-independent --i.e., no aspect of the kernel is modified and no code is added to the kernel address space to install the rootkit. In particular, PIkit exploits the DRAM address mapping table structure that determines the destination node ID of a memory request packet in the processor- interconnect. By modifying this mapping table appropriately, PIkit enables access to victim’s memory address region without proper permission. Once PIkit is installed, only user-level code or payload is needed to carry out malicious activities. The malicious payload mostly consists of memory read and/or write instructions that appear like “normal” user-space memory accesses and it becomes very difficult to detect such malicious payload. We describe the design and implementation of PIkit on both an AMD and an Intel x86 multi-socket servers that are commonly used. We discuss different malicious activities possible with PIkit and limitations of PIkit, as well as possible software and hardware solutions to PIkit.
Contention to shared resources (e.g., memory, cache and interconnect) in multi-socket systems can result in performance variation (or unfairness) between concurrent applications. This thesis explores the impact of the processor-interconnect on overall performance -- in particular, the performance unfairness caused by processor-interconnect arbitration. It is well known that locally-fair arbitration does not guarantee globally-fair bandwidth sharing as closer nodes receive more bandwidth in a multi-hop network. However, this thesis demonstrates that the opposite can occur in a commodity NUMA server where remote nodes receive higher bandwidth (and perform better). We analyze this problem and iden- tify that this occurs because of external concentration used in router micro-architectures for processor-interconnects without globally-aware arbitration. While accessing remote memory can occur in any NUMA system, performance unfairness (or performance variation) is more critical in cloud computing and virtual machines. We demonstrate how this unfairness creates significant performance variation when a workload is executed on the Xen virtualization platform. To provide fairness, we propose a novel, history-based arbitration that tracks the history of arbitration grants made in the previous history window. A weighted arbitration is done based on the history to provide global fairness. Through simulations, we show our proposed history-based arbitration can provide global fairness and minimize the processor-interconnect performance unfairness at low cost.
멀티소켓 서버는 고성능 컴퓨팅과 데이터센터와 같은 컴퓨터 시스템에서 일반적으로 사용된다. 서버를 구 성하는 소켓, 메모리 그리고 가속기들은 프로세서 인터커넥트 (processor-interconnect) 에 의해서 데이터 통신이 이루어지며, 이러한 인터커넥트의 대표적인 예로는 인텔 사의 QPI 와 AMD 사의 Hypertransport 가 있다. 현대 컴퓨터 시스템에서 프로세서 인터커넥트의 중요성이 증가함에 따라 최근 새로운 프로세 서 인터커넥트 기술 개발이 이루어지고 있다. 차세대 프로세서 인터커넥트 기술을 위하여, 본 학위논문은 현재 상용화된 프로세서 인터커넥트 기술에 존재하는 라우터의 디자인 문제점을 보안과 성능의 관점에서 심도있게 분석한다.
먼저, 본 학위논문은 프로세서 인터커넥트에 존재하는 하드웨어적인 취약점을 악용하는 프로세서 인터 커넥트 루트킷 (PIkit) 을 소개하고, 기존에 제안된 루트킷보다 탐지하기 어렵고 은밀성을 갖음을 보인다. 기존에 루트킷과 관련된 많은 연구가 이루어져 왔지만, 본 연구에서는 루트킷의 설치를 위해서 커널의 수정이 필요없으며 커널 영역으로의 코드주입이 불필요하고, 커널과 독립적인 새로운 종류의 루트킷을 소개한다. 특히, PIkit 은 프로세서 인터커넥트에서 메모리 요청 패킷의 목적지를 결정하는 중요 요소인 DRAM 주소 매핑 테이블이 갖는 취약점을 악용한다. DRAM 주소 매핑 테이블을 알맞게 수정함으로서, PIkit 은 적절한 권한 없이도 공격 대상의 메모리 주소 영역을 접근할 수 있게한다. PIkit 이 설치가되면 악의적 활동을 하기 위해서 일반 사용자 권한의 악성 코드만이 요구되고, 이것은 단순히 메모리 읽기/쓰기 명령어로만 구성되어 있기때문에, 일반적인 사용자 권한의 메모리 접근처럼 보여지게되므로 발견되기 매우 어려운 특징을 갖는 다. 본 연구는 일반적으로 사용되는 AMD 와 인텔의 멀티소켓 서버를 대상으로 PIkit 의 디자인과 구현을 설명한다. 그리고 PIkit 을 통해 이루어질 수 있는 여러종류의 악의적 행위와 PIkit 이 갖는 한계점들에 대해서 토론하고, PIkit 에 대한 소프트웨어 및 하드웨어 해결책에 대한 소개를 한다.
다음으로, 본 학위논문은 프로세서 인터커넥트가 시스템 전체 성능에 주는 영향력에 대해서 살펴본다. 특히, 프로세서 인터커넥트의 중재기에 의한 성능적 불공정성을 설명한다. 지역적으로 공정한 라우터 중재기 는 목적지에 더 가까운 네트워크 노드가 더 많은 대역폭을 받게하여, 전역적으로 공정한 네트워크 대역폭의 공유를 보장하지 않는다는 것은 기존 연구들을 통해서 널리 알려져 있지만, 본 연구에서는 이와 반대의 현상이 상용 NUMA 서버에서 발생할 수 있음을 설명한다. 본 연구는 프로세서 인터커넥트가 전역적으로 공평함을 인지하는 중재기의 기능 없이, 라우터 아키텍처에서 외부 집중 (external concentration) 기술을 사용하는것이 전역적 불공정성의 근본 원인이 됨을 분석한다. NUMA 시스템에서의 메모리 원격접근은 일반적으로 발생하지만, 성능적 불공정함 (혹은 가변성) 은 가상머신들끼리 자원을 공유하는 클라우드 환경 에서 큰 문제가 될 수 있다. 본 연구는 가상화 환경에서 인터커넥트에서의 불공정한 대역폭 공유가 어떻게 성능의 가변성을 일으키는지 설명한다. 네트워크의 공정성을 제공하기 위해서, 본 연구는 히스토리 윈도우 를 통하여 과거에 이루어진 중재 기록을 추적하여 중재결정을 내리는, 히스토리 기반 중재기를 디자인하여 제안한다. 전역적인 공정함을 제공하기 위해서 중재 히스토리를 바탕으로 가중치가 고려된 중재가 이루어 질 수 있도록 한다. 시뮬레이션을 통해서 본 연구는 히스토리 기반 중재기가 전역적 공정함을 제공하고, 저비용으로 프로세서 인터커넥트에 의한 불공정함을 최소화 시키는 것을 보인다.
