The rapid growth of the amount and quality of online content requires high-speed delivery service. Recent advancement of high-bandwidth I/O devices promises scalable content delivery, but the traditional CPU-centric programming model often severely limits the true potential of modern I/O devices. Our experiments reveal that over 70% of CPU cycles are spent on simple tasks such as disk and network I/O operations in online content delivery.
In this work, we present IO-TCP, a split TCP stack design that drastically reduces CPU burden on online content delivery. IO-TCP offloads disk I/O and TCP packet transfer to SmartNIC while the rest of the operations are executed on the CPU side. This division of labor realizes the separation of control and data planes of a TCP stack where the CPU side assumes the full control of the stack operation while only the data plane operations are offloaded to SmartNIC for high performance. Our evaluation shows that IO-TCP can saturate four NVMe disks with only one CPU core for a disk-bound workload, as compared to without NIC offloading that cannot saturate the four NVMe disks with all ten CPU cores.
온라인 컨텐츠의 양이 빠르게 늘어나고 그 품질도 높아짐에 따라, 기존보다 더욱 빠른 속도로 데이터를 전송하는 네트워크 시스템이 필요해지고 있다. 최근 하드웨어의 발전으로 입출력 (I/O) 장치들의 대역폭이 크게 늘어남에 따라 더욱 확장성 있는 컨텐츠 전송이 가능해질 것으로 기대되고 있지만, 기존의 CPU 중심 적인 프로그래밍 모델의 한계로 인해 최신 입출력 장치들의 성능이 심각하게 저해되고 있다. 본 연구에서는 온라인 컨텐츠 전송 중 전체 CPU 사이클의 70% 이상이 디스크 및 네트워크 입출력 연산과 같은 단순한 작업에 소모되고 있음을 밝혔다.
본 연구에서는 온라인 컨텐츠 전송 시 CPU 부담을 낮추기 위해 TCP 스택을 분리하는 IO-TCP 디자 인을 제안한다. IO-TCP는 디스크 입출력 및 TCP 패킷 전송을 SmartNIC에 오프로드하고 그 외 연산만을 CPU에서 처리한다. 이는 TCP 스택의 제어부 (control plane) 와 전송부 (data plane) 를 분리하는 것으로 서, CPU가 스택을 완전히 통제하면서도 데이터 전송 연산을 SmartNIC에 오프로드하여 높은 전송 속도를 달성하도록 한다. 본 연구에서는 NIC 오프로딩을 하지 않는 기존 시스템이 10개의 CPU 코어를 사용하더라 도 4개의 NVMe 디스크 대역폭을 포화하지 못하는 디스크 병목 워크로드에서 IO-TCP를 활용하면 하나의 CPU 코어만으로도 모든 디스크 대역폭을 완전히 포화할 수 있음을 보여준다.
