We evaluate and propose RoCE (RDMA over Converged Ethernet) as an alternative, low-latency back-plane for horizontally scaled software router nodes. By exploring combinations of specific design choices and system parameters in developing internal fabric for software routers, we select a set of pa- rameters and packet I/O APIs that yields the lowest latency and highest throughput. Using the optimal settings derived, we measure and compare end-to-end latency and throughput of a RoCE interconnect against Ethernet using a high-performance userspace network driver (Intel DPDK). Our comparison shows that RoCE keeps lower latency in all packet size ranges while it has throughput penalties for network workloads (e.g., small packet sizes). To mitigate throughput penalties imposed by guaranteeing low latency, we suggest a hardware-assisted, batched forwarding scheme based on scatter/gather prim- itives provided by RoCE NICs. When forwarding ingress network packets, our scheme achieves higher or comparable throughput versus Ethernet in at the cost of several microseconds of latency, effectively reducing internal fabric overheads.
소프트웨어 라우터는 일반 x86 서버 위에서 패킷 전송과 처리를 할 수 있는 구현체를 일컫는다. 새로운 기능을 추가하기 용이하고 비교적 비용이 저렴하다는 점에서 기존 라우터의 대안으로 주목받았으나, 처리 성능이 떨어진다는 점이 한계로 지적받아 왔다. 수평적 확장은 이에 대한 해결책 중 하나로, 여러 x86 서버로 라우터 클러스터를 구성하는 방식이다. 처리 성능을 늘리는 대신 패킷이 여러 서버를 거치면서 처리 소요 시간이 길어지는 불가피한 단점이 있다.
이 연구는 소프트웨어 라우터의 수평적 확장에서 각 서버를 연결하는 인터커넥트 기술로 Ethernet 대신 RoCE (RDMA over Converged Ethernet)를 사용하여 인터커넥트의 전송 소요 시간을 단축시키는 것을 목표로 한다. 1500 바이트보다 작은 크기의 패킷에 대한 양방향 전송 성능 측정 결과, RoCE가 전송 소요 시간을 3 마이크로초 이하로 유지시킴을 확인했으며 이는 Ethernet 대비 최대 30배 감소된 값이다. 그러나 라우터 클러스터의 인터커넥트 기술로서 중요한 전송 처리량에서 RoCE는 모든 패킷 크기에서 Ethernet 보다 낮은 값을 보였다.
Ethernet 대비 낮은 전송 처리량을 개선하기 위해 본 연구에서는 하드웨어 기반의 패킷 배칭을 적용하였 다. 이 기술은 여러 패킷을 하나의 배치로 송수신하기 위해 RDMA 지원 네트워크 카드의 scatter-and-gather 기능을 활용한다. 배칭을 적용한 성능 측정 결과, 모든 패킷 크기에서 배칭이 적용된 RoCE가 Ethernet보다 높은 처리량을 보이는 것을 확인하였으며, 특히 256 바이트 이하 크기의 패킷에서 3.7∼4.7배의 성능 향상을 나타내었다. 또한, 전송 소요 시간을 14 마이크로초 이하로 유지하여 여전히 Ethernet 대비 최대 5.4배의 절감 효과를 보였다.
