Efforts to solve a large-scale problem requiring more than huge numbers of CPU cores often face signifi- cant performance degradation, mainly due to communication burden. The present study aims to improve the communication performance of parallel applications by investigating two approaches including non- blocking-collective-based latency-hiding and space-filling-curve-based task-mapping ones. Non-blocking- collective-based latency-hiding approach enhances parallel performance to leverage the non-blocking collective operations, enabling latency hiding by overlapping the computation and communication. We apply this approach to highly communication-intensive code to perform a numerical simulation of tur- bulent channel flows. Computation-communication overlapping enables 3.55 times faster computing on 16K CPU cores of Nurion supercomputer than the non-optimized case. While effective, the adoption of this approach could be limited depending on applications, and would require significant efforts from the developers’ part. Meanwhile, efficient task-mapping between processes and compute resource is a useful approach since it can be applied regardless of the algorithm and code modifications can be minimized. Space-filling-curve-based task-mapping approach is developed, in which it exploits the Hilbert curve to map a multi dimensional task space into one dimensional space while preserving the locality between processes. It is also accompanied with a novel performance analysis employing the binary classification, which enables static assessment of the applications to predict the potential benefits of the proposed approach before run-time. The Hilbert-based approach is evaluated with three different workloads, each using two- or three-dimensional domain decomposition strategy in Cartesian coordinates. Benchmarks for the three workloads are composed to exploit up to 65K CPU cores of large-scale cluster system. Results show the overall performance improvement is from ̃1.3x to ̃1.66x depending on workloads by reducing the communication overhead through the proposed approach. The accuracy of the proposed performance analysis is also evaluated via benchmark results using binary classification with neural net- work models. Through the analysis, the expected value of performance improvement when using the binary classification is from 4% to 8%.
대규모 CPU 코어를 요구하는 큰 규모 문제 수행시 성능저하가 자주 발생하며 주로 통신성능 문제가 원인이 다. 이 논문은 non-blocking 집합함수 기반 계산-통신 중첩과 space-filling curve 기반 태스크 재배치 두가지 전략을 이용해서 병렬 프로그램의 통신 성능을 향상하는 것을 목표로 한다. non-blocking 집합함수 기반 계산-통신 중첩방법은 non-blocking 집합함수를 활용해서 통신과 계산 부분을 중첩하여 통신 지연시간을 최소화한다. 해당 중첩 방법을 난류를 수치 방법으로 시뮬레이션하는 통신 집중 응용에 적용한다. 중첩을 통해 누리온 슈퍼컴퓨터의 16K CPU 코어에서 최대 3.55배 성능향상이 가능하였다. 하지만, 계산-통신 중 첩방법은 코드내 중첩이 가능한 부분이 있어야 하고 개발자의 노력이 많이 필요하다. 한편 효율적인 태스크 매핑 방법은 계산자원과 태스크 간 재매핑 방법으로 코드 알고리즘과 상관없이 적용이 가능하고, 코드 수정 또한 최소화할 수 있다. 본 연구는 space-filling curve 기반 태스크 재배치 전략을 사용하였다. space-filling curve를 활용하여 프로세스들간의 지역성이 보장되어 전체 통신성능이 향상되었다. 또한 태스크 재배치 전략 방법을 바이너리 분류기를 채용한 성능 분석 방법을 제시한다. 바이너리 분류기는 코드 수행 전에 성능향상 유무를 미리 판단하는 것이다. space-filling curve 기반 태스트 재배치 전략을 세가지 워크로드에 대해서 성능 분석을 하였다. 최대 65K CPU 코어까지 테스트하였으며, 워크로드에 따라서 통신 오버헤드를 줄임으로서 약1.3배에서 1.66배까지 성능향상이 됨을 확인하였다. 뿐만아니라 뉴럴 네트워크 모델을 통해서 만들어진 바이너리 분류기를 통해 성능 분석의 정확도를 분석하였다. 이를 통해 바이너리 분류기를 통한 space-filling curve에 대한 성능향상에 대한 기대치는 워크로드에 따라서 약 4%에서 8%임을 알 수 있었다.
