It is often difficult to get complete information in the Fourier domain associated with a signal due to long data acquisition time or the presence of information that cannot be obtained from the measuring equipment. In particular, the undersampled or phaseless Fourier data causes severe artifacts or loss of contents in the spatial domain. To address this issue, the studies to reconstruct the image from the missing Fourier data have been actively carried out. Although conventional approaches such as compressed sensing (CS) and alternating projection-based methods provide suitable results, their computational complexity is relatively high due to the inevitable iterative operation required in the algorithms. Furthermore, the performance was somewhat limited and very sensitive to initialization or the presence of noise. In this paper, we propose deep learning based algorithms to deal with the reconstruction of the incomplete Fourier data in accelerated MRI and phase retrieval applications. Recently, deep convolutional neural networks (CNNs) have been widely employed to reconstruct images from missing k-space and phase information. While these approaches provide significant performance gain over traditional methods, it is not clear how to choose an appropriate network architecture to balance the trade-off between network complexity and performance. First, we propose an algorithm to reconstruct the undersampled k-space data for accelerated MRI based on the geometric analysis of an encoder-decoder CNN. Specifically, a novel attention scheme combined bootstrapping and subnetwork aggregation improves the expressivity of network with a minimal increase in complexity, resulting in a performance gain. This study is based on supervised learning in the presence of sufficient pairs of undersampled k-space data and matched fully sampled k-space data. However, in real-world situations such as time-resolved MR angiography (tMRA), where a ground-truth image with high spatio-temporal resolution is not available, it is not possible to obtain reference data to be used as labels for supervised learning. To restore the signal from the subsampled k-space data of tMRA, we propose a novel unsupervised training scheme using modified cycle-consistent generative adversarial network (cycleGAN) inspired by the optimal transport (OT) theory. Thanks to the simple and stable training, the proposed method can not only generate high quality
reconstruction results, but also provide the various trade-offs between spatial and temporal resolution depending on user’s choice. The problem of missing information in the Fourier domain is not limited to subsampling. In the fields such as optic and astronomy, phase information cannot be achievable from Fourier data, but the magnitude of the k-space can be. With regard to phase retrieval, since it is also difficult to obtain a large amount of matched dataset that consists of phaseless Fourier data and ground-truth data, we propose a neural network implementation of a modern convex relaxation method in the unsupervised learning framework. Experimental results confirmed
that the proposed algorithm for phase retrieval yields superior results compared to the conventional methods.
긴 데이터 획득 시간이나 측정 장비에서 얻을 수 없는 정보의 존재로 인해, 신호의 푸리에 공간에서의 완전한 정보를 얻는 것이 어려운 경우가 자주 발생한다. 특히, 언더샘플링되거나 위상 정보가 없는 푸리에 데이터는 공간 영역에서 심각한 인공물 또는 정보 손실을 유발한다. 이러한 문제를 해결하기 위해, 손실된 푸리에 데이터에서 이미지를 재구성하는 연구가 활발히 진행되고 있다. 압축 센싱과 교차 프로젝션 기반 방법과 같은 전통적인 접근 방식은 적절한 복원 결과를 제공하지만, 알고리즘에서 필연적으로 요구되는 반복 연산으로 인해 계산 복잡성이 상대적으로 높다. 이 외에도, 알고리즘의 성능이 다소 제한적이며, 데이터의 초기화 또는 노이즈의 여부에 매우 민감하다는 단점이 존재한다. 이런 단점들을 보완하기 위해, 이 논문에서는 가속 자기공명영상 및 위상 복원 분야에서의 불완전한 푸리에 데이터로부터의 영상 복원을 위한 딥 러닝 기반 알고리즘을 제안한다. 최근에는, 손실된 k-space와 위상 정보로터의 영상 재구성을 위한 심층 컨볼루션 신경망 (CNN)을 활용한 연구가 진행되었다. 이러한 접근 방식은 기존 방법에 비해 성능을 상당히 향상시켰으나, 네트워크의 복잡성과 성능 간의 균형을 맞출 수 있는 적절한 네트워크 아키텍처를 선택하는 방법은 명확하지 않다. 우선 이 논문에서는 인코더-디코더 CNN의 기하학적 분석을 기반으로 하는 가속 MRI에서의 언더샘플링 된 k-space 데이터를 복원하는 알고리즘을 제안한다. 특히, bootstrapping와 서브네트워크 통합과 결합된 새로운 주의 모듈 방식을 통해 네트워크의 복잡성은 최소화하고 표현성을 증가시킴으로써, 성능을 향상시켰다. 이 연구는 언더 샘플링 된 k-space 데이터와 일치하는 완전히 샘플링 된 k-space 데이터 쌍이 충분히 존재하는 경우의 지도 학습을 기반으로 한다. 그러나, 시공간 해상도가 좋은 실제 영상을 구할 수 없는 시간 분해 MR 혈관 조영술 (tMRA)과 같은 실제 상황에서는, 지도 학습의 레이블로 사용될 데이터를 얻을 수 없는 경우가 존재한다. 이에 따라 tMRA의 서브 샘플링 된 k-space 데이터에서 신호를 복원하기 위해 최적 전송 (OT) 이론을 기반으로 수정 된 cycleGAN를 통한 새로운 비지도 훈련 체계를 제안한다. 제안된 방법에서, 보다 간단하고 안정적인 훈련이 가능케됨으로써 고품질의 재구성 결과를 생성 할 수 있을 뿐만 아니라, 사용자의 선택에 따라 다양한 공간적 해상도와 시간적 해상도를 제공하는 결과를 얻을 수 있다. 푸리에 공간에서의 손실된 정보로 인한 문제는 서브 샘플링으로 국한되지 않는다. 광학 영상과 천문 영상과 같은 경우, 푸리에 데이터 크기 정보는 획득할 수 있는 반면, 위상 정보는 전혀 얻을 수 없다. 위상 복원과 관련하여 위상 정보가 없는 푸리에 데이터와 타켓 데이터로 구성된 많은 양의 매칭 데이터 세트를 얻기가 어렵기 때문에, 이 논문에서는 위상 복원을 위해 사용되던 기존의 convex relaxation 방법을 신경망으로 구현하여 비지도 학습을 가능케하는 프레임워크를 제안한다. 실험 결과들을 통해 제안된 위상 복원 알고리즘이 기존 방법에 비해 우수한 결과를 제공하는 것을 확인하였다.